scrapy 采集微信|基于Scrapy和casperjs的电子商务网站信息采集系统研究

时间：2017-01-07 09:52:34 作者：高荣；

本文作者：高荣；成功正常投稿发表论文到《数字技术与应用》2015年03期,引用请注明来源400期刊网！
【摘要】：针对大数据时代用户对电子商务信息采集与分析的需求,设计并实现了一个高扩展性的基于Scrapy的电商网站信息采集系统,能解决异步数据加载带来的数据采集困难的问题,系统采用了casperjs、redis、graphite等框架和技术进一步增强了对电商内容爬取的适应能力和可扩展性。系统能够工作在云计算环境下,具有非常高的应用价值。
【论文正文预览】：随着“互联网+”时代的到来,电子商务也进入了一个新的发展时期,2014年电子商务的交易额超过了12万亿元,电子商务的飞速发展产生了大量的交易数据,这些数据可以在许多领域产生惊人的价值。相关数据已经成为一种重要的生产资料,越来越多的人认识到电子商务产生的数据的价值,并
【文章分类号】：TP274.2;TP393.092
【稿件关键词】：电子商务Scrapycasperjs信息采集
【参考文献】:

李梁;张海宁;李宗博;陈佳瑜;;融合用户属性的协同过滤推荐算法在政府采购中的应用[J];重庆理工大学学报(自然科学);2015年01期
王越;程昌正;;协同过滤算法在电影推荐中的应用[J];四川兵工学报;2014年05期
杜茂康;刘苗;李韶华;浦琴;;基于邻近项目的Slope One协同过滤算法[J];重庆邮电大学学报(自然科学版);2014年03期
罗辛;欧阳元新;熊璋;袁满;;通过相似度支持度优化基于K近邻的协同过滤算法[J];计算机学报;2010年08期
王辉;高利军;王听忠;;个性化服务中基于用户聚类的协同过滤推荐[J];计算机应用;2007年05期
吴颜;沈洁;顾天竺;陈晓红;李慧;张舒;;协同过滤推荐系统中数据稀疏问题的解决[J];计算机应用研究;2007年06期
许海玲;吴潇;李晓东;阎保平;;互联网推荐系统比较研究[J];软件学报;2009年02期
廉飚;王莉;裴艳艳;;一种基于子周期社区挖掘的电视节目推荐方法[J];太原理工大学学报;2013年03期
王群勇;陈燕平;;我国政府采购的价格监测[J];统计研究;2014年02期
阿里甫·库尔班;吐尔逊·库尔班;;维、哈、柯多文种考试报名信息采集系统设计[J];计算机工程与应用;2006年22期
辛登科;李天利;王智红;;基于3S的林业信息采集系统的设计和实现[J];西北林学院学报;2006年06期
刘敏;袁明道;李春雨;潘展钊;廖文来;;东莞市水利信息采集系统设计[J];人民长江;2007年02期
李好中;;种业信息采集系统的建立与应用[J];种子世界;2007年02期
刘忠强;柳长安;李国栋;;多策略网络信息采集系统的设计与实现[J];中国电力教育;2007年S3期
李亚;;企业信息采集系统的设计与实现[J];商业文化(学术版);2008年12期
刘小凤;张树礼;;论招生志愿信息采集系统的开发与应用[J];内蒙古财经学院学报(综合版);2008年03期
姜海;;用电信息采集系统远程通信方案[J];电力系统通信;2010年04期
张新瑞;杨红欣;;用电信息采集系统的设计与建设[J];工业计量;2010年S2期
余晓波;宋良图;;农田信息采集系统的软硬件设计[J];仪表技术;2011年01期
;用电信息采集系统的规划与建设[A];2011年安徽省智能电网技术论坛论文集[C];2011年
刘利成;梁后乐;任民;;提高电力用户用电信息采集系统采集成功率的措施[A];第二十届华东六省一市电机工程（电力）学会输配电技术讨论会论文集[C];2012年
夏泽举;;用电信息采集系统实用化关键问题及探讨[A];2011年安徽省智能电网技术论坛论文集[C];2011年
程德山;刘梁宝;李浩;;六安市区用电信息采集系统的通信组网技术研究[A];2011年安徽省智能电网技术论坛论文集[C];2011年
王洪元;;用电信息采集系统建设模式探讨[A];山东电机工程学会2012年度学术年会论文集[C];2012年
刘继彦;宋燕霞;赵建文;;关于用电信息采集系统数据移植工作的讨论[A];山东电机工程学会2012年度学术年会论文集[C];2012年
刘利成;;电力用户用电信息采集系统网络规划研究[A];2012电力行业信息化年会论文集[C];2012年
赵琦;温宏愿;周木春;陈延如;;一种用于光辐射多频道信息采集系统的设计[A];第三届全国虚拟仪器大会论文集[C];2008年
张德玉;高福亭;;组织实施图像信息采集系统建设工作中存在的问题和对策研究[A];北京市高教学会保卫学研究会第十届学术年会论文选集[C];2007年
黄兴;顾军;李靖;王献伟;吴致真;杨润全;戴磊;;基于Web的安全生产信息采集系统的设计[A];第十二届全国煤矿自动化学术年会论文专辑[C];2002年
马旭升;青海公司启动用电信息采集系统建设[N];国家电网报;2010年
通讯员丁罕　王涛;无锡地区用电信息采集系统建设起步[N];中国电力报;2010年
林平;河南公司高质量建设用电信息采集系统[N];国家电网报;2010年
潘新兴　刘群朱萧轶;浙江武原镇投运用电信息采集系统[N];国家电网报;2010年
李雪;四平公司用电信息采集系统“全覆盖”[N];东北电力报;2011年
记者管亚东　通讯员尹萧高坦;首个自助信息采集系统昨在罗湖启用[N];深圳商报;2011年
记者沈雪梅实习生陈艳;外来人口信息采集系统全面启动[N];南通日报;2008年
记者朱海斌;新人口与计生信息采集系统启动[N];吐鲁番报(汉);2009年
马旭升　薛晓慧;青海公司完成全年用电信息采集系统建设[N];国家电网报;2010年
董萍;吐鲁番电业局加快信息采集系统建设[N];国家电网报;2012年
叶涛;精准农业的农田信息采集系统研究与开发[D];中国农业科学院;2006年
方慧;基于掌上电脑的农田信息采集系统的研究[D];浙江大学;2003年
李磊;排球运动信息采集系统的设计[D];哈尔滨工程大学;2010年
王文胜;基于集群计算的网络信息采集系统的设计与实现[D];哈尔滨工业大学;2012年
唐孝勇;定位定税信息采集系统的设计与实现[D];中南大学;2006年
夏碧野;纳税申报电子信息采集系统分析与设计[D];吉林大学;2007年
洪源;基于嵌入式系统的设备信息采集系统设计实现[D];上海交通大学;2007年
王永;消防单兵综合信息采集系统研究[D];山东科技大学;2010年
徐昕;义乌市电力用电信息采集系统的实现及应用[D];电子科技大学;2012年
郑仁高;基于移动GIS的文物信息采集系统研究[D];新疆农业大学;2013年
况贞戎;用电信息采集系统中主站采集平台设计与实现[D];电子科技大学;2011年
汪洋;福州电业局用电信息采集系统的设计与实现[D];电子科技大学;2013年

【稿件标题】：scrapy 采集微信|基于Scrapy和casperjs的电子商务网站信息采集系统研究
【作者单位】：广西财经学院信息与统计学院;
【发表期刊期数】：《数字技术与应用》2015年03期
【期刊简介】：《数字技术与应用》是一本介绍当今数字技术，传播计算机及网络科学知识的月刊。关注实际应用，紧跟世界数字技术及计算机发展潮流，以帮读者解决应用中的问题为立足点，以报道最新科技发展为杂志的特色，力求实用性、先进性、趣味性相结合，成为广大读者了解数......更多数字技术与应用杂志社(http://www.400qikan.com/qk/1083/)投稿信息
【版权所有人】：高荣；