收藏本站
《武汉邮电科学研究院》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark Streaming实时推荐系统的研究与实现

周虎  
【摘要】:推荐系统需要可以推荐个性化的信息给用户。然而,现今的推荐系统通常不可以实时、动态的推荐个性化信息,这是推荐系统的实时问题。另外,由于经常存在用户/物品评分矩阵数据稀疏的问题。同时,由于新用户或新物品没有评论信息,因此不能准确的对新用户或新物品推荐,这是推荐系统中的冷启动问题。对于上述问题,本文提出了p-相似度来解决传统协同过滤算法对数据稀疏的问题。在p-相似度的基础上本文提出了CF-K-means混合推荐算法,优化了基于矩阵的协同过滤算法的方案,缓解了推荐系统中冷启动问题。同时本文研究了实时推荐应用,提出了适用实时推荐的算法,本文的主要研究内容包括:(1)针对推荐系统的数据稀疏问题,本文提出了p-相似度的相似度计算方法。该方法优化了传统的协同过滤算法中的相似度计算的过程,对于协同过滤算法求相似度加入了p因子,使用p-相似度的推荐算法更好的适应了数据稀疏的情况,缓解了数据稀疏对推荐的影响。(2)针对现今协同过滤算法的冷启动问题,提出了CF-K-means混合推荐算法,该算法解决了传统的协同过滤算法中存在的冷启动问题。基于矩阵分解的协同过滤算法会分解用户/物品的特征矩阵,然后对分解的新用户/新物品进行聚类,获得新用户/新物品的K个最近邻。使用K个最近邻的特征信息计算出新用户/新物品的特征向量,然后补充评分矩阵中新用户/新物品没有的评论,使用p-相似度计算方法计算相似度,进行推荐,从而解决冷启动问题。在该算法的基础上又提出了增量的混合推荐算法,提升了算法实时推荐的推荐效率。(3)基于Spark Streaming的实时推荐应用的研究。本文对实时推荐应用进行了研究,提出了推荐系统的整体架构,分为数据展示层、数据处理层、数据储存层。同时,对实时推荐的关键模块进行了研究和实现,包括四个关键模块:数据的模拟与订阅发布模块、流计算模块、实时推荐系统推荐模块、分布式储存模块,本文的数据储存主要用Hbase实现。最后对实时推荐系统进行了实验,验证了本文提出的实时推荐系统满足需求。
【学位授予单位】:武汉邮电科学研究院
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:TP391.3

【相似文献】
中国期刊全文数据库 前10条
1 刘强;;推荐系统的商业价值[J];软件和集成电路;2019年04期
2 王月星;;国内旅游推荐系统研究进展[J];商场现代化;2017年10期
3 常亮;曹玉婷;孙文平;张伟涛;陈君同;;旅游推荐系统研究综述[J];计算机科学;2017年10期
4 王毅;;网络推荐系统的三大挑战——从用户体验出发[J];清华管理评论;2013年06期
5 王海明;;基于大数据下电子商务商品推荐系统的分析[J];环球市场信息导报;2017年27期
6 ;电商推荐系统进阶[J];IT经理世界;2013年11期
7 王霞;;电子商务推荐系统评述[J];福建电脑;2006年08期
8 傅孟如;姜素兰;闵娅萍;;VAX—11/750机学生测评、推荐系统的设计与应用[J];计算技术与自动化;1989年03期
9 张佳威;;美团推荐系统实证系统[J];农家参谋;2018年11期
10 洪文兴;王宁;陈毅伟;周绮凤;李涛;;大数据时代的人才推荐系统[J];大数据;2017年02期
中国重要会议论文全文数据库 前10条
1 张燕;李燕萍;;基于内容分析和点击率记录的混合音乐推荐系统[A];2009年通信理论与信号处理学术年会论文集[C];2009年
2 高梦晨;;推荐系统用户感知调研[A];工业设计研究(第六辑)[C];2018年
3 李成;胡文丽;;推荐系统体验模型探索——以视频推荐为例[A];工业设计研究(第六辑)[C];2018年
4 李成;冯青青;;推荐系统准确度衡量方案——引入权重概念[A];工业设计研究(第五辑)[C];2017年
5 王晓光;施玉海;尹亚光;;面向广电的节目推荐系统研究[A];中国新闻技术工作者联合会2017年学术年会论文集(学术论文篇)[C];2017年
6 周小田;王宏志;郭翔宇;胡筱;董志鑫;李建中;高宏;;基于知识库的互联网商品信息分类与推荐系统[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年
7 汤娟梅;唐岭;;个性化英语阅读文章推荐系统的设计[A];计算机与教育:理论、实践与创新——全国计算机辅助教育学会第十四届学术年会论文集[C];2010年
8 王雪;董爱华;吴怡之;;基于RFID技术的智能服装推荐系统设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年
9 张玉连;张波;张敏;;改进的个性化信息推荐系统的设计与实现[A];2005年全国理论计算机科学学术年会论文集[C];2005年
10 王君;许洁萍;;层次音乐推荐系统的研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
中国重要报纸全文数据库 前5条
1 记者 周源;知意图发布推荐系统Etu Recommender[N];网络世界;2012年
2 本报记者 邹大斌;大数据:电商新武器[N];计算机世界;2012年
3 本报记者 冯卫东;网络导购:找出你的最爱[N];科技日报;2007年
4 本报记者 邱燕娜;精准推荐 一客一市场[N];中国计算机报;2012年
5 张秋明;用数据是新技能[N];福州日报;2015年
中国博士学位论文全文数据库 前10条
1 蒋伟;推荐系统若干关键技术研究[D];电子科技大学;2018年
2 练建勋;基于多样化内容数据的个性化推荐系统[D];中国科学技术大学;2018年
3 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年
4 王宏宇;商务推荐系统的设计研究[D];中国科学技术大学;2007年
5 颜端武;面向知识服务的智能推荐系统研究[D];南京理工大学;2007年
6 刘龙;一个能实现个性化实时路径推荐服务的推荐系统框架[D];中国科学技术大学;2014年
7 杨东辉;基于情感相似度的社会化推荐系统研究[D];哈尔滨工业大学;2014年
8 高全力;上下文感知推荐系统关键问题研究[D];西北大学;2017年
9 尹航;信息推荐系统中的协同过滤技术研究[D];东北大学;2012年
10 吴铭;基于链接预测的关系推荐系统研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 黄智超;推荐系统中协同过滤算法的改进与应用[D];中南民族大学;2016年
2 汪加林;基于用户偏好的深度学习推荐系统[D];华中科技大学;2018年
3 王俊;基于twitter的个性化新闻推荐系统的设计与实现[D];华中科技大学;2017年
4 王浴昊;基于监督信号增强的宽、深度学习推荐系统研究[D];华中科技大学;2018年
5 温向慧;基于流计算的实时推荐系统的研究[D];西北师范大学;2018年
6 冷娜;印染样品数字展厅及推荐系统的研究与实现[D];东华大学;2018年
7 周虎;基于Spark Streaming实时推荐系统的研究与实现[D];武汉邮电科学研究院;2019年
8 贺明慧;基于Spark的上车点推荐系统的设计与实现[D];北京交通大学;2018年
9 马靖;考虑用户偏好的停车场车位推荐系统设计与实现[D];河南大学;2018年
10 赵新晨;基于日志分析的销售推荐系统的设计与实现[D];南京大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026


丁香五月 啪综合