收藏本站
《武汉邮电科学研究院》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

海量时空轨迹相似度计算方法研究与实现

涂刚凯  
【摘要】:时空轨迹(Trajectory)是移动对象的位置和时间的记录序列。作为一种重要的时空对象数据类型和信息源,时空轨迹的应用范围涵盖了人类行为、交通物流、应急疏散管理、动物习性和市场营销等诸多方面。通过对各种时空轨迹数据进行聚类分析,可以提取时空轨迹数据中的相似性与异常特征,并有助于发现其中有意义的模式。针对传统的LCSS算法在轨迹点比对时,出现时间阈值选取的敏感性问题,提出了LCSS+算法,在不同的时间阈值条件下,表现平稳,识别率高,针对时空轨迹数据的稀疏性,造成了大量无效的轨迹点比对,本文将网格算法应用于LCSS+,极大的减少了轨迹点比对的数量,提升了算法效率。并针对大数据量的问题,提出了分布式环境下的LCSS+算法,测试结果表明分布式LCSS+算法能够缩短比对的时间,提升大数据集情形下的实时性。同时由于轨迹数据分布的不均衡,当使用MapReduce来计算轨迹相似度时,轨迹数据从Map端不能均匀的分配到Reduce端,使得某些Reduce节点的负载严重,这些负载严重的Reduce节点上的计算任务耗费了较长的时间,而整个MapReduce任务要等待所有的reduce任务都执行完成才能结束,使得整体任务运行时间变长。本文针对上述问题,提出了调优方案。其一,对原始轨迹数据进行数据抽样,统计轨迹数据中key值分布频次,从而推算整个轨迹数据的数据分布情况。其二,针对默认的分区算法的不足,提出一种改进的分区算法来处理Map端输出的中间结果数据,通过在作业运行时间和Reduce端负载情况上与默认的哈希分区算法进行比较的实验,实验结果表明改进的分区算法能够在处理倾斜度大的轨迹数据表现优于默认的哈希分区算法。
【学位授予单位】:武汉邮电科学研究院
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 李楚贞;;语义与统计相结合的中文微博相似度计算方法[J];数字技术与应用;2017年03期
2 徐茜;彭进业;李展;;本体映射中一种综合的概念相似度计算方法[J];计算机工程与应用;2010年24期
3 曹莉丽;王未央;;融合词向量的多特征问句相似度计算方法研究[J];现代计算机(专业版);2017年17期
4 胡燕祝;权桁;艾新波;;复杂网络全局拓扑相似度计算方法实证研究[J];软件;2015年09期
5 李军均;戚进;胡洁;彭颖红;;一种基于隶属函数的相似度计算方法及其应用[J];计算机应用研究;2010年03期
6 赵欢;李仁发;王家琴;张在美;;综合多层信息的本体概念相似度计算方法的研究[J];通信学报;2009年06期
7 谷瑞敏;涂洪谊;孙鹤;;中药色谱指纹图谱相似度计算方法的探讨[J];中成药;2009年07期
8 田侦;郭茂祖;;一种改进的基因功能相似度计算方法[J];智能计算机与应用;2017年05期
9 黄传飞;万剑怡;王明文;李茂西;;协同过滤中一种项目综合相似度计算方法[J];山西大学学报(自然科学版);2015年02期
10 王国春;郑山红;赵辉;董亚则;;基于阶段递进的综合本体相似度计算方法[J];吉林大学学报(信息科学版);2014年02期
中国重要会议论文全文数据库 前10条
1 吴晓琼;;协同过滤中基于用户的相似度计算方法研究[A];“决策论坛——管理科学与工程研究学术研讨会”论文集(下)[C];2016年
2 白宇;于水;叶娜;蔡东风;任晓娜;;一种基于语境的词语相似度计算方法[A];第五届全国信息检索学术会议论文集[C];2009年
3 乔林;黄维通;孟威;;一种改进的知网系统词语相似度计算方法[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 菅小艳;郑家恒;;一种改进的句子相似度计算方法[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
5 章成志;李斌;;基于混合策略的查询串相似度计算方法[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
6 章志凌;虞立群;罗海飞;邵晓敏;;基于改进Corpus库的词语相似度计算方法[A];第二十四届中国控制会议论文集(下册)[C];2005年
7 卢延科;尹宝生;张桂平;苗雪雷;白宇;;基于伪LCS的中文专利句子相似度计算方法[A];第五届全国信息检索学术会议论文集[C];2009年
8 黄勇;;基于语义分析的中文智能答疑系统[A];计算机与教育:应用促进学与教创新——全国计算机辅助教育学会第十三届学术年会论文集[C];2008年
9 陈希友;冯少荣;张东站;薛永生;;基于反馈的用户访问预测模型[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
10 陆劲挺;路强;刘晓平;;对比相似度计算方法及其在功能树扩展中的应用[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
中国博士学位论文全文数据库 前5条
1 万庆生;领域问答系统问句相似度计算方法研究[D];哈尔滨工程大学;2014年
2 吴小坤;轻量级服务推荐算法研究[D];北京邮电大学;2015年
3 蔡圆媛;基于知识整合的词汇语义相似度计算方法研究[D];北京交通大学;2016年
4 朴勇;基于XML的文本结构信息抽取与聚类研究[D];大连理工大学;2014年
5 刘鼎甲;基于关系模型的语料库查询处理问题研究[D];燕山大学;2015年
中国硕士学位论文全文数据库 前10条
1 张巍;基于全同态加密与simhash的密文数据相似度计算方法[D];中南民族大学;2016年
2 涂刚凯;海量时空轨迹相似度计算方法研究与实现[D];武汉邮电科学研究院;2019年
3 王志辉;基于卷积神经网络的多元颅面相似度计算方法研究[D];西北大学;2018年
4 刘拼拼;领域问答系统中问句相似度计算方法研究[D];哈尔滨工业大学;2018年
5 李瑞楠;基于语义的文本相似度计算方法的研究[D];北京工业大学;2018年
6 周政;自适应学习系统中几何试题相似度计算方法研究[D];渤海大学;2018年
7 解倩倩;汉维辅助翻译系统中结合词向量的句子相似度计算方法研究[D];新疆大学;2017年
8 唐中林;基于本体的概念相似度计算方法的研究[D];武汉理工大学;2013年
9 徐海洲;自动问答系统中问句相似度计算方法研究[D];华东交通大学;2014年
10 俞云飞;多特征融合的电影相似度计算方法研究[D];华东师范大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026


丁香五月 啪综合