收藏本站
《华北电力大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

大数据技术在电力营销系统中的应用研究

刘雨晨  
【摘要】:随着电力企业的快速发展,电网数据不断积累,呈现出爆炸式增长的趋势。怎样从这些数据中挖掘出价值数据,已经成为智能电网建设和电力企业发展的关键,而大数据相关技术的飞速发展为电网数据带来新机遇。在当下主流的大数据技术中,相比Hadoop平台,Spark平台更加优异的迭代工作负载性能、RDD数据集的高速计算能力以及HDFS的强大存储能力在海量的电力数据挖掘中都表现出极大的优势。本文利用Spark平台与关联规则挖掘技术结合的优势,根据电力企业对数据分析的实际需求,研究分析了Z-score标准化和FCM聚类算法,结合两者设计出电力数据预处理流程,验证了数据预处理的有效性,并运用稀疏矩阵和FCM聚类算法改进了FFP-growth算法,应用于Spark平台下的电力营销系统中。本文主要完成了以下三方面工作:第一,研究实际处理电网数据中遇到的问题,并针对这些问题提出解决方法,根据Z-score标准化和FCM聚类算法的结合提出大数据预处理的新流程;第二,研究了FP-growth关联规则挖掘算法,根据传统FP-Growth算法的不足对其进行改进,引入稀疏矩阵存储减少一次数据库扫描得到频繁项集,节省了数据库扫描时间,并设计了在Spark平台下改进的FFP-growth算法并行化模型,对数据进行二次分类,避免单个事务集过大的问题;第三,搭建Spark平台,设计并实现电力营销系统,将数据预处理技术和改进的FFP-Growth关联规则挖掘技术应用到电力营销数据分析系统中,实例验证了重新设计的数据预处理流程和改进的并行关联规则挖掘算法在电力营销数据分析中的有效性。
【学位授予单位】:华北电力大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:F426.61;TP311.13

【参考文献】
中国期刊全文数据库 前10条
1 郭华峰;赵建民;潘修强;;自适应抑制式模糊C-回归模型算法[J];计算机科学;2015年02期
2 习伟;李鹏;郭晓斌;许爱东;蒋愈勇;张利强;吴玉生;;多维时间序列关联分析方法在电力设备故障预测中的应用[J];电网与清洁能源;2014年12期
3 李杨;;智能电网大数据处理技术应用现状及困境探讨[J];硅谷;2014年14期
4 孙柏林;;“大数据”技术及其在电力行业中的应用[J];电气时代;2013年08期
5 朱淑真;左风朝;;基于社会网络分析的P2P网络挖掘[J];科技信息;2012年35期
6 芦佳;卫强;陈兵;;基于RFID技术的防伪平台的设计与实现[J];计算机技术与发展;2012年05期
7 邱望仁;刘晓东;张振宇;;基于AFS拓扑和AFCM的模糊聚类分析[J];模糊系统与数学;2010年04期
8 孙大朋;;改进的模糊聚类算法在入侵检测中的研究[J];计算机与数字工程;2010年03期
9 杨森;曹宝香;;基于SOA的分布式构件库系统的设计与实现[J];北京联合大学学报(自然科学版);2009年04期
10 陈竹;戴爱德;王月粉;;JSON数据交换语言在Mashup Web服务下的应用[J];国土资源信息化;2009年05期
中国重要报纸全文数据库 前1条
1 刘军 ;吕俊峰;;大数据时代及数据挖掘的应用[N];国家电网报;2012年
中国博士学位论文全文数据库 前3条
1 杨静;基于结构方程模型的因果发现研究[D];合肥工业大学;2013年
2 陈晓云;文本挖掘若干关键技术研究[D];复旦大学;2005年
3 王越;分布式关联规则挖掘的方法研究[D];重庆大学;2003年
中国硕士学位论文全文数据库 前10条
1 黎楚乾;基于大数据的信息物理融合系统的分析与设计方法[D];广东工业大学;2015年
2 张敏超;基于半监督多标签学习的文献自动链接方法研究与实现[D];西北大学;2014年
3 李兴;基于Hadoop的并行K-prototypes聚类算法的研究与设计[D];北京工业大学;2014年
4 罗云;互联网海量信息中热点信息主题的自动发现[D];华南理工大学;2013年
5 马晶晶;基于云计算及关联规则挖掘技术的气象数据挖掘研究[D];内蒙古工业大学;2013年
6 饶莹心;数据挖掘技术在招生决策系统中的应用[D];华东理工大学;2013年
7 白帆;基于增量分区的社交网络数据管理与维护研究[D];东北大学;2012年
8 周虹;基于自适应粒子群的k-中心聚类算法研究[D];长沙理工大学;2012年
9 邢昕;灰色神经网络改进算法及其应用研究[D];华中科技大学;2011年
10 谢潇;粗糙集属性约简算法在电力市场中的研究及应用[D];华北电力大学;2011年
【共引文献】
中国期刊全文数据库 前10条
1 李思远;;大数据在电力行业的应用[J];绿色环保建材;2017年12期
2 冯杰;;大数据在对电力安全生产作业中的应用研究[J];科技创新与应用;2017年32期
3 焦冬冬;张晨;房志奇;康卫;;基于云技术的分布式实时数据库系统的设计与实现[J];电子技术应用;2017年11期
4 汤勇峰;;智能电网大数据技术发展研究[J];电脑知识与技术;2017年31期
5 张珂珩;;用电信息采集系统量测数据处理技术方案[J];电子技术与软件工程;2017年20期
6 林炳花;林丽萍;;大数据技术在电力通信网的应用分析[J];电力大数据;2017年10期
7 姚多朵;牛东晓;;基于电力大数据的电网规划研究[J];科技和产业;2017年09期
8 蒋辉;孙林娟;张新荣;;基于RFID与NFC技术的防伪认证系统的研究与应用[J];计算机应用与软件;2017年09期
9 杨悦;戴茜璐;;智能电网大数据处理技术现状与挑战研究[J];科技创新导报;2017年25期
10 石金平;汪力;郭仕锐;陈胜国;;电力企业发展业务大数据分析系统研究[J];电子世界;2017年14期
中国博士学位论文全文数据库 前10条
1 张金松;基于引文上下文分析的文献检索技术研究[D];大连海事大学;2013年
2 薛利;面向证券应用的WEB主题观点挖掘若干关键问题研究[D];复旦大学;2013年
3 郑立斌;联合式制造资源发现与集成方法的研究[D];江苏大学;2011年
4 彭柳青;高维高噪声数据聚类中关键问题研究[D];西安电子科技大学;2011年
5 代劲;云模型在文本挖掘应用中的关键问题研究[D];重庆大学;2011年
6 梁艳红;基于专利挖掘的创新设计关键技术研究[D];河北工业大学;2011年
7 王萍;网络环境下的领域知识挖掘[D];华东师范大学;2010年
8 何慧;WEB文本挖掘中关键问题的研究[D];北京邮电大学;2009年
9 刘健;面向信息检索的文本信息组织关键技术研究[D];国防科学技术大学;2009年
10 管河山;金融多元时间序列挖掘方法研究与应用[D];厦门大学;2008年
中国硕士学位论文全文数据库 前10条
1 裘德新;电力设备状态监测数据的特征压缩与提取方法研究[D];华东交通大学;2017年
2 周井芝;基于数据分析的高考志愿决策模型研究[D];山东师范大学;2017年
3 关玥;考虑元件参数退化的模拟电路性能退化分析[D];哈尔滨工业大学;2017年
4 程茂华;云环境下基于机器学习的PM_(10)—能见度—湿度相关性研究[D];广西师范学院;2017年
5 武汉慧;城市轨道交通短时客流预测与运营组织研究[D];长安大学;2017年
6 刘雨晨;大数据技术在电力营销系统中的应用研究[D];华北电力大学;2017年
7 郝璐萌;基于组群优化的聚类算法研究[D];天津科技大学;2017年
8 王军;面向纺织智能制造的信息物理融合系统研究[D];东华大学;2017年
9 谭浩强;基于weka的达州市健身俱乐部高端会员的开发与研究[D];成都体育学院;2016年
10 曲俊燕;决策树和关联规则技术在高职院校招生工作中的应用研究[D];郑州大学;2016年
【二级参考文献】
中国期刊全文数据库 前10条
1 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期
2 赵凤;范九伦;;优选抑制式非局部空间模糊C-均值图像分割方法[J];计算机应用研究;2012年07期
3 蒋玉杰;曹岳辉;;基于RFID技术的系统方案设计[J];计算机技术与发展;2011年04期
4 落红卫;程伟;;RFID安全威胁和防护措施[J];电信网技术;2010年03期
5 彭宇;刘大同;彭喜元;;故障预测与健康管理技术综述[J];电子测量与仪器学报;2010年01期
6 陈端兵;万英;田军伟;傅彦;;一种基于社会网络分析的P2P僵尸网络反制策略[J];计算机科学;2009年06期
7 李瑞莹;康锐;;基于ARMA模型的故障率预测方法研究[J];系统工程与电子技术;2008年08期
8 邱望仁;詹棠森;刘晓东;;基于AFS拓扑和FCM的模糊聚类分析[J];模糊系统与数学;2008年02期
9 王广斌;刘义伦;李松柏;阳小燕;;压缩机时间序列故障诊断在力控组态软件中的实现[J];风机技术;2007年06期
10 孙博;康锐;谢劲松;;故障预测与健康管理系统研究和应用现状综述[J];系统工程与电子技术;2007年10期
中国博士学位论文全文数据库 前2条
1 胡春玲;贝叶斯网络结构学习及其应用研究[D];合肥工业大学;2011年
2 姚宏亮;动态多智能体建模与决策问题研究[D];合肥工业大学;2007年
中国硕士学位论文全文数据库 前10条
1 朱晨曦;基于AADL的信息物理融合系统的分析与设计方法[D];广东工业大学;2014年
2 张建朋;复杂数据流聚类算法研究及应用[D];解放军信息工程大学;2013年
3 赵广才;基于云计算的空间聚类分析研究[D];河南工业大学;2012年
4 李贞海;交通网络中移动对象全时态索引研究与实现[D];西南大学;2011年
5 王东;基于变异粒子群的聚类算法研究[D];长沙理工大学;2011年
6 刘娜;基于MapReduce的数据挖掘算法在全国人口系统中的应用[D];首都经济贸易大学;2011年
7 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年
8 杨新月;云计算环境下关联规则算法的研究[D];电子科技大学;2011年
9 余楚礼;基于Hadoop的并行关联规则算法研究[D];天津理工大学;2011年
10 杨宸铸;基于HADOOP的数据挖掘研究[D];重庆大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 刘晓刚;韩青秀;陈华;;银电联网在青海电力营销系统的实现[J];青海电力;2011年04期
2 张小军;汪大勇;;模拟电力抄表现场 改进抄表培训方式[J];农电管理;2012年07期
3 龚曼琪;;电力营销系统在电网中的应用和实现[J];科技创新导报;2013年20期
4 胡军;;刍议电力营销系统现状以及信息化系统的建设方案[J];企业技术开发;2012年14期
5 唐汉;;电力营销系统现状与信息化系统的建设探讨[J];通讯世界;2013年17期
6 邱辉;;浅谈电力营销系统管理与应用[J];中国西部科技;2011年06期
7 杨锡娟;;浅谈如何提高电力营销系统基础数据质量[J];中国电力教育;2012年33期
8 龙建雄;;SOA在电力营销系统中的应用[J];北京联合大学学报(自然科学版);2007年02期
9 蓝日英;;基于SOA的电力营销系统设计及实现[J];电子测试;2013年20期
10 李瑞锋;;基于CIM模型的电力营销管理信息系统建设及应用[J];中外企业家;2013年23期
中国重要会议论文全文数据库 前8条
1 张天兵;;群集技术在电力营销系统中的应用与探讨[A];广东省电机工程学会2003-2004年度优秀论文集[C];2005年
2 崔静安;赵红庆;黄莹;徐斌;;浅谈电力营销系统的建设与使用[A];2005中国电机工程学会电力系统自动化专委会全国供用电管理自动化学术交流暨供用电管理自动化学科组第二届年会论文集[C];2005年
3 曾保芬;;浅谈电力营销系统建设与应用[A];2010年云南电力技术论坛论文集(文摘部分)[C];2010年
4 齐鹏;;基于J2EE的电力营销系统[A];第十届全国电工数学学术年会论文集[C];2005年
5 李雪;苑津莎;张卫华;;数据仓库技术在电力营销系统中的应用研究[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
6 王桂芹;黄道;;数据预处理技术研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
7 周炳玉;卢野;刘珍阳;;多传感器数据融合中的数据预处理技术研究[A];2007年光电探测与制导技术的发展与应用研讨会论文集[C];2007年
8 张国卿;马亚龙;同兰娟;孙明;;一种数字信号处理方法在数据预处理中的应用研究[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年
中国重要报纸全文数据库 前4条
1 崔欣 薛仲寒;联想产品与服务护航国家电网SG186工程[N];中国电力报;2010年
2 记者 王婷婷 通讯员 姜玲;我区电力营销系统升级[N];阿勒泰日报;2009年
3 费振波 岳欣;电力营销系统彰显电子商务魅力[N];黑龙江日报;2004年
4 本报记者 郭铁强;关爱95598[N];华北电力报;2006年
中国硕士学位论文全文数据库 前10条
1 刘雨晨;大数据技术在电力营销系统中的应用研究[D];华北电力大学;2017年
2 陈倩;地市(县)供电企业电力营销系统的设计与实现[D];电子科技大学;2014年
3 董万里;电力营销系统的设计与实现[D];黑龙江大学;2014年
4 王璐璐;营口地区电力营销系统中的需电量预测研究[D];华北电力大学;2015年
5 覃捷;电力营销系统的电量和电费子系统设计及应用优化研究[D];华南理工大学;2016年
6 孔令雨;基于移动平台的电力营销系统的分析与设计[D];大连理工大学;2016年
7 翁俊;基于移动GIS的电力营销系统的研究与设计[D];厦门大学;2009年
8 席懿蕾;电力营销系统的设计与实现[D];吉林大学;2015年
9 陈兴;基于知识管理的电力营销系统的设计与实现[D];成都理工大学;2011年
10 朱庆;电力营销系统之缴费子系统的设计与实现[D];山东大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026


丁香五月 啪综合