收藏本站
《大连理工大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

用于神经网络的带L_(1/2)正则项的共轭梯度学习方法

李文钰  
【摘要】:人工神经网络由于其超强的非线性映射能力,卓越的学习能力以及其广泛的用途,成为许多领域的研究热点.为了提高网络泛化能力,产生更经济的稀疏网络,克服梯度型神经网络学习算法收敛速度慢,容易过快陷入局部极小点,且易产生振荡现象的缺陷.为此本文主要研究带光滑L1/2正则项的批处理共轭梯度型学习方法.首先提出基于修正割线方程的共轭梯度法,并验证了该方法求解标准优化测试问题的有效性.其次提出双自适应参数的共轭梯度法,并对XOR问题搭建神经网络进行测试来验证算法的有效性.然后将双自适应参数的混合共轭梯度法引入BP前馈神经网络训练,提出带光滑L1/2正则项的共轭梯度学习方法.最后针对零阶Takagi—Sugeno模糊推理系统,提出带光滑L1/2正则项的常值学习率共轭梯度学习方法.本文对于这些方法均进行了收敛性分析,它们在数值结果上也展示出了不俗表现.本文的主要内容概括如下:1.第一章绪论部分回顾了神经网络的相关背景知识,介绍了本文的研究目的和研究意义,提出了本文的研究内容.2.第二章针对Dai-Yuan(DY)共轭梯度方法具有优良的收敛性质但数值表现一般的特点,结合修正的割线方程,改进某类参数DY型共轭梯度法,提出了双参数DY型共轭梯度算法.结合Wolfe线搜索,算法总能产生下降的搜索方向.由于算法充分的利用修正割线方程中包含的梯度信息和函数值的信息,提高了目标函数二阶曲率的近似精度,在参数选择为恰当常数的条件下,算法表现出优异的数值性能.在合理的假设下,证明了该方法的全局收敛性.3.第三章主要分析双参数共轭梯度方法中参数的自适应问题.基于在最优解附近选择共轭梯度方向为拟牛顿方向这一假定,充分利用已经计算得到的梯度、搜索方向和学习率等信息来设计自适应的参数,并利用强Wolfe线搜索来计算学习率,算法产生新的搜索方向既为下降方向又具有拟牛顿性质.对于XOR问题搭建神经网络进行数值实验,结果显示双自适应参数共轭梯度法明显改善了 DY框架下的其他三个参数共轭梯度法,并且与经典的梯度算法和共轭梯度算法相比较,同样显示了良好的性能.4.第四章主要研究将双自适应参数共轭梯度方法用于前馈神经网络训练,并用于分类任务.我们依据DY框架下的共轭梯度混合策略,提出了光滑L1/2正则化双自适应参数的混合共轭梯度学习方法,进一步改善学习算法的性能.该方法利用强Wolfe条件来计算学习率,使得该混合算法产生的搜索方向依然具有拟牛顿性和充分下降性质.如在UCI数据集中五个基准分类问题的数值实验所示,与其他经典的共轭梯度训练算法相比,新的学习算法具有与其他算法大致相同或更好的学习能力,但同时又具有更好的泛化性、网络稀疏性和更高的稳健性.在合理的假设下,证明了该方法的全局收敛性.5.第五章针对零阶Takagi-Sugeno模糊推理系统,提出一种具有光滑L1/2正则项的共轭梯度方法来训练模糊神经网络,得到了较为经济的稀疏网络结构.该方法中,采用了常值学习率,以此来降低计算成本,并提高学习效率.数值实验表明,该算法具有较强的稀疏性和较快的学习效率.此外,在合理的假设下,得到该方法的全局收敛性结果.
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2018
【分类号】:TP183

【参考文献】
中国期刊全文数据库 前5条
1 吴微;杨洁;;用于神经网络权值稀疏化的L_(1/2)正则化方法[J];中国科学:数学;2015年09期
2 韩敏;李德才;;基于替代函数及贝叶斯框架的1范数ELM算法[J];自动化学报;2011年11期
3 张海;王尧;常象宇;徐宗本;;L_(1/2)正则化[J];中国科学:信息科学;2010年03期
4 潘翠英;陈兰平;;求解无约束优化问题的一类新的下降算法[J];应用数学学报;2007年01期
5 戴或虹,袁亚湘;共轭下降法的全局收敛性[J];数学进展;1996年06期
【共引文献】
中国期刊全文数据库 前10条
1 吴雪莎;;一种杂交共轭梯度方法的全局收敛性(英文)[J];数学季刊(英文版);2015年03期
2 朱花;吴根师;白玉芳;;共轭梯度法在最优化问题求解中的应用[J];中华少年;2015年22期
3 吴微;杨洁;;用于神经网络权值稀疏化的L_(1/2)正则化方法[J];中国科学:数学;2015年09期
4 王文东;王尧;王建军;;基于迭代重赋权最小二乘算法的块稀疏压缩感知[J];电子学报;2015年05期
5 练秋生;石保顺;陈书贞;;字典学习模型、算法及其应用研究进展[J];自动化学报;2015年02期
6 韩敏;任伟杰;许美玲;;一种基于L_1范数正则化的回声状态网络[J];自动化学报;2014年11期
7 王安平;马烁;;一种修正的DY共轭梯度法及全局收敛性[J];辽宁工程技术大学学报(自然科学版);2014年10期
8 于一发;张大庆;张波;王艳;;基于Tikhonov正则化的模糊系统辨识方法[J];信息与控制;2014年04期
9 陈湘赟;;混合CD-DY共轭梯度法[J];常熟理工学院学报;2014年04期
10 李凡军;韩红桂;乔俊飞;;基于灵敏度分析法的ELM剪枝算法[J];控制与决策;2014年06期
【二级参考文献】
中国期刊全文数据库 前6条
1 Ye-tian FAN;Wei WU;Wen-yu YANG;Qin-wei FAN;Jian WANG;;A pruning algorithm with L_(1/2) regularizer for extreme learning machine[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年02期
2 喻昕;邓飞;;递归pi-sigma神经网络的带惩罚项的梯度算法分析[J];计算机工程与应用;2013年04期
3 韩敏;李德才;;基于替代函数及贝叶斯框架的1范数ELM算法[J];自动化学报;2011年11期
4 乔俊飞;韩红桂;;RBF神经网络的结构动态优化设计[J];自动化学报;2010年06期
5 叶健;葛临东;吴月娴;;一种优化的RBF神经网络在调制识别中的应用[J];自动化学报;2007年06期
6 蒙祖强,蔡自兴;一种基于并行遗传算法的非线性系统辨识方法[J];控制与决策;2003年03期
【相似文献】
中国期刊全文数据库 前10条
1 王朝甫,方大纲;多层自适应共轭梯度方法及其在电磁问题中的应用[J];微波学报;1995年02期
2 曾维强;刘海林;;一种全局收敛的杂交谱共轭梯度方法[J];广东技术师范学院学报;2015年05期
3 朱志伟;一个新的共轭梯度类型方法[J];广西师范学院学报(自然科学版);2004年02期
4 陈卫军;金显华;;一种最大共轭梯度连续泛函的网络峰值预测[J];信阳师范学院学报(自然科学版);2015年02期
5 张昆;董浩;严加永;魏文博;吕庆田;;大地电磁场非线性共轭梯度三维反演[J];矿床地质;2012年S1期
6 蒲小丽;王丽平;;基于共轭梯度分解算法的电网谐波估计[J];计算机技术与发展;2013年02期
7 韩松,李建国;直接自适应调节的共轭梯度方法[J];哈尔滨师范大学自然科学学报;1999年02期
8 袁功林;李向荣;;一个新的解非线性对称方程组的非单调共轭梯度方法[J];广西科学;2009年02期
9 陈光源;雷卓;贺海靖;邓明;景建恩;;2.5维海洋非线性共轭梯度反演应用效果研究[J];海洋技术学报;2018年02期
10 张友兰;白素琴;;共轭梯度方法的应用[J];河北省科学院学报;1993年04期
中国重要会议论文全文数据库 前10条
1 黎小圣;张国山;;区间分割共轭梯度混沌优化算法及其应用[A];第五届ABB杯全国自动化系统工程师论文大赛论文集[C];2011年
2 谷同祥;刘兴平;;预条件多搜索方向共轭梯度方法[A];中国工程物理研究院科技年报(2003)[C];2003年
3 靳一;李明玉;徐常志;杨光文;汪滴珠;杨丽;;星载自适应稀疏预失真技术研究[A];第四届高分辨率对地观测学术年会论文集[C];2017年
4 张昆;严加永;;一种大地电磁场非线性共轭梯度三维并行反演[A];第一届全国青年地质大会论文集[C];2013年
5 韩敏;郭伟;王金城;;径向基函数神经网络的全监督算法[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
6 林楠;陈永良;路来君;;共轭梯度求解的Logistic回归模型与ROC曲线分析在矿产靶区预测中的应用[A];第十五届全国数学地质与地学信息学术研讨会论文集[C];2016年
7 毕竞;袁伟;;线性约束共轭梯度常模算法的研究[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
8 黄敏超;张育林;陈启智;;共轭梯度反传算法及其在系统辨识中的应用[A];1995中国控制与决策学术年会论文集[C];1995年
9 张忠元;;一个共轭梯度方法全局收敛性的判别准则[A];第九届中国青年信息与管理学者大会论文集[C];2007年
10 李中华;魏鸣;肖艳姣;;关于单多普勒雷达资料的VVP反演方法的讨论[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集(下册)[C];2004年
中国重要报纸全文数据库 前1条
1 记者 朱华 通讯员 王握文 于冬阳 国文成;天河二号成世界超算双料冠军[N];长沙晚报;2014年
中国博士学位论文全文数据库 前10条
1 李文钰;用于神经网络的带L_(1/2)正则项的共轭梯度学习方法[D];大连理工大学;2018年
2 马欢;电阻率法和激发极化法不同装置组合数据三维非线性共轭梯度反演并行算法研究[D];中国地质大学(北京);2015年
3 胡朝明;几类谱共轭梯度方法理论及数值行为研究[D];中南大学;2012年
4 张昆;改进的大地电磁场非线性共轭梯度三维反演及其并行计算研究[D];中国地质大学(北京);2013年
5 姚胜伟;几类共轭梯度算法的研究[D];华东理工大学;2014年
6 林昌洪;大地电磁张量阻抗三维共轭梯度反演研究[D];中国地质大学(北京);2009年
7 马明娟;一类共轭梯度方法及其收敛性[D];吉林大学;2009年
8 宛田宾;光散射断层成像技术的研究[D];中国科学技术大学;2007年
9 李艳灵;基于聚类的图像分割算法研究[D];华中科技大学;2009年
10 佟拓;海洋人工源频率域电磁法三维共轭梯度反演研究[D];中国地质大学(北京);2012年
中国硕士学位论文全文数据库 前10条
1 尹志益;基于修正共轭梯度迭代硬阈值的高效激光辐射对称性分析[D];广东工业大学;2018年
2 胡创业;大地电磁二维OCCAM-非线性共轭梯度反演研究[D];中国地质大学(北京);2016年
3 陈恩;WYL和HZ共轭梯度算法的改进和推广[D];重庆师范大学;2018年
4 刘奔;求解无约束优化问题的共轭梯度方法[D];重庆大学;2013年
5 蒲小丽;共轭梯度分解算法及其应用[D];南京航空航天大学;2012年
6 张杨;共轭梯度型方法的进一步研究与改进[D];重庆大学;2012年
7 王珏钰;非线性(无)约束问题的共轭梯度路径法[D];上海师范大学;2013年
8 崔曾如;基于最小二乘的三项共轭梯度方法[D];广西大学;2017年
9 周乾;基于数据空间的大地电磁二维共轭梯度反演研究[D];东华理工大学;2015年
10 张颖;有关共轭梯度法的一些研究[D];大连理工大学;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026


丁香五月 啪综合