基于数据预测的学习算法优化,关于免费算法论文范文在这里免费下载与阅读,为您的算法相关论文写作提供资料。
算法论文参考文献：
摘 要： 通过对标准梯度下降算法BP神经网络进行应用研究,众多学者发现其收敛速度有待进一步提高.本文通过对标准BP网络分析以及针对网络中暴露的问题逐步解决优化,逐算法进行训练比较,最终选出最优算法.
关键词：学习算法 标准梯度 最优理论
中图分类号：TP301.5 文献标识码：A 文章编号：1003-9082（2016）04-0006-01
研究发现,标准BP网络算法暴露出的主要问题有：一是训练网络易陷入局部最优；二是网络收敛慢,训练时间长；三是训练时对于旧样本趋势进行遗忘[1].目前BP网络的优化学习算法可分为两大类：基于标准梯度下降的启发式学习算法和基于最优理论的训练算法[2].
一、基于改进标准梯度启发式学习算法分析
改进梯度算法是在原有标准梯度算法基础上,通过优化计算网络权值和阈值的调整方式实现收敛优化的目的.改进梯度算法包括增加动量法、学习速率可变法和弹性梯度法.
1.增加动量的梯度下降算法
标准梯度算法有遗忘旧样本趋势,即在网络训练中只参考本次样本输入影响,在此情况下便导致网络训练震荡性大.为克服该弱点,引入动量因素,即考虑以往网络输入对于当前梯度方向影响,如式（1）中引入前一时刻网络调整方向： （1）
表示时刻,表示时刻的负梯度.由于考虑了以往梯度的影响,相当于给迭代过程中增加了一个低通滤波器,使得网络综合历史以及当前情况进行调整,从而忽略了误差下降曲面的部分不规则细节优化了网络收敛.
2.学习速率可变的梯度下降算法
在标准梯度下降的BP网络中,学习速率是恒定的,这就造成了网络训练前期和后期,学习速率对于网络自身的不适应性.为解决学习速率带来的问题,引入学习速率可变的算法.
该算法通过当前总误差与前一次总误差对比,实现学习速率的自适应调整,根据当前训练所在误差曲面的复杂度来确定学习速率的调整.
同增加动量的梯度下降算法一样,学习速率可变的梯度下降算法同样存在权值的修正量过小,学习效率得不到保证的问题.
3.弹性梯度下降算法
为解决输入数据进入Sigmoid传输函数“饱和区”的不利影响,当训练进入平坦区时,压缩神经元输入,从而使得输入退饱和区.该算法数学表达为：
由（2）式可知,当 时,传输函数的敏感区段延长至原来的倍.输入退出饱和区时,自适应调整 ,使得传输函数拥有较高灵敏度.
二、基于最优理论的算法分析
基于最优化理论,在BP网络的研究上有共轭梯度法、拟牛顿法和Levenberg-Marquardt法.
1.共轭梯度算法
标准梯度下降算法,目标拟合思想是权值和阈值调整沿误差函数下降最快的方向,然而由于误差曲面的非光滑性质,导致梯度下降方向并不一定为收敛最快方向,且易陷入局部最优.因此,引入共轭梯度,权值和阈值调整沿共轭梯度方向调整来获得更快收敛[3].
2.拟牛顿算法
在数值优化算法中,标准的牛顿法迭代公式为： （3）
是误差性能函数对当前权值和偏差的二阶微分构成的Hessian矩阵[3].然而,对于前向型BP网络,计算Hessian矩阵耗费的计算资源量较大,反而提高了收敛时间.拟牛顿算法是每一次迭代计算一个近似Hessian矩阵,不仅提高了计算效率而且还解决了Hessian矩阵计算困难的问题,提高了网络性能.
3.Levenberg-Marquardt算法
综合以上两种算法特点,提出Levenberg-Marquardt学习算法BP网络.L-M法中,将误差性能函数可以表示为平方和的形式,此时,Hessian矩阵可以近似为[3]： （4）
梯度为： （5）
L-M算法的更新过程与牛顿法类似,公式表达如下：
（6）
三、最优算法
1.标准梯度以及其改进算法综合比较
2.基于最优理论学习算法的综合比较
3.两类算法中的最优算法进行比较
通过比较,Levenberg-Marquardt算法在收敛速度和收敛效果上都要优于弹性梯度算法.因此,选取Levenberg-Marquardt算法为最优算法.
结论：关于算法方面的论文题目、论文提纲、算法论文开题报告、文献综述、参考文献的相关大学硕士和本科毕业论文。
面向高维数据随机森林算法优化
作者简介：罗超，2003年毕业于湘潭大学测控技术与仪器专业；2013年至2016年，就读于人民大学统计学院；现任职于霍尼韦尔航空航天部门，专注于。
聚类稳定性分析方法增强单类学习算法
作者简介：熊玉玲，2003年毕业于湘潭大学信息与计算科学专业；2013～2016，人民大学统计学院；现任职于百度地图大数据团队，专注于交通大数据。
大数据预测分析有多靠谱
关于大数据预测性分析，如今可谓大肆宣传，人人都想在预测分析市场上分得一杯羹。周末和朋友喝茶聊天，谈到了这个话题。预测的故事一个接着一个，然而一些。
大数据背景下管理会计优化策略
摘要：文章对大数据时代管理会计的发展背景进行了全面的阐述，对该背景下管理会计存在问题的问题进行了全面系统的分析，并结合实际，对如何优化提升管理会。