正则化误差渐减在线序列ELM算法,此文是一篇正则化论文范文,为你的毕业论文写作提供有价值的参考。
正则化论文参考文献：
摘 要：该文基于误差渐减在线序列 ELM和正则化ELM算法,借鉴正则化ELM算法中计算输出权重向量的方法,即引入正则化因子用以计算权重向量的方法以更新误差渐减在线序列算法中输出权重向量和实际输出,进而提出正则化误差渐减在线序列ELM算法,数值实验表明该算法的优势在学习速度、算法稳定性以及泛化性能方面均有所体现.
关键词：在线序列；误差渐减；正则化
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）11-0273-03
为克服单隐层前向网（SLFN）的学习缺陷,黄广斌于2004年而提出ELM算法[1].有别于传统算法,ELM算法随机为隐层设定参数,且用最小范数最小二乘法计算算法的输出权重向量.基于ELM算法优势,即学习速度快,泛化能力好,使其得到进一步推广[2-5].同时,为克服其学习模式的弊端,梁提出在线序列ELM算法（OS-ELM）[6].由于正则化ELM算法引入正则化因子计算输出权重向量,不仅降低算法复杂度而且提高了算法泛化性能和稳定性,故将其引入OS-ELM系列算法中.
1 预备知识
1.1 正则化ELM算法
正则化ELM算法主体思想如下：
一般而言,所学习的训练样本集
[xi,tiNi等于1,xi∈Rd,ti∈-1,1]
包含的输入数据集是可非线性划分的,故通过非线性映射[Φ：xi→Φ（xi）]把样本集中的输入数据集[xi]投射到特征空间[Ζ]中.用[2ω]表示两类数据的间距,并求误差最小时两类数据集间距的最大值,即
[minω,b,ξ：LPSVM等于12ω2+Ci等于1Nξi] （1.1）
[s,t：ti（W?Φ（xi）+b）≥1-ξi, i等于1,等,N] （1.2） [ξi≥0,i等于1,等,N] （1.3）
其中C是需人工设定的正则化因子,用于平衡两类数据集间距和误差.由文献[7]中相关KKT理论知识可知,上述优化问题可转化为如下对偶优化问题.
[minω,b,ξ：LPSVM等于12i等于1Nj等于1NtitjαiαjΦ（xi）Φ（xj）-i等于1Nαi] （1.4） [s.t：i等于1Ntiαi等于0] （1.5）
[0≤αi≤C,i等于1,等,N ] （1.6）
当有新训练样本输入数据[x]添加到网络进行学习时,SVM最终的决策函数可表示为：
[f（x）等于sign（s等于1NSαstsK（x,xs）+b）] （1.7）
其中[NS]表示支持向量[Xs]的数量.
ELM不仅能逼近任意连续的目标函数而且ELM分类器的实际输出能以最小误差接近对应区域的类标签,將上述思想应用于ELM算法,可表述为：
[minβ,ξ：LSVM等于12β2+C12i等于1Nξ2i] （1.8）
[s,t：h（xi）β等于ti-ξi, i等于1,等,N] （1.9）
由KKT理论知识,可将上述问题等价转化为：
[LDELM等于12β2+C12i等于1Nξ2i-i等于1Nαi（h（xi）β-ti+ξi）] （1.10）
其中参数C表示训练样本集中输入数据对应的拉格朗日乘子向量,上述问题的最优解可从符合下述条件的解中遴选.
其中[α等于α1,等,αNT].
就多元分类问题而言,仅需将每个训练集的输出数据转化为n维向量,如果原始训练样本的输出类标签为p,则期望输出为：[0,等,0,1p,0,等,0T].所以[ti等于ti,1,等,ti,n]中仅第p个元素是1,其余元素均为0,由此上述多元分类问题可描述为：
[minβ,ξ：LPELM等于12β2+C12i等于1Nξi2] （1.14）
[s,t：h（xi）β等于tTi-ξTi, i等于1,等,N] （1.15）
其中[ξi等于ξi,1,等,ξi,nT]表示第n个期望输出关于训练样本输入数据[xi]的误差向量.由KKT理论可知上述问题的解等价于解决下述对偶问题：
[LDELM等于12β2+C12i等于1Nξi2-i等于1Nαi,j（h（xi）βj-ti,j+ξi,j） ]
（1.16）
其中[βj]为连接输出层第j个隐单元与隐层的权重向量. 故寻求上述问题的最优解可从符合以下条件的解中筛选：
其中[αi等于αi,1,等,αi,nT],[α等于α1,等,αNT].
把（1.17）式和（1.18）式代入（1.19）式,整理可得
[][（IC+HHT）α等于T] （1.20）
其中[T等于tT1...?TTN].
结合（1.17）式和（1.20）式可得
[β等于HT（IC+HHT）-1T] （1.21）
则ELM分类器的输出函数为：
[f（x）等于h（x）β等于h（x）HT（IC+HHT）-1T] （1.22）
其中C为正则化因子,数值实验结果表明,将正则化因子引入算法后,泛化性能和稳定性均有所提高.
2 正则化误差渐减在线序列ELM算法
一方面,随机从所给训练样本集
结论：关于正则化方面的的相关大学硕士和相关本科毕业论文以及相关正则化论文开题报告范文和职称论文写作参考文献资料下载。
基于主成分分析和贝叶斯正则化BP神经网络的GDP预测
［摘 要］ 选用财政收入、财政支出、消费品零售总额、实际利用外资、进出口总额以及全社会固定资产投资等对GDP有显著影响的6个因子，用1985~。
用可视化编程工具Scratch实现高中数学算法
摘要：将高中数学课程中的算法章节与信息技术教学进行有效融合一直是探索的一个热点，但在实际教学中并未得到有效的实现 可视化編程工具Scratch的。
正己化人修身明理重塑企业良好形象
企业形象是企业生产经营、安全环保状况、干部员工素质的集中体现。作为最基层的科研单位，如何塑造良好形象，是摆在我们面前的一个重要课题。经过认真的总。
嘉化能源股东大幅减持股价持续走弱
尽管周三股指出现小幅反弹，但在英国脱欧公投正式进行之时，A股市场以小幅回调谨慎应对，沪深两市股指周四双双小幅下跌，不过成交量却不降反增，市场整体。