BP网络的再改进

BP网络的再改进

BP人工神经网络模型的进一步改进及其应用.pdf 2 . 1 初始权值的选取

虽然随机产生初始权值可以提高误差函数E取得全局最优的概率,但仍具有一定的盲目性和 随机性. 在BP算法中由于采用sigmoid函数:f (x)=11 +e- x,实际输出值在[0,1]之间. 因而初始权值不宜太大,一般都选在[ - 1,1]之间. 采用逐步搜索法,即先将初始权值区域(记为H) N等分.在这N个区域内分别随机产生初始权值进行学习,选取对应误差函数E最小的那个区域再N等分,再在这N个小区域内重复上述步骤,当误差函数E不再减时,认为找到了最优点并停止迭代. 可以证明,只要区域取得足够小,这种方法可以比较有效地避免局部行为. 2 . 2 隐节点数的确定

对于隐节点数的确定,采用由小到大增长的方法,选取对应误差最小的那个数目作为隐节点 数.同时,结合隐节点的删除与合并算法[ 3 ],最终得到一个较合适的神经网络BP模型. 2 . 3 输入待定的B P网络输入维数的确定

论基于MATLAB语言的BP神经网络的改进算法

改进的算法[ 2, 5, 11], 如使用动量项的加快离线训练速度的方法[ 1]、归一化权值更新技术 方法[ 11]、快速传播算法[ 12]、D-D方法[ 13]、扩展卡尔曼滤波法[ 14]、二阶优化[ 15]以及最优滤波法[ 16]等

1973年Grossberg发现Sigmoid函数的中间高增益区合理处理小信号问题，而延伸两边的低增益区恰好合适的处理大信号。开始探究S型函数的特性与神经网络系统稳定性之间的关系，促使该函数成为BP网络中最常用的激活函数。此后国外学者针对S型函数的局限性进行改进，1987年Stornetta提出的双极性S型压缩函数和1990年AliRezgui提出的SLSL函数是改进的S型函数的典型代表。定量化的研究证明周期函数的收敛速度比s型函数要快，General研究实验室的Surender K Kenue提出的一组新型激活函数，其一阶导数是secn(x)，利用新型激活函数针对宇对问题、编码问题进行计算机仿真实验，实验结果表明新型激活函数较传统S型函数有更好的仿真结果。激活函数的数字特性直接影响BP网络的学习速率和仿真结果，而不同的误差函数的递减方法对激活函数导数的要求不同，激活函数的导数在输入信号的定义域内应连续可微，并且到数值应有显著变化，以满足误差下降过程中对梯度灵敏性的要求。大量实验表明应该根据实际灵活的选择激活函数，，不同区间内函数特性不同的激活函数组合起来，以便在需要的位置设置较大的到数值，弥补单一函数的不足。国内

二、主要研究内容、创新之处： 1.初始权值的选取

虽然随机产生初始权值可以提高误差函数E取得全局最优的概率,但仍具有一定的盲目性和随机性.在BP算法中由于采用sigmoid函数: f(x)11e1,实际输

出值在[0,1]之间.因而初始权值不宜太大,一般都选在[ - 1,1]之间. 采用逐步搜索法,即先将初始权值区域(记为H) N等分.在这N个区域内分别随机产生初始权值进行学习,选取对应误差函数E最小的那个区域再N等分,再在这N个小区域内重复上述步骤,当误差函数E不再减时,认为找到了最优点并停止迭代. 可以

证明,只要区域取得足够小,这种方法可以比较有效地避免局部行为. 2. 隐节点数的确定

对于隐节点数的确定,采用由小到大增长的方法,选取对应误差最小的那个数目作为隐节点

数.同时,结合隐节点的删除与合并算法,最终得到一个较合适的神经网络BP模型. 3．