２０１０年１０月 湘南学院学报 Ｏｃｔ．．２０１０ 第３１卷第５期 Ｊｏｕｒｎａｌ ｏｆ Ｘｉａｎｇｎａｎ Ｕｍｖｅ￣ｉｔｙ Ｖ０Ｊ．３ｌ Ｎｏ．５ Ｂｐ神经网络的Ｍａｔｌａｂ实现 石 云 （安徽建筑工业学院机械与电气工程学院，安徽合肥２３０６０１） 摘 要：介绍Ｂｐ神经网络以及利用Ｍａｔｌａｂ神经网络工具箱构造Ｂｐ网络的方法，并阐述实现网络的关键问题，包括网 络设计流程、学习规则选择、权重和阈值的训练与网络仿真．给出具体应用实例，构造一个典型三层结构的神经网络实 现了具有函数逼近功能的Ｂｐ网络设计． 关键词：Ｂｐ神经网络；Ｍａｆｌａｂ仿真；函数逼近 中图分类号：ＴＰ３８９．１ 文献标识码：Ａ 文章编号：１６７２—８１７３（２０１０）０５—００８６—０３ ０引言 误差反向传播网络（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｎｅｔ—ｗｏｒｋ，简称Ｂｐ网络）是目前人工神经网络模式中最具代表性，应 用得最广泛的一种模型，具有自学习、自组织、自适应和很强的非线性映射能力，可以以任意精度逼近任意连 续函数．近年来，为了解决Ｂｐ网络收敛速度慢，训练时间长等不足，提出了许多改进算法¨］．然而，在针对实际 问题的Ｂｐ网络建模过程中，选择多少层网络，每层多少个神经元节点，选择何种传递函数等，均无可行的理论 指导，只能通过大量的实验计算获得．ＭＡＴＬＡＢ中的神经网络工具箱（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｔｏｏｌｂｏｘ，简称ＮＮｂｏｘ），为解 决这一问题提供了便利的条件．神经网络工具箱功能十分完善，提供了各种ＭＡＴＬＡＢ函数，包括神经网络的建 立、训练和仿真等函数，以及各种改进训练算法函数，用户可以很方便地进行神经网络的设计和仿真，也可以 在ＭＡＴＬＡＢ源文件的基础上进行适当修改，形成自己的工具包以满足实际需要． １ Ｂｐ网络模型 输 Ｂｐ网络是一种多层前馈神经网络，由输入层、隐层和输出层组成． 图１为一个典型的三层ＢＰ网络的拓扑结构，层与层之间采用全互连方 式，同一层之间不存在相互连接，隐层可以有一层或多层．层与层之间有 两种信号在流通：一种是工作信号（用实线表示），它是施加输入信号后 向前传播直到在输出端产生实际输出的信号，是输入和权值的函数．另 输入层 隐层 输出层 一种是误差信号（用虚线表示），网络实际输出与期望输出间的差值即为 图１典型Ｂｐ网络模型 误差，它由输出端开始逐层向后传播．Ｂｐ网络的学习过程程由前向计算 过程和误差反向传播过程组成．在前向计算过程中，输入量从输入层经隐层逐层计算，并传向输出层，每层神 经元的状态只影响下一层神经元的状态．如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号 沿原来的连接通路返回，逐次调整网络各层的权值和阈值，直至到达输入层，再重复向计算．这两个过程一次 反复进行，不断调整各层的权值和阈值，使得网络误差最小或达到人们所期望的要求时，学习过程结束． 收稿日期：２０１０—０８—０６ 基金项目：安徽建筑工业学院青年科研基金专项项目 作者简介：石 云（１９８０一），女，安徽庐江人，讲师，研究方向：神经网络 ・８６ ・ ２ Ｍａｔｌａｂ神经网络工具箱 Ｍａｔｌａｂ作为国际公认最优秀的数学应用软件，它集数值分析、矩阵运算、信号处理和图形显示于一体，构成 了一个方便的、界面友好的用户环境，它相继推出的工具箱为各领域的研究提供了有力的工具，借助于它们， 我们可以直观、方便地进行分析、计算及仿真工作＿２ｊ．神经网络工具箱是Ｍａｔｌａｂ以神经网络为基础，包含着大 量Ｂｐ网络的作用函数和算法函数，为Ｂｐ网络的仿真研究提供了便利的工具．运用神经网络工具箱一般按照 图２的顺序进行． 匝 匦一叵 一匝 匦 图２ ＮＮｂｏｘ的应用 首先创建Ｂｐ神经网络：Ｍａｔｌａｂ的ＮＮｂｏｘ提供了建立神经网络的专用函数ｎｅｕｒｆｆ（）用ｎｅｗｆｆ函数来确定网络 层数、每层中的神经元数和传递函数，其语法为：ｎｅｔ＝ｎｅｗｆｆ（ＰＲ，Ｓｉ，｛ ｍ｝，ＢＴＦ，ＢＬＦ，ＰＦ）其中ＰＲ是一个由每个 输入向量的最大最小值构成的Ｒｘ２矩阵；Ｓｉ是第ｉ层网络的神经元个数；ＴＦｊ是第ｉ层网络的传递函数；Ｂ 一 字符串变量，为网络的训练函数名；ＢＬＦ一字符串变量，为网络的学习函数名；Ｂ卜字符串变量，为网络的性能 函数．使用ｎｅｗｆｆ创建ｌ３ｐ神经网络后，网络会自动地初始化权值和阈值，缺省值都是０．如果要设置这些初始 值，可以使用函数ｉｎｉｔ（），格式：ｎｅｔ＝ｉｎｉｔ（ｎｅｔ）． 初始化后的网络即可用于训练，即将网络的输人和输出反复作用于网络，不断调整其权重和阈值，以使网 络误差达到期望值．训练格式为［ｎｅｔ，ｔｒ］＝ｔｒａｉｎ（ＮＥＴ，Ｐ，Ｔ），其中Ｐ和Ｔ分别为输入输出矩阵，ＮＥＴ为由ｎｅｗｆｆ 定义的网络，ｎｅｔ为修正后的网络，ｔｒ为训练的记录（训练步数ｅｐｏｃｈｓ和性能ｐｅｒｆ）．ｔｒａｉｎ根据在ｎｅｗｆｆ函数中确 定的训练函数来训练．ＮＮｂｏｘ中给出了十多种网络学习、训练函数，其采用的算法可分为基本梯度下降法和快 速算法，各种算法的推导参见文献 Ｊ． 在Ｍａｔｌａｂ中神经网络的仿真是用函数ｓｉｍ（）来实现的．函数ｓｉｍ（）的调用格式为ｖ：ｓｉｍ（ｎｅｔ，Ｐ）．其中Ｙ为 网络输出；ｎｅｔ为神经网络对象；Ｐ为输入向量或矩阵，如果Ｐ为向量，则为单点仿真；Ｐ为矩阵，则为多点仿真． ３ Ｂｐ网络的Ｍａｔｌａｂ仿真实现 利用Ｍａｔｌａｂ对实际问题进行网络仿真一般按照图３的流程设计．在设计过程中，Ｂｐ神经网络的结构一定 程度上决定了整个仿真的结果．Ｂｐ网络的输入与输出结点数是由实际问题的本质决定的，与网络性能无关． 网络结构的一个关键点是确定隐层结点数Ｌ，隐层结点数的选择与其说具有科学性，不如说更具有技巧性，往 往与输入数据中隐含的特征因素有关Ｌ的选择至今仍得不到一个统一的规范．Ｌ的初始值可先由以下两个公 式中的其中之一来确定 ｌ：、 ＝（１） （２） ￣／０．４３ｍ忍＋０．１２ ＋２．５４ｍ＋０．７７陀＋０．３５＋０５１ 其中ＩＴＩ、ｎ分别为输入结点数目与输出结点数目． 这里有２１组单输入矢量和相对应的目标矢量：一０．９６—０．５７７—０．０７２９ ０．３７７ ０．６４１ ０．６６ ０．４６１ ０．１３３６—０． ２０１—０．４３４—０．５—０．３９３—０．１６４７ ０．０９８８ ０．３０７２ ０．３９６ ０．３４４９ ０．１８１６—０．０３１２—０．２１８３—０．３２０１以下将 设计神经网络来实现这对数组的函数关系．由此，我们确定输入层和输出层的神经元数都为１，隐含层神经元 数由以上公式可设为２．实现函数逼近ＢＰ神经网络设计的ＭＡＴＬＡＢ的ｉｎ文件如下： Ｐ：一１：０．１：１： Ｔ：ｌ一０．９６—０．５７７—０．０７２９ ０．３７７ ０．６４１ ０．６６ ０．４６１ ０．１３３６—０．２０１—０．４３４—０．５—０．３９３—０．１６４７ ０．０９８８ ０．３０７２ ０．３９６ ０．３４４９ ０．１８１６—０．０３１２—０．２１８３—０．３２０１］； ｐｌｏｔ（Ｐ，Ｔ，’ｒ＋’）； ｎｅｔ＝ｎｅｗｅｆ（ｍｉｎｍａｘ（Ｐ），［１，２，１］，｛’ｌｏｇｓｉｇ’，’ｔａｎｓｉｇ’，’ｐｕｒｅｌｉｎ’｝，’ｔｒａｉｎｇｄｘ’）；％创建三层前向回馈网络 ｎｅｔ．ｔｒａｉｎＰａｒａｍ．ｅｐｏｃｈｓ＝６０ＯＯ；％初始化训练次数 ｎｅｔ．ｔｒａｉｎＰａｒａｍ．ｇｏａｌ＝９．５２３８ｅ一００４；％ｓｓｅ：０．０２％初始化误差值 ｎｅｔ．ｔｒａｉｎＰａｒａｍ．１ｒ＝０．１５： ・８７ ・ ［ｎｅｔ，ｔｒ］＝ｔｒａｉｎ（ｎｅｔ，Ｐ，Ｔ）；％训练网络 Ｙ＝ｓｉｅｒ（ｎｅｔ，Ｐ）；％计算结果 ｐｌｏｔ（Ｐ，Ｙ，’ｒ一’） ｈｏｌｄ ｐｌｏｔ（Ｐ，Ｔ，’ｒ＋’）； ｈｏｌｄ ｏｆｆ 程序运行结果如图４所示．“ｆｉｇｕｒｅｌ”窗口中：“＋”代表的是初始网络输出波形 图，“一”代表的是训练后网络的输出波形．网络训练前的均方误差为１．８５０ ４，网 络训练后的均方误差为０．０１２．窗口“Ｔｒａｉｎｉｎｇ ｗｉｔｈ ＴＲＡ ＩＮＬＭ”显示的为训练过程中 的网络误差记录曲线，随着训练次数的增加误差越来越小，本例中程序所设置的 训练次数为６ ０００次，而仿真过程中，当训练次数达到１ ０８０次左右时，网络误差 已经满足程序中所要求的０．０２，故在ｅｐｏｃｈｓ＝１ ０８４时网络便学习结束，停止训 练．由仿真结果可见，因为反向传播法采用的是连续可微分函数，所以网络对输入 图３仿真设计流程图 ／输出的逼近是平滑的． 用ＭＡＴＬＡＢ神经网络工具箱编写Ｂｐ网络程序，用户只要根据需要调用相关函数，就能方便进行神经网络 的设计与仿真，从而免除了编写复杂而庞大的算法程序的困扰，助于提高神经网络设计的效率． 参考文献： ［１］巨军让，卓戎．Ｂｐ神经网络在ＭＡＴＬＡＢ上的方便实现［Ｊ］．石油学院学报，１９９９，１１（２）：４２． ［２］楼顺天，施阳．基于ＭＡＴ［ＡＢ的系统分析与设计［Ｍ］．西安：西安电子科技大学出版社，２００２：２３ ［３］Ｍ．Ｔ．Ｈａｇａｎ，Ｈ．Ｂ．Ｄｅｍｕｔｈ．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｄｅｓｉｇ—ｎ．ＰＷＳ ｐｕｂｌｉｓｈｉｎｇ ｃｏｍｐａｎｙ［Ｊ］．Ｂｏｓｔｏｎ，１９９６：６７． ［４］高大启．有教师的线性基本函数前向三层神经网络结构研究［Ｊ］．计算机学报，１９９８，２１（１）：８Ｏ． （下转第１１１页） ・８８ ・ Ｓｔｕｄｙ ｏｆ Ａｒｔ Ｑｕａｌｉｔｙ ｆｏｒ Ｌａｔｉｎ Ｄａｎｃｉｎｇ Ｐｒｏｆｅｓｓｉｏｎａｌ Ａｔｈｌｅｔｅ ｉｎ Ｐｈｙｓｉｃａｌ Ｅｄｕｃａｔｉｏｎ Ｄａｎｃｅ Ｕ Ｓｈａｎ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｐｕｂｌｉｃ Ｃｏｕｒｓｅ，Ｘｉｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｚｈｏｕ ４２３０００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ａｒｔｉｃｌｅ ａｓｋｓ ｆｏｒ ｈｅｌｐ ｏｆ ｄａｎｃｅ ａｒｔ ｔｈｅｏｒｉｅｓ ａｎｄ ｏｔｈｅｒ ｒｅｌａｔｅｄ ｃｏｕｒｔｅｓｉｅｓ，ｃｏｍｂｉｎｉｎｇ ｔｈｅ ｓｐｏｒｔｓ ｄａｎｃｅ ｆｅａｔｕｒｅｓ ａｎｄ ｉｔｓ ｅｘｐｅｒｉｅｎｃｅ，ｅｌａｂｏｒａｔｉｎｇ ｔｈｅ ｒｅｓｔｒｉｃｔｉｎｇ ｓｐｏｒｔｓ ｄａｎｃｅ ａｒｔ ｑｕａｌｉｔｉｅｓ ｆｏｒ ｔｈｅ ｄａｎｃｅｓ Ｌａｔｉｎ ａｔｈｌｅｔｉｃｓ．１． ｐｓｙｃｈｏｌｏｇｙ（１）ｅｓｔｈｅｔｉｃｉｓｍ（２）ｕｎｄｅｒｓｔｎｄｉａｎｇ（３）ｉｄｅａｔｉｏｎ ２．ａｒｔｉｓｔｉｃ ｃｕｌｔｕｒｅ（１）ｈｕｍａｎｉｔｙ ｑｕａｌｉｔｙ（２）ｃｏｎｔｅｓｔａ— ｎｔｓ’ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ａｒｔｉｓｔｉｃ ｆｏｒｍ（３）ｃｏｎｔｅｓｔａｎｔｓ’ｕｎｄｅｒｓｔａｎｄｉｎｇ ｏｆ ａｒｔ ｌｎｇｕａｇｅａ ３．ｐｒｏｆｅｓｓｉｏｎａｌ ｑｕａｌｉｔｙ（１）ｍｕｓｉｃ ｒｅｃｅｐｔｉｏｎ ｃａｐａｂｉｌｉｔｙ（２）ｐｈｙｓｉｃａｌ ｑｕａｌｉｔｙ（３）ｂｏｄｙ ｌｎｇａｕａｇｅ ｅｘｐｒｅｓｓｉｖｅ ａｂｉｌｉｔｙ．Ｔｈｅ ｑｕｅｓｔｉｏｎ ｏｆ ｈｏｗ ｔｏ ｃｕｌｔｉｖａｔｅ ｓｐｏｒｔｓ ｄａｎｃｅ Ｌａｔｉｎ ｄａｎｃｅ ｐｒｏｆｅｓｓｉｏｎａｌ ａｔｈｌｅｔｅ ａｒｔｉｓｔｉｃ ｑｕａｌｉｔｉｅｓ ｉｓ ｐｕｔ ｆｏｒｗａｒｄ ｉｎ ｔｈｅ ａｒｔｉｃｌｅ． Ｋｅｙ ｗｏｒｄｓ：ｓｐｏｒｔｓ ｄａｎｃｅ；Ｌａｔｉｎ ｄａｎｃｅ；ｐｒｏｆｅｓｓｉｏｎａｌ ａｔｈｌｅｔｅ；ａｒｔｉｓｔｉｃ ｑｕａｌｉｔｙ；ｔｅａｃｈｉｎｇ ａｎｄ ｔｒａｉｎｉｎｇ 、 ｐ ｌ１ｊ ≯０ 、０ 、 、 、 、 、 、 、 ｔｊ ≯、。 、０》、； 、０ 、 ） （上接第８８页） Ｒｅａｌｉｚａｔｉｏｎ ｏｆ Ｂｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｍａｔｌａｂ ＳＨＩ Ｙｕｎ （Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｎｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ａｎｈｎｉ Ｕｎｉｖｅｒｓｉｙ，Ｈｅｆｔｅｉ ２３０６０１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ａｒｔｉｃｌｅ ｉｎｔｒｏｄｕｃｅｓ Ｂｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ａｎｄ ａ ｍｅｔｈｏｄ ｕｓｉｎｇ ｔｈｅ Ｍａｔｌｂ ｎｅｕｒａｌ ｎｅｔ ｔａｏｏｌ ｋｉｔ ｔｏ ｄｅｓｉｇｎ Ｂｐ ｎｅｔｗｏｒｋ ｗａｓ ｉｎｔｒｏｄｕｃｅｄ．Ｍｏｒｅｏｖｅｒ ｔｈｅ ｋｅｙ ｉｓｓｕｅｓ ｏｆ ｎｅｔｗｏｒｋ’Ｓ ｒｅａｌｉｚａｔｉｏｎ，ｗｈｉｃｈ ｉｎｃｌｕｄｅｓ ｄｅｓｉｇｎｉｎｇ ｐｒｏｃｅｓｓ ｏｆ ｎｅｔｗｏｒｋ，ｓｅｌｅｃｔｉｎｇ ｌｅａｒｎｉｎｇ ｒｅｇｕｌａｔｉｏｎ，ｅｖｏｌｕｔｉｏｎａｒｙ ｔｒａｉｎｉｎｇ ｗｅｉｇｈｔ，ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ ａｎｄ ｎｅｔｗｏｒｋ ｅｍｕｌａｔｉｏｎ ｗｅｒｅ ｉｌｌｕｓｔｒａｔｅｄ ｉｎ ｄｅｔａｉｌ，ａｎｄ ｓｏｍｅ ａｐｐｌｉｃａｔｉｏｎ ｅｘａｍｐｌｅｓ ａｒｅ ｇｉｖｅｎ ｏｕｔ．Ｔｈｅ ｄｅｓｉｇｎ ｏｆ ａ ｔｙｐｉｃａｌ ｔｈｒｅｅ—ｌａｙｅｒ ｓｔｒｕｃｔｕｒｅ Ｂｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｏｆ ｆｕｎｃｔｉｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ ｉｓ ｉｍｐｌｅｍｅｎｔｅｄ． Ｋｅｙ ｗｏｒｄｓ：Ｂｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；Ｍａｄａｂ ｓｉｍｕｌａｔｉｏｎ；ｆｕｎｃｔｉｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ
