网络设计:
  1. 从进行了预处理的样本集中选择适当的训练样张进行标注,即,表明每一个样张的标准答案,生成教师向量集合。
  其过程可用如下表达式表示:
  如果 样张S ∈Ci,Ci 为第i个数字类
  则教师向量Ts= {tsj}, j = 0, 1, ….9,为tsi = 1 及 tsj = 0 j ≠ i
  教师提示:系统的误差计算是根据教师向量进行的。当分类数较多,训练样本数量也较多时,系统误差难以收敛到一个理想的极小值,学习无法结束。此时可以放宽收敛条件,设教师向量的取值为0.1和0.9。
  2. 设计网络结构。选择网络层数为3,输入层的神经元数目N1与输入特征向量维数相等。输出层神经元数目N3与待分类数目相当,即10,中间层神经元数目N2取决于待分类样本的复杂性,与样本种类的数目和输入向量的维数有关。在此建议取50-100。
  当问题复杂时中间层的个数是可以增加到2,甚至3的。但是在数字识别这个具体问题上没有必要。
  3. 初始化网络参数,使网络权重为绝对值小于1的随机数。即,|Wij| < 1。
  权重的初始值是很重要的,从神经元输出计算公式我们可以看到,神经元的转移函数是非线性的,但函数变量达到一定的取值范围后,函数可能产生饱和。同时,转移函数的输入是神经元的所有输入的加权和。因此,如果权重的绝对值较大可能引起饱和。所以,在输入维数较高的情况下,需要进一步减小权重的初始绝对值。