- 非线性:非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。 神经网络的非线性映射信号处理方式是其鲁棒性的根本原因之一。 - 非局域性:一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征,而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局域性。联想记忆是非局域性的典型例子。 人脑的非局域性非常显著。例如,人脑的(小范围)局部损伤通常不影响整个脑组织的正常工作。人工神经网络模型的非局域性是由神经元件广泛的连接权重---网络的分布式信息存储结构保证的。 - 非定常性:人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样,而且在处理信息的同时,非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 非定常性是人脑发育的一个重要特征。中国有句俗话:活到老学到老。人类脑神经细胞、神经网络是在不停地变化以适应外界环境的变化。同样,人工神经网络也同样具有这种功能,可以通过样本提示来模拟环境变换,使得系统能够学习、自适应、自组织。 - 非凸性:一个系统的演化方向,在一定条件下,将取决于某个特定的状态函数,如能量函数,它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值,故系统具有多个较稳定的平衡态,这将导致系统演化的多样性。 注意:神经网络的非凸性是有两重性质的。一方面,多个极点较单个极点使得系统有多个平衡点,可以减少学习过渡的影响,提高系统的容错能力。另一方面,有可能局部极小点引起的学习不收敛,或收敛到局部极小点使得系统达不到预想的效果,甚至于得到的是错误的结果。 |