网络规模,主要是指神经网络的结构参数,如多层网络层的数目,各层结点数。
  网络规模是由待分类样本送到网络时的特征维数(通常在二三百个左右)、训练样本数(通常是几千或几万)、分类数(通常是几十个)来决定的。
  当问题规模变大时,比如,特征维数达到几百,训练的样本数几万甚至几十万,特别是分类数是几千的数量级时,那么神经元网络可能就有问题。
  仅以手写体字符识别为例。在手写体数字识别系统中,神经元网络得到了很好的应用,不仅可以与传统方法相媲美,而且还可以因其自身的优势达到更改的水平。而对以手写汉字的识别来说到目前为止还没有很成功的神经网络系统。这主要是因为汉字至少有3700个类,即使一个字采用100个训练样本,总样本数就达几十万,特征数也在三、五百范围内,目前的计算机水平这样一个大规模的神经网络的计算是很难进行的。更重要的是,目前的神经元网络学习算法,理论上是完美的,但在实际应用中还有一系列的问题有待于解决。
  目前,神经网络的应用方面存在的主要问题是:规模扩大、学习算法的收敛性等等。从某种意义上讲,网络扩大问题随着计算机软硬件的发展得到不同程度的改善。但是由于网络结构、学习算法引起的规模扩大问题,还有待于进一步的研究。同时,学习算法如同传统人工智能的机器学习,是神经网络研究及应用的关键问题。其中包括,学习收敛性、学习速度等等问题。
  过去我们处理的都是信息的进行了形式化的,比如文字处理,实际上就是文字中间的一些编排、变化等,都是形式上的处理,计算机做起来十分得心应手。而且,即使今天做不了,随着计算速度的提高,明天可以做而且做得更好。但是,另一方面,我们遇到的很多问题,如语音识别、机器翻译等,都涉及到信息内容的处理,需要有更多的计算模型,而不仅仅是速度问题。在内容处理中,有些内容有二义性,难以分清。对这样的处理怎样建立新的计算模型、计算方法或新的计算理论,是21世纪需要解决的问题。在解决大数据量方面,神经元网络模型可能做得比传统方法又快又好;但它并不能解决传统方法解决不了的问题,所以人们对它似乎有所失望。我们现在要做的是,要想神经元网络有一个根本的变化,需要找一个新的计算模型,如单元的计算模型,网络的连接方式等。只有在这方面有所突破,才有可能建立一个新的计算方法,使神经元网络真正有别于传统的计算方法。