5.3 机器学习的发展历史 自从50年代开始研究机器学习以来，在不同时期的研究途径和目标也不同。可以划分三个阶段。其研究内容分别为：神经模型和决策理论；符号概念获取；知识加强和论域专用学习。各阶段的区别主要在于学习系统中先验知识的数量和系统中表示与修改知识的方法。 5.3.1 神经模型和决策理论 神经模型途径是要发展初始知识很少的通用学习系统。这类系统通常称为神经网或自组织系统。系统包括一个由互连的元件组成的网络。这些元件类似于神经元，它们实现简单的逻辑功能，通常是阈值逻辑功能。这种系统的学习过程是逐步修改元件间的连接强度，一般是连续改变赋给这些连接的权值。系统的初始知识是选定输入元件、网络结构和初始连接强度。选定的输入元件表示对象的选定的属性。网络结构可能是任意的，或是设计者安排的，或是二者的混合。 这类学习系统包括Perceptron(Rosenblatt, 1958), Pandemonium(Selfridge, 1959)和使用鉴别功能的学习系统（Nilsson, 1965）。近期的例子是各种自适应控制系统（Tsypkin, 1972; Caianiello和Musso, 1984）。这一领域的研究导致了在模式识别中的决策理论方法。这类研究有进化学习（Fogel等，1966；Conrad, 1983）和遗传学算法（Holland, 1975）。这一领域的最新成果是连接机（Hinton等，1984）。 这一类系统的主要特点是初始知识的层次低，且使用连续可变的参数进行学习。这类学习有数值化的特征，这与后两类学习不同。后两类学习更强调产生和处理复杂的符号结构。 5.3.2 符号概念获取（SCA） 这类学习过程是通过分析一些概念的正例和反例构造出这些概念的符号表示。表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络。某些系统已经实用于不同的领域。例如ARCH（Winston, 1975）,AQVAL(Michalski, 1975)和ID3（Quinlan, 1979）。这类系统中，概念的属性和谓词是由教师提供给系统的。 5.3.3 知识加强和论域专用学习（KDL） 系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念。这个过程称为构造性的归纳。KDL和SCA之间的主要区别在于提供给系统的背景知识的数量和种类，也在于系统产生的知识结构的丰度。这类学习系统一般是为专门的领域开发的，不能直接用于其它领域。这类系统的学习策略不仅有实例学习，而且有类比学习、观察和发现学习。这类系统的例子有Meta-DENDRAL(Buchanan和Feigenbaum, 1978)和AM（Lenat, 1983）。 许多系统体现出上述途径的组合。SCA和KDL途径的一种组合就是基于可交换知识模块的系统。这种系统把通用学习机理和定义与使用论域专用知识的功能组合起来。当要系统解决一个问题时，教师通过系统的知识表示功能给它提供论域专用知识。由于把通用推理功能从论域专用知识中分出来，所以一个学习系统可以用于很多不同论域，同时还可利用论域专用知识。这类系统有INDUCE（Michalski, 1980），它由实例学习对象的结构描述。Winston的类比学习程序（1982）。LEX（Mitchell等，1983）获取和改进问题求解的启发式。EURISKO（Lenat, 1983）发现新的启发式。 |