从70年的人工智能研究中可以得出的最大教训是:利用计算能力的通用方法最终是最有效的,而且效果显著。其根本原因是摩尔定律,或者更准确地说,是计算单位成本持续指数级下降的普遍规律。大多数AI研究都是在假设代理的计算能力保持不变的情况下进行的(在这种情况下,利用人类知识将是提高性能的唯一途径之一),但在比典型研究项目稍长的时间内,大规模的计算能力不可避免地会变得可用。
为了寻求在短期内产生影响的改进,研究人员试图利用他们对该领域的人类知识,但从长远来看,唯一重要的是对计算能力的利用。这两者不必相互冲突,但在实践中它们往往如此。花在其中一种方法上的时间就是没有花在另一种方法上的时间。对投资于其中一种或另一种方法存在心理上的承诺。而且人类知识方法往往会使方法复杂化,使其不太适合利用通用计算方法的优势。
有很多AI研究人员迟迟学到这个痛苦教训的例子,回顾一些最突出的例子很有启发性。
在计算机象棋中,1997年击败世界冠军卡斯帕罗夫的方法是基于大规模深度搜索的。当时,这被大多数追求利用人类对象棋特殊结构理解方法的计算机象棋研究人员视为令人沮丧的。当一种更简单、基于搜索的方法配合专用硬件和软件被证明更加有效时,这些基于人类知识的象棋研究人员并不是好的失败者。他们说"蛮力"搜索这次可能赢了,但这不是一个通用策略,而且这也不是人类下棋的方式。这些研究人员希望基于人类输入的方法获胜,当它们没有获胜时感到失望。
在计算机围棋中可以看到类似的研究进展模式,只是延迟了进一步的20年。最初的巨大努力都投入到通过利用人类知识或游戏的特殊特征来避免搜索,但一旦搜索被大规模有效应用,所有这些努力都被证明是无关紧要的,或者更糟。同样重要的是使用自我对弈学习来学习价值函数(就像在许多其他游戏甚至象棋中一样,尽管学习在1997年首次击败世界冠军的程序中并没有发挥重要作用)。自我对弈学习,以及一般的学习,就像搜索一样,能够带来大量的计算能力。搜索和学习是在AI研究中利用大量计算的两个最重要的技术类别。
在语音识别中,在1970年代有一个早期的竞赛,由DARPA赞助。参与者包括大量利用人类知识的特殊方法——关于单词、音素、人类声道等的知识。另一方面是更加统计性质的新方法,进行了更多的计算,基于隐马尔可夫模型(HMM)。同样,统计方法战胜了基于人类知识的方法。这导致了整个自然语言处理领域的重大变化,在几十年中逐渐发生,统计和计算开始主导该领域。最近深度学习在语音识别中的兴起是这个一致方向上最近的一步。深度学习方法对人类知识的依赖更少,使用更多的计算,加上在巨大训练集上的学习,产生了显著更好的语音识别系统。
在计算机视觉中,有着类似的模式。早期的方法将视觉概念化为搜索边缘、广义圆柱体或SIFT特征。但今天所有这些都被抛弃了。现代深度学习神经网络只使用卷积的概念和某些类型的不变性,并表现得更好。
这是一个重要的教训。作为一个领域,我们仍然没有彻底学会它,因为我们继续犯同样的错误。要看到这一点并有效地抵制它,我们必须理解这些错误的吸引力。我们必须学会这个痛苦的教训:从长远来看,构建我们认为我们思考的方式是行不通的。
痛苦的教训基于以下历史观察:
最终的成功带有痛苦的色彩,而且往往没有完全消化,因为这是对一种受青睐的、以人为中心的方法的成功。
第一点:应该从痛苦的教训中学到的一件事是通用方法的巨大力量,这些方法即使在可用计算变得非常大时也能够随着计算的增加而继续扩展。在这方面似乎可以任意扩展的两种方法是搜索和学习。
第二点:从痛苦的教训中要学到的第二个一般要点是,思维的实际内容是极其复杂的,不可救药地复杂;我们应该停止试图找到思考思维内容的简单方法,比如思考空间、对象、多个代理或对称性的简单方法。所有这些都是任意的、内在复杂的外部世界的一部分。它们不应该被内置,因为它们的复杂性是无穷无尽的;相反,我们应该只内置能够找到和捕获这种任意复杂性的元方法。
这些方法的关键是它们能够找到好的近似,但对它们的搜索应该由我们的方法来做,而不是由我们来做。我们希望AI代理能够像我们一样发现,而不是包含我们已经发现的东西。内置我们的发现只会使看到发现过程如何完成变得更加困难。
译注:这篇文章阐述了人工智能研究中的一个重要观点——依靠计算能力和通用方法(如搜索和学习)比依赖人类专业知识更有效。作者通过象棋、围棋、语音识别和计算机视觉等领域的例子说明了这一点。