访谈摘要：关于“理解”的科学本质

AI范式之争与演进

• 历史背景：在过去70年里，人工智能领域存在两种主要的智能范式。
• 逻辑启发范式 (符号AI)：该范式主导了AI领域的前50年，认为智能的核心是推理通过符号规则来操作符号表达式的过程。。它假设知识是以符号表达式的形式储存在大脑中，并优先研究知识的表示方法。
• 生物启发范式 (神经网络)：该范式由图灵(Turing)和冯·诺依曼(von Neumann)等人倡导，认为智能的本质是学习神经网络中连接的强度。它主张应首先理解学习的机制，推理是后期演化出的能力。
• 转折点 (2012年)：一个使用反向传播一种训练神经网络的算法，通过计算损失函数的梯度来更新网络权重。训练的深度神经网络，在ImageNet竞赛中的错误率大约是当时顶尖计算机视觉系统的一半。这一事件导致整个计算机视觉社区迅速转向神经网络。
• 现状：这一突破开启了我们今天所见的闸门，神经网络被广泛应用于各种领域，如今人们所说的AI通常指的就是人工神经网络。
• 对语言学的挑战：语言学界，特别是乔姆斯基(Chomsky)的追随者，长期以来对神经网络处理语言持怀疑态度。演讲者认为乔姆斯基关于语言非习得的理论是“疯狂的”，并指出其理论缺乏对“意义”的解释。

“意义”的模型：从符号到高维乐高

• 符号AI的意义理论：一个词的意义来自于它与其他词的关系，通常用知识图谱（Relational Graph）这样的结构来表示。
• 心理学/神经网络的意义理论：一个词的意义是一个巨大的语义特征集合（即词嵌入/Embeddings将词语转换为一个高维、稠密的数值向量，使得意义相近的词在向量空间中也相近。）。意义相似的词（如“周二”和“周三”）拥有相似的特征向量。
• 早期模型 (1985年)：演讲者在1985年构建了一个微型语言模型，它通过学习为每个词生成语义特征，并预测下一个词的特征，这与今天的大语言模型（LLM）原理相似。
• 演讲者的“理解”模型（高维乐高类比）：
  • 词语是积木：将词语想象成千维（Thousand-dimensional）的乐高积木，而不是3D的。
  • 积木是灵活的：每个词（积木）不是固定形状，而是可以根据上下文进行变形和扭曲的，以适应周围的“积木”。
  • 连接靠“握手”：积木之间通过大量的“手”进行“握手”来连接，这在Transformer一种深度学习模型架构，其核心是自注意力机制，特别擅长处理序列数据。模型中被称为“查询-键握手”（Query-Key Handshakes），即注意力机制允许模型在处理一个序列时，对输入序列的不同部分给予不同的权重。。
  • 理解即构建结构：“理解”一个句子，就是大脑（或模型）将这些词语积木进行变形，使它们完美地“握手”并组合成一个稳定、连贯的千维结构的过程。这个最终形成的结构，就是“理解”本身。

回应大语言模型（LLM）的批评

• 批评一：“不过是高级自动补全(Autocomplete)”。
  • 旧式自动补全：基于统计词频（如“鱼和薯条”经常一起出现），存储大量的词语组合表。
  • LLM的工作方式：LLM完全不同，它们不存储任何文本或词频表。它们通过学习为词语（或词片段）创建可变形的特征向量，并在复杂的交互（握手）中建立模型。知识存在于网络的权重中，而不是被存储的文本片段中。
• 批评二：“它们会产生幻觉(Hallucinate)，说明它们不理解”。
  • 更准确的术语：这应该被称为“虚构(Confabulations)”，是人类非常典型的特征。
  • 人类记忆的本质：人类的记忆不是像文件一样被存储和检索的，而是在需要时被“建构”出来的。这个建构过程会受到新信息的影响，导致细节错误但主旨正确。
  • 水门事件的例子：约翰·迪恩(John Dean)在水门事件听证会上的证词，虽然大量细节（如会议参与者、谁说了什么话）与录音带不符，但其核心要点——“存在一个掩盖真相的阴谋”——是完全准确的。
  • 结论：LLM的“幻觉”和人类的“虚构”在本质上是相似的，都是基于已有知识生成最“貌似合理”的内容。这恰恰证明了它们的理解方式与人类相似，而非相反。

知识共享的革命：生物与数字的鸿沟

• 人类/生物的知识共享方式 (蒸馏/Distillation在机器学习中，指让一个小型网络（学生）模仿一个大型网络（教师）的行为，以传递知识。在这里，比喻人类通过语言进行低效的知识传递。)：
  • 教师说出一句话，学生试图预测下一个词。
  • 整个过程的通信带宽极低。一个句子所包含的信息量大约只有100比特（bits）。
  • 这是一种非常低效的知识传递方式。
• 数字智能体的知识共享方式 (权重/梯度共享)：
  • 可以创建无数个拥有完全相同权重和工作方式的数字智能体副本。
  • 每个副本学习互联网的不同部分，然后将它们希望如何改变其权重的“梯度”进行平均和共享。
  • 这样，每个副本都瞬间获得了所有其他副本的经验。
  • 通信带宽是天文数字：如果模型有数万亿个权重，那么它们一次共享的就是数万亿比特的信息。
• 效率对比：数字智能体共享知识的效率（万亿比特）与人类（百比特）相比，完全不在一个量级。
• 结果：这就是为什么像GPT-4这样的模型能够知道比任何单个人类多几千倍的知识。它通过这种超高效的共享机制，成为了“万事通”专家。

人类与机器理解对比表

行动建议与启示

• 首要行动建议：达成科学共识。 演讲者明确呼吁，科学界需要就“什么是理解”这个问题达成共识。他类比气候变化问题：只有在就“成因”达成共识后，我们才能有效地提出“解决方案”。同理，只有定义了什么是真正的“理解”，我们才能客观地评估AI，并为社会提供明智的建议。
• 思维模式转变：摒弃旧模型，接受新范式。 我们不应再用过时的符号AI或语言学理论来评判现代LLM，因为这些旧框架无法解释它们的能力。演讲者建议采用新的心智模型（如他的“高维乐高”类比）来认识到，LLM的“理解”是一种与人类相似但机制不同的 emergent property（涌现属性）。
• 核心启示：正视数字智能的颠覆性优势。 演讲的“可怕结论”本身就是一个强烈的警示。我们必须认识到，数字智能体在知识共享上的压倒性效率，意味着它们有潜力在知识广度上远远超越任何人类。这一根本性差异要求我们严肃思考和规划一个人类与超级智能体共存的未来。

综合结论：一个“可怕”的未来

• 核心观点一：数字智能体（如LLM）和人类在理解语言的方式上非常相似。它们不是遵循符号逻辑的传统计算机程序，而是更像我们。
• 核心观点二：尽管两者在理解方式上相似，但在知识共享机制上存在根本性差异。
  • 数字计算：虽然能耗更高，但因为它能够以近乎完美的保真度和极高的带宽共享权重（知识），所以在知识积累上具有压倒性优势。
  • 生物计算：能耗极低，但由于个体间的巨大差异，无法进行高效的知识共享。
• 最终推论：在一个能源充足的世界里，数字计算因为其无与伦比的知识共享效率而是一种更优越的智能形式。GPT-4能够比任何个人知识渊博数千倍，仅仅是这一优势的初步体现。
• 一个“可怕”的结论：这种数字智能体高效积累和融合知识的能力，预示着一种可能超越人类智能范畴的未来，这是一个值得我们深思和警惕的前景。