Yann LeCun: AI的未来、开源之路与LLM的局限

对图灵奖得主、Meta首席AI科学家 Lex Fridman 播客第三次访谈的核心摘要

  • 当前的自回归LLMs（如GPT-4, Llama 2）绝不是通往超人智能的道路。它们只是“系统1”思维，本能地、逐词地生成文本，缺乏深思熟虑的规划。
  • LLMs 缺失智能的四大关键支柱：
    1. 对物理世界的深入理解 (Understanding)
    2. 持久的记忆与检索能力 (Persistent Memory)
    3. 真正的推理能力 (Reasoning)
    4. 复杂任务的规划能力 (Planning)
  • 数据带宽悖论：人类婴儿4年内通过视觉接收的数据量（约 1015 字节计算基于视神经约每秒20MB的传输速率。）远超LLM训练所用的全部文本数据（约 2*1013 字节这相当于一个人每天8小时，需要阅读17万年。）。这表明，大部分知识来源于与物理世界的交互，而非语言。
  • 幻觉 (Hallucinations) 是自回归架构的根本缺陷。由于每个词元的生成都存在偏离正确轨道的概率，错误会随生成长度指数级累积，导致模型最终胡言乱语。
  • Yann LeCun 的核心技术路线图：
    1. 抛弃生成式模型 (Generative Models)，转向 联合嵌入预测架构 (JEPA)Joint Embedding Predictive Architecture - 一种非生成式的自监督学习架构。。
    2. 抛弃概率模型 (Probabilistic Models)，转向 基于能量的模型 (Energy-Based Models)通过为输入的每个配置分配一个能量值来学习，能量越低表示配置越合理。。
    3. 抛弃对比学习 (Contrastive Methods)，转向 正则化方法 (Regularized Methods)通过在目标函数中添加惩罚项来防止模型过拟合或崩溃。。
    4. 限制强化学习 (RL)，转向 模型预测控制 (Model Predictive Control)一种先进的控制策略，使用动态模型预测未来并进行优化控制。。
  • JEPA 工作原理：它不预测像素级的细节（如视频中随风摆动的树叶），而是在一个抽象的特征空间（嵌入空间）中进行预测。它学习从输入的一个被遮挡或损坏的版本，来预测其完整、清晰版本的高级表征。
  • JEPA 的优势：
    • 高效学习世界模型：通过忽略不可预测的细节，JEPA能更有效地学习到世界的核心、可预测的规则（如物理常识），形成一个抽象的世界模型。
    • 解决带宽问题：它直接处理高带宽的感官数据（如视频），并将其压缩成有意义的抽象表示，解决了纯文本方法的局限性。
    • 为规划和推理奠定基础：一个好的世界模型是实现真正规划和推理能力的前提。
  • 最新进展：Meta AI 已经发布了基于JEPA的 V-JEPAVideo Joint Embedding Predictive Architecture，首个能从未标记视频中学习到高质量通用特征的自监督学习模型。，这是在视频理解和世界模型学习上迈出的重要一步。
  • 通往人类水平AI (AMI) 的路径：需要解决分层规划 (Hierarchical Planning)将一个复杂的大目标（如从纽约去巴黎）分解成一系列可执行的子目标，并在不同抽象层次上进行规划。问题。目前AI领域对此几乎毫无头绪，这是未来的核心挑战之一。
  • 开源是唯一的答案：AI系统力量集中的危险，远大于其他任何风险。如果AI的未来被少数几家西海岸的闭源公司控制，那将是对民主、文化多样性和思想自由的巨大威胁。
  • 开源的好处：
    • 促进多样性：允许全球各地的社区、企业和政府根据自身文化、语言和价值观来微调和部署AI，避免单一的“思想警察”。
    • 加速创新：社区的参与可以更快地发现问题、改进模型，并构建一个庞大的应用生态系统。
    • 安全保障：一个开放的AI生态意味着“好的AI”可以用来对抗“坏的AI”，而不是让少数人垄断最强大的技术。
  • 关于“AI末日论 (AI Doomers)”：LeCun认为这种担忧基于几个错误假设：
    1. 硬起飞谬误：超级智能不会突然出现，而是一个渐进的、可控的发展过程。
    2. 统治欲望谬误：统治欲是生物演化的产物，而非智能的必然属性。AI的目标函数是我们设计的，可以使其天生就是“服从”和“有益”的。
    3. 技术决定论谬误：AI不是核武器，它的知识和能力会迅速传播和普及，很难形成绝对的技术垄断和突袭优势。
  • 机器人学的未来：在AI学会高效的世界模型之前，机器人领域（尤其是通用人形机器人）不会有重大突破。这再次印证了莫拉维克悖论 (Moravec's Paradox)对于计算机而言，实现逻辑推理等高级智能相对容易，而实现感知、运动等低级智能却异常困难。。未来十年将是机器人产业的关键时期。
  • 对人类的希望：AI将是继“印刷术”之后又一次极大地增强人类智能的革命。它将赋予每个人一个由超级智能AI组成的“参谋团队”，从而放大人类的智慧和善良。虽然变革总会伴随阵痛，但最终结果将是极其正面的。
  • 给研究生的建议：未来的重大突破在于：
    • 如何高效学习世界模型。
    • 如何在学习到的世界模型之上进行规划。
    • 如何让AI学会分层规划。
    • 如何让AI学会使用工具（调用API、数据库、模拟器等）。
    这些领域充满机遇，并且很多基础研究不需要庞大的计算资源。

原文

源链接