《未来十年形势感知》核心摘要

• 关于作者：
  • 利奥波德·阿申布伦纳 曾是 OpenAI 的研究员，任职于其核心安全团队——“超级对齐”（Superalignment）团队。
  • 该团队由公司联合创始人伊尔亚·苏茨克维（Ilya Sutskever）领导，专注于解决如何控制和引导未来远超人类智能的AI系统这一核心难题。
  • 作为内部人士，他曾身处AGI研发的最前沿，与领域内最顶尖的人才共事。
• 写作背景：
  • 本文集于2024年6月发布，正值作者离开OpenAI之后。 他声称自己因向董事会分享一份关于安全问题的备忘录而被解雇。
  • 他写作的动机是向外界传递一种他认为仅限于旧金山和AI实验室内部几百人的“形势感知”（Situational Awareness）。
  • 他认为，领先的AI实验室在安全（尤其是国家安全）和对齐问题上的松懈态度，与他们正在创造的技术的潜在力量和风险完全不匹配。
  • 这篇长文旨在拉响警报：AGI的发展速度远超公众想象，其地缘政治和安全影响迫在眉睫，而世界对此毫无准备。

• 通用人工智能（AGI）竞赛已经开始。 我们正在构建能够思考和推理的机器。
• 预测时间线： 到 2025/26年，这些机器将超越许多大学毕业生。到本十年末，它们将比你我更聪明；我们将拥有真正的超智能。
• 地缘政治影响： 这将释放半个世纪未见的国家安全力量。如果我们幸运，我们将与中国共产党（CCP）进行全面竞赛；如果不幸，将是全面战争。
• 认知差距： 尽管人人都在谈论AI，但很少有人意识到即将发生的巨变。主流观点仍停留在“它只是在预测下一个词”的盲目中。

• 到2027年实现AGI是惊人地貌似可信的 (strikingly plausible)。
• 回顾： 从GPT-2到GPT-4，AI在4年内实现了从“学龄前儿童”到“聪明高中生”的飞跃。
• 核心驱动力（趋势线）：
  • 算力增长： 每年约 0.5个数量级 (OOMs)。
  • 算法效率提升： 每年约 0.5个数量级 (OOMs)。
  • “解放”增益： 通过改进（如从聊天机器人到智能体），解锁模型的潜在能力。
• 展望： 预计到2027年，我们将再次经历一次同等规模的质的飞跃，这可能直接通向能够自动化AI研究的AGI。

• AI的进步不会止步于人类水平。
• 智能爆炸机制： 数亿个AGI可以自动化AI研究，将 十年 的算法进展（超过5个数量级）压缩到 一年以内。
• 结果： 我们将迅速从人类水平的AI系统过渡到远超人类的超智能系统。
• 影响： 超智能的力量和危险都将是巨大的，可能在军事上提供决定性优势，并在其他科技领域引发爆炸性进步。

a. 竞逐万亿美元级计算集群

• 资本加速： 史上最非凡的技术-资本加速已经启动。到本十年末，数万亿美元将投入GPU、数据中心和电力建设。
• 工业动员： 这将是一场紧张的工业动员，包括将美国电力产量提高 数十个百分点。

b. 锁定实验室：AGI的安全保障

• 当前安全状况堪忧： 领先的AI实验室将安全视为事后之思，基本上是把AGI的关键秘密拱手让给中国共产党。
• 紧迫需求： 确保AGI的秘密和模型权重免受国家级威胁将是一项艰巨的任务，而我们目前并未走上正轨。

c. 超级对齐 (Superalignment)

• 未解难题： 可靠地控制比我们聪明得多的AI系统是一个尚未解决的技术问题。
• 风险： 在快速的智能爆炸期间，事情很容易失控。管理这一过程将极其紧张；失败很可能是灾难性的。

d. 自由世界必须获胜

• 决定性优势： 超智能将提供决定性的经济和军事优势。中国尚未出局。
• 生存之战： 在AGI竞赛中，自由世界的生存将岌岌可危。我们能否保持对威权国家的领先地位？同时避免自我毁灭？

• 国家力量的介入： 随着AGI竞赛的加剧，国家安全机构将会介入。
• 政府项目的出现： 美国政府将从沉睡中醒来，到 2027/28年，我们将看到某种形式的政府AGI项目。
• 必然性： 没有一家创业公司能够处理超智能。在某个安全信息设施（SCIF）中，终局之战将会上演。

• 反思与警示： 如果我们的预测是正确的，那么这将是人类历史上最关键的时期。
• 呼吁“AGI现实主义”： 这是一种介于“末日论者”和盲目“加速主义者”之间的第三条道路，其核心是：
  1. 超智能是国家安全问题。
  2. 美国必须领导。
  3. 我们不能搞砸。
• 责任的重量： 目前，全球只有几百人真正意识到即将发生的一切。没有一个精英团队会来拯救世界，责任就落在了解情况的少数人肩上。