Andy Ping 访谈摘要

• 导师阵容 共同指导老师为 Julie Shaw（Interactive Robotics Group，交互机器人组）和 Jacob Andreas（Language and Intelligence Group，语言与智能组）。
• 研究核心 如何利用人类反馈 (Human Feedback) 高效地教导机器人，使其能快速适应新环境。

Andy 举了一个生动的例子来说明“抽象”的复杂性：

• 显性需求： 用户希望机器人把咖啡端过来，放在面前特定的距离。
• 隐性约束（常识）： 机器人必须知道 负面约束，例如“不要把咖啡放在笔记本电脑上”，因为有泼溅导致损坏电子设备的风险。

• 不可扩展 很难先验地（A Priori）指定所有特征。
• 传统手段 编写奖励函数 (Reward Functions) 或提供演示 (Demonstrations) 通常只能针对单一环境，难以泛化到新场景。

• 背景 人类在互联网上积累了海量知识，这些知识隐含在预训练语言模型中。
• 机制 使用 LLM 来指定对于完成某个任务来说，哪些要素是重要的（Care about），哪些是不重要的。
• 成效 这种方法能极大提高学习效率，减少对人类反馈数据的需求量，并增强机器人对新环境的泛化能力。

• 通用先验 (General Prior) 语言模型可以告诉机器人通用的规则（如：咖啡别放电脑上）。
• 个性化偏好 (Personalized) 语言模型无法知道特定用户的喜好（如：我喜欢把杯子放左手边）。

未来工作 如何区分何时该查询 LLM 获取通用知识，何时该直接询问人类用户以获取个性化反馈？这是目前持续探索的领域。

1. 感知 机器狗的摄像头看到物体，通过视觉模型分割并生成标签（例如：“橘子” Orange）。
2. 推理 系统向语言模型提问：“在‘扔掉这个物体’的语境下，‘橘子’应该去哪个垃圾桶？”
3. 决策 LLM 利用常识回答：“堆肥桶 (Compost Bin)”。
4. 对比 若识别到“铝罐”，LLM 则会建议“回收桶 (Recycling Bin)”。

• 效率提升 以前需要向机器人展示 10,000 个例子才能让它学会分类；现在只需要视觉识别+语言模型推理即可获得极佳的“起点”。
• 修正 如果用户是一个讨厌回收的“坏人”，系统仍需针对其进行微调，但初始的常识基础已经大大降低了教学成本。

• 第一阶段：理论形式化 (Formalization)
  确定研究问题，从理论层面定义框架，论证“如果这能成功，为什么它是有意义的”。
• 第二阶段：仿真模拟 (Simulation)
  在虚拟环境中运行算法，验证其基本可行性。
• 第三阶段：真机与真人 (Real World)
  转移到物理机器人（如 Spot）上，并必须引入真实的人类用户进行测试。Andy 强调必须验证系统能否与真实世界的人有效互动。

• 学术自由 倾向于成为教授，因为珍视探索各种有趣问题的学术自由。
• 政策背景 在攻读博士学位之前，他曾在白宫 (The White House) 从事科技政策工作。
• 社会影响 希望通过学术职位，继续参与关于“AI 系统如何影响社会”的公共讨论，并与政策制定者合作。