Latent Space 播客摘要：对话 Chroma 创始人 Jeff

现代架构： 采用现代分布式系统理念，如读写分离、存储计算分离。
技术栈： 使用 Rust 语言编写，并利用对象存储作为核心持久化层。
为 AI 设计的四个维度：
1. 技术不同： 使用的搜索技术与传统不同。
2. 工作负载不同： AI 应用的搜索模式不同。
3. 开发者不同： 目标开发者群体不同。
4. 消费者不同： 搜索结果的最终消费者是语言模型（LLM），而非人类。LLM 可以处理远超“10个蓝色链接”的信息量。
Chroma Cloud 体验： 目标是实现零配置、零旋钮的体验。系统应始终快速、经济高效且数据保持最新，无需用户干预。
核心功能： 新增了对 Regex（正则表达式）搜索和 Forking（索引分叉）的原生支持，后者可实现对代码库等逻辑版本化数据的毫秒级、低成本复制和索引更新。

定义： 上下文工程是一项高价值工作，旨在决定在每个 LLM 生成步骤中，哪些信息应该被放入上下文窗口。
讨厌 RAG： Jeff 非常不喜欢“RAG”这个术语，认为它将多个概念混为一谈，并被错误地等同于简单的密集向量搜索。
上下文退化 (Context Rot)： Chroma 的研究报告指出，随着上下文中 Token 数量增加，LLM 的性能会下降，模型关注和推理能力会减弱。这证明了上下文工程的必要性。
常见模式：
1. 第一阶段检索： 使用向量搜索、元数据过滤等方式，将候选数据从海量（如 100万）减少到几百个。
2. LLM 重排 (Re-ranking)： 使用 LLM 对几百个候选项进行暴力重排，筛选出最终的几十个。Jeff 认为这将成为主导范式，甚至可能取代专用的重排模型。
未来展望： 未来的检索系统可能会直接在潜空间 (latent space) 中操作，无需转换回自然语言，并实现持续检索（continual retrieval）而非单次检索。

Latent Space 播客摘要