基于结构化信息、认知科学与AI产品视角的洞察摘要
Karpathy 的核心思想在于打破目前 AI 应用中普遍存在的“阅后即焚”式对话（Ephemeral Chat），转而将大语言模型（LLM）视为全职的“知识库架构师兼图书管理员”。他将个人的大算力（Token 消耗）从编写代码转移到了对“知识”的处理上，实现知识系统的自我维持、动态生长与复利积累。
编译 Compile、代码检查 Linting、IDE）来处理非结构化的人类知识。评论区表现出了极高的共识，反映了这一思路在产品侧的巨大潜力：
raw/（原始数据）目录中，然后使用 LLM 增量式地“编译”出一个 wiki，它本质上就是目录结构中的一组 .md 文件集合。该 wiki 包含 raw/ 目录中所有数据的摘要、反向链接，然后它将数据按概念分类，为它们撰写文章，并将它们全部链接起来。为了将网络文章转换为 .md 文件，我喜欢使用 Obsidian Web Clipper 浏览器扩展，同时我还使用快捷键将所有相关图片下载到本地，以便我的 LLM 可以轻松引用它们。
集成开发环境 (IDE):
我使用 Obsidian 作为 IDE 的“前端”，在这里我可以查看原始数据、编译后的 wiki 以及衍生的可视化内容。需要重点指出的是，LLM 负责编写并维护 wiki 的所有数据，我很少直接去碰它。我也尝试了一些 Obsidian 插件，以其他方式渲染和查看数据（例如用于幻灯片的 Marp）。
问答 (Q&A):
有趣的地方在于，一旦你的 wiki 足够大（例如，我最近关于某些研究的 wiki 大约有 100 篇文章和 40 万字），你可以向你的 LLM 智能体提出针对该 wiki 的各种复杂问题，它会去研究答案等等。我本以为我必须求助于花哨的 RAG（检索增强生成）技术，但 LLM 在自动维护索引文件和所有文档简短摘要方面表现得相当不错，并且在这个相对“较小”的规模下，它可以相当轻松地读取所有重要的相关数据。
输出 (Output):
我不想仅仅在文本/终端中获取答案，而是喜欢让它为我渲染 markdown 文件、幻灯片（Marp 格式）或 matplotlib 图表，然后我会在 Obsidian 中再次查看所有这些内容。你可以想象根据查询生成许多其他形式的视觉输出。通常，我最终会将这些输出“归档”回 wiki 中，以增强它以供进一步查询。因此，我自己的探索和查询总是能在知识库中不断“积累”。
数据清理与审查 (Linting):
我在 wiki 上运行了一些 LLM“健康检查”，例如查找不一致的数据、填补缺失数据（通过网络搜索）、为新的候选文章寻找有趣的关联等，从而增量式地清理 wiki 并提高其整体数据完整性。LLM 非常擅长建议要进一步提出和调查的问题。
额外工具 (Extra tools):
我发现自己正在开发额外的工具来处理数据，例如，我通过自然语言提示（vibe coded）为这个 wiki 编写了一个小而简单的搜索引擎，我既可以直接使用它（在 Web UI 中），但更多时候我想通过命令行（CLI）将它作为工具交给 LLM，以进行更大规模的查询。
进一步探索 (Further explorations):
随着知识库的增长，人们自然而然地会考虑合成数据生成 + 模型微调，让你的 LLM 在其“权重”中记住这些数据，而不仅仅是在上下文窗口中。
总结 (TLDR):
从特定数量的来源收集原始数据，然后由 LLM 编译成 .md 格式的 wiki，接着 LLM 通过各种命令行工具对其进行操作以进行问答并增量增强 wiki，所有这一切都可以在 Obsidian 中查看。你几乎不需要手动编写或编辑 wiki，这是 LLM 的领域。我认为在这里有潜力打造出一款令人难以置信的新产品，而不仅仅是一堆拼凑起来的脚本。