[ { "i": 0, "speaker": "Lauren Tan", "text": "好的。所以再次介绍一下,我叫 Lauren。我在 SpaceX 负责 Grok 项目。我可以请大家快速举手示意一下吗?有多少人曾经看过别人写的代码,心里想:这全是垃圾?" }, { "i": 1, "speaker": "Lauren Tan", "text": "嗯,我也一样。但今天,我要说服你们,可以把这些垃圾变成黄金。上个月我做了一件疯狂的事,我上线了 3,000 行代码到生产环境。" }, { "i": 2, "speaker": "Lauren Tan", "text": "现在,在智能体出现之前,我们其实并不太在意产出量,除非是那些特例。" }, { "i": 3, "speaker": "Lauren Tan", "text": "在我之前的公司,我们把这些人称为编码机器,比如 Brett Taylor,他 famously 在一个周末重写了整个 Google Maps,简直是一位" }, { "i": 4, "speaker": "Lauren Tan", "text": "生产力惊人的工程师。而有了智能体,任何人都可以成为编码机器。我的观点是,软件工程师的工作,或者说软件工程师的核心要义,在于弄清楚如何在大幅提高生产力的同时,保持甚至提升代码质量。" }, { "i": 5, "speaker": "Lauren Tan", "text": "为了实现这一点,有些人喜欢称之为软件工厂。但我喜欢简单点,我认为这关乎信任。不是盲目的信任,而是投资于你的智能体环境,从而相信你的智能体会做正确的事。" }, { "i": 6, "speaker": "Lauren Tan", "text": "现在,要达到这个状态需要付出相当大的努力,我花了六个月才达到可以上线数千个拉取请求的程度,其中很多是在我睡觉时完成的。但这绝对是可能的,而且你们花的时间会比我少得多。" }, { "i": 7, "speaker": "Lauren Tan", "text": "所以让我们从如何从低信任环境过渡到高信任环境开始谈起。所以这个倒金字塔是我思考在智能体的环境上如何分配时间的框架。" }, { "i": 8, "speaker": "Lauren Tan", "text": "前两层是确定性的,也就是利用你的代码本身,比如良好的 API 设计、架构、重构,或者使用 lint 规则、类型系统、编译器或各种测试手段。" }, { "i": 9, "speaker": "Lauren Tan", "text": "你可以将这两层结合起来,以约束智能体可以执行的操作并强制它们默认做出正确的行为。" }, { "i": 10, "speaker": "Lauren Tan", "text": "验证(包括运行时验证和形式化验证)是叠加在上面的优秀工具,用于发现 bug、检查属性以及确保你希望系统保持不变的不变性成立,同时也能帮助你检查智能体是否理解了你的目标。" }, { "i": 11, "speaker": "Lauren Tan", "text": "因此,你需要确保智能体理解你的目标和意图。最后,你可以叠加一些提示词(prompts),比如规则、技能、agents.md 等需要判断力的内容。" }, { "i": 12, "speaker": "Lauren Tan", "text": "但让我们先从你的代码库开始。智能体根据其输入生成输出。因此,输入的质量至关重要。而你的代码库恰好是最大的输入之一。" }, { "i": 13, "speaker": "Lauren Tan", "text": "所以,每当你在纠正智能体时,请思考如何将其转化为一个确定性检查,而不是在规则或 agents.md 中再添加一行内容。因为当它存在于代码中时,可复现性要高得多,这也让你更信任它。" }, { "i": 14, "speaker": "Lauren Tan", "text": "我喜欢用的一个类比是,你的代码库有点像一座花园。你知道,过去代码是一次提交几个拉取请求(pull requests)到达的。" }, { "i": 15, "speaker": "Lauren Tan", "text": "我记得 2023 年上班时,我会审查同事写的三个拉取请求。而今天,这个数字更像是……所以每位工程师现在都相当于拥有数百甚至数千个智能体的团队。" }, { "i": 16, "speaker": "Lauren Tan", "text": "代码到达的速度如此之快,几乎感觉像是一条连续的数据流,而且几乎感觉是有机的,像一个生命体。" }, { "i": 17, "speaker": "Lauren Tan", "text": "在这个类比中,你的代码库、你施加的约束以及你设置的护栏,就是智能体编写的新代码所围绕生长的混凝土基础。就像这张图片里的建筑一样。所以在很多方面,软件工程师的工作正变得有点像园艺。" }, { "i": 18, "speaker": "Lauren Tan", "text": "因为代码是智能体最大的输入源,这意味着任何变通方案、反模式、已弃用的代码或技术债务,现在很可能被下一个智能体直接复制,因为它们看起来像是你代码库中既定的模式。" }, { "i": 19, "speaker": "Lauren Tan", "text": "这就像你的花园里长了一些杂草或害虫,然后它们蔓延得到处都是。等你反应过来时已经晚了。所以你要尽可能让代码库保持纯净,这样智能体才会始终复制好的部分。" }, { "i": 20, "speaker": "Lauren Tan", "text": "好吧。我们来看一些实际的例子。Dune 是我们为 Grob 创建的一个客户端框架,用于实现这种有机的理念从技术角度来看,它其实没那么有趣。" }, { "i": 21, "speaker": "Lauren Tan", "text": "你可以把 Dune 大致理解为 Electron 应用版的 Next.js。但 Dune 有趣的地方在于它包含大量约束和Lighter规则。" }, { "i": 22, "speaker": "Lauren Tan", "text": "我们将构建桌面应用过程中学到的许多经验教训都编码进了这些规则中。其中一个教训是:任何需要微妙技巧才能用好 的东西,往往会导致混乱的代码。" }, { "i": 23, "speaker": "Lauren Tan", "text": "你知道,经典的例子就是 React 中的 use effect。它有其适用场景,但经常被误用。有些人开玩笑说,你得有博士学位才能用好 use effect。" }, { "i": 24, "speaker": "Lauren Tan", "text": "换句话说,要真正用好它确实需要大量的微妙技巧。而智能体并不擅长使用它。所以我们的解决方案就是在产品代码中直接禁止它。目前只有在 Dune API 内部的某些地方才允许使用。" }, { "i": 25, "speaker": "Lauren Tan", "text": "实际上,这个问题现在已经彻底被消除了。我们再也不需要在代码审查中特意去捕捉这个错误了。另一个我们使用的有趣模式是通过目录结构来提供上下文。" }, { "i": 26, "speaker": "Lauren Tan", "text": "所以我们发现 Cursor 存在一个反模式,它是一个 Electron 应用。它的架构稍微复杂一些。问题是智能体经常会把主线程的代码导入到渲染线程中,这会导致长任务阻塞和界面卡顿。" }, { "i": 27, "speaker": "Lauren Tan", "text": "所以在 GrotBot 和 Dune 应用中,我们让这一点变得非常规范。我们有两个顶层目录,字面意义上就叫 electron renderer 和 electron main。" }, { "i": 28, "speaker": "Lauren Tan", "text": "它们之间的导入是被我们的依赖图分析器以及一些 Lint 规则所禁止或屏蔽的。再说一遍,你知道,设置这些简单的 Lint 规则并不难。" }, { "i": 29, "speaker": "Lauren Tan", "text": "这意味着在代码审查时,我们少了一件需要检查和思考的事情。然后我还看到另一个令人惊讶的现象,就是智能体会使用 Markdown。比如文档、代码注释、规则或技能文件。" }, { "i": 30, "speaker": "Lauren Tan", "text": "它们把这些地方当作记录自己不做正确之事的理由的场所。或者我不知道你有没有见过这种情况,它们会对你做出的某个小修改过度纠正。并且把它们当成一条永远不能打破的硬性规则。" }, { "i": 31, "speaker": "Lauren Tan", "text": "每次都是这样。绝不再犯。这是来自 Cursor 的另一个例子。所以智能体真的很喜欢使用命令式定时器。" }, { "i": 32, "speaker": "Lauren Tan", "text": "所以像 setTimeout、requestAnimationFrame、requestIdleCallback 这类东西。" }, { "i": 33, "speaker": "Lauren Tan", "text": "他们把这些当作快速补救措施,因为这实际上只是在掩盖架构上的问题VS Code 的命令式风格与 React 的声明式风格之间的冲突。" }, { "i": 34, "speaker": "Lauren Tan", "text": "因此,我们对架构的选择实际上同时影响了客户端和智能体的性能糟糕得多。如果你曾经在 JavaScript 中做过任何性能优化工作,你就会知道当你拥有" }, { "i": 35, "speaker": "Lauren Tan", "text": "大量的定时器被快速创建和销毁,这会导致产生大量垃圾回收开销收集,这会导致大量的延迟和卡顿。" }, { "i": 36, "speaker": "Lauren Tan", "text": "但最糟糕的是,智能体写了很多代码注释,就像你在这里看到的红色部分,解释为什么这个快速修复是合理的。不知不觉间,计时器到处都是,应用的性能也受到了严重影响。" }, { "i": 37, "speaker": "Lauren Tan", "text": "现在,在 GrokBot 中。在 GrokBot 中,我们吸取了教训,决定直接屏蔽 99% 的评论,因为它们很容易过时。你知道,反正人类根本懒得去读那些低质量的评论垃圾。" }, { "i": 38, "speaker": "Lauren Tan", "text": "再说一次,这给智能体提供了一个逃生舱口,让它有借口因为事情太难而不去做正确的事。不过,评论最糟糕的一点是它们无法强制执行。" }, { "i": 39, "speaker": "Lauren Tan", "text": "所以,那些看似出于好意的做法——比如,我打算告诉下一个智能体不要做某件事。最终它从来都不会变成任何你可以信任的东西。" }, { "i": 40, "speaker": "Lauren Tan", "text": "所以在 GrokBot 和 Dune 中,我们现在有了 lint 规则,能提供良好且非常有帮助的错误信息,指导智能体去修复根本原因、真正的问题,而不是仅仅在表面打补丁。" }, { "i": 41, "speaker": "Lauren Tan", "text": "因此,我们的基本原则是:每次我们纠正智能体时,都会将其转化为一种确定性检查,或者思考如何在代码中从根源上消除这类问题。通过更好的 API 设计。" }, { "i": 42, "speaker": "Lauren Tan", "text": "或者思考如何在代码中从根源上消除这类问题。通过更优的架构。如果你这样反复实践,你会发现需要人工审查的代码点越来越少。到了某个阶段,你会意识到已经没有什么需要审查的了。" }, { "i": 43, "speaker": "Lauren Tan", "text": "此时你可以放手让智能体自行合并大部分自己的 Pull Request。好的。接下来。验证也是让我们智能体更加自主、并提升我们对其工作成果信心与信任的关键环节。" }, { "i": 44, "speaker": "Lauren Tan", "text": "以及我们的代码审查流程。现在已大幅简化为仅查看验证产物。例如视频、截图、图表和形式化验证等。其中最基础的例子是运行时验证。" }, { "i": 45, "speaker": "Lauren Tan", "text": "这其实是一种更专业的说法,意指赋予智能体自行运行代码的能力,并使用人类开发者同样使用的调试工具。比如 Chrome DevTools 协议。" }, { "i": 46, "speaker": "Lauren Tan", "text": "在我们的运行时验证系统中,有一个我们称之为 feature map(功能地图)的东西。它基本上类似于从用户视角出发,列出应用中所有可用功能的站点地图。" }, { "i": 47, "speaker": "Lauren Tan", "text": "有了这个,当你提到‘左侧边栏里的那个东西’时,智能体就不需要去猜了。它提供了一套共享的术语体系。我们还在这些技能中使用自定义 CLI,以便智能体可以重复使用" }, { "i": 48, "speaker": "Lauren Tan", "text": "CLI 和驱动程序,从而减少 token 用量,同时也便于测试。最近,我们也开始关注形式化验证。" }, { "i": 49, "speaker": "Lauren Tan", "text": "因此,我们现在使用 TLA+ 对主要用户流程进行模型检查,例如跨多个设备和平台的通知。我们还使用 Lean 来证明某些算法的正确性。" }, { "i": 50, "speaker": "Lauren Tan", "text": "例如,我们编写了自己的自定义虚拟化库,并使用 Lean 来检查是否存在闪烁或抖动问题。总体而言,我们仍在实验这种方法。它看起来非常有前景。" }, { "i": 51, "speaker": "Lauren Tan", "text": "通过形式化验证,我们已经发现了相当多的 bug。总体而言,我们仍在实验这种方法。它看起来非常有前景。通过形式化验证,我们已经发现了相当多的 bug。" }, { "i": 52, "speaker": "Lauren Tan", "text": "但这肯定不是银弹。我们将其视为另一种工具,智能体环境中的另一层。这段视频非常快。但我们刚开始关注的另一件事是对 UI 进行基于属性的测试。" }, { "i": 53, "speaker": "Lauren Tan", "text": "因此,我们使用了一个名为 Bombadil 的库。这已经帮我们捕获了一些 UI bug。所以,拉远视角来看。我看到了 Cindy 发的这条推文。" }, { "i": 54, "speaker": "Lauren Tan", "text": "六个月前,她说她无法信任她的智能体,因为一些细微的 bug 被合并进去了。对她来说,真正缺失的、让她能够信任智能体的东西是验证流程。" }, { "i": 55, "speaker": "Lauren Tan", "text": "而现在,六个月后,她说她每天 70% 的 token 都花在了验证上。我认为这与我观察到的情况相符,我大部分的 token 使用量也用于验证。" }, { "i": 56, "speaker": "Lauren Tan", "text": "如果你仔细观察她的流程。这里提到的任何内容都不是我们以前从未有过的新颖技术。这些只是良好的软件工程工具。但过去由于它们难以理解、编写或维护,使用成本可能高得令人望而却步。" }, { "i": 57, "speaker": "Lauren Tan", "text": "难以理解、编写或维护。但智能体极大地降低了这一成本。事实上,我们正进入软件测试和验证的黄金时代。因为智能体让我们能够以比以往更具经济性的程度对一切进行测试。" }, { "i": 58, "speaker": "Lauren Tan", "text": "因此,形式化验证也能帮助你更好地推理产品应如何工作,以及你的智能体是否真正理解你的意图和目标。" }, { "i": 59, "speaker": "Lauren Tan", "text": "我在我的插件 P stack 中做了一个名为状态图(state chart)的新功能,它帮助你从用户的角度可视化状态机。我发现结合我们提供的视频和截图进行审查要容易得多。" }, { "i": 60, "speaker": "Lauren Tan", "text": "所以,这效果很好。抱歉刚才闪回了一下。让我们谈谈理想中的样子是什么样的。作为所有这些投入的回报,你能得到什么?所以,在 Grootbot 团队,我们的开发速度正在起飞并迅速提升。" }, { "i": 61, "speaker": "Lauren Tan", "text": "上个月,我们的团队向生产环境发布了令人咋舌的 11,000 个拉取请求(pull requests)。这是一个惊人的数字。我们发布客户端的节奏也加快了。" }, { "i": 62, "speaker": "Lauren Tan", "text": "我们大约每天发布一个新稳定版本。然后,我们就有了一个新稳定版本。我们大约每天发布一个新稳定版本。然后,我们大约每天发布一个新稳定版本。此外,核心团队也在大量发布代码。" }, { "i": 63, "speaker": "Lauren Tan", "text": "我们还有很多偶尔贡献或路过式贡献者,他们并不总是掌握很多背景信息。但他们也在做出贡献。在十月,大约有 227 人至少提交了一个拉取请求。" }, { "i": 64, "speaker": "Lauren Tan", "text": "所以,尽管开发速度在加速,你可能会想,这会不会变得一团糟?你知道,这会不会变成一堆垃圾代码?但实际上,被回滚的拉取请求数量。相对比例实际上降低了,并稳定在约 0.5%。" }, { "i": 65, "speaker": "Lauren Tan", "text": "但我认为关于这种发布节奏和如此大量的拉取请求,真正有趣的是 GrokBot 的性能不仅保持稳定,而且在多个维度上相比我们刚推出时有所提升。" }, { "i": 66, "speaker": "Lauren Tan", "text": "启动、打字、打开新聊天、切换聊天,所有这些操作都变快了。请记住,GrokBot 仍然是一个 Electron 应用。而且我认为这不会是个问题。" }, { "i": 67, "speaker": "Lauren Tan", "text": "但这确实是个问题。至少目前是这样。所以这里存在一个上限,对吧?但它已经比市面上许多其他智能体 UI 快得多。" }, { "i": 68, "speaker": "Lauren Tan", "text": "对于一个具有如此高迭代速度且由这么多人贡献的 Electron 应用来说,我认为这相当不错了。所以在你着手构建软件工厂并尽可能自动化一切之前" }, { "i": 69, "speaker": "Lauren Tan", "text": "当你修正你的智能体时,请尝试首先通过改进你的代码库来实现。你知道的,从添加 lint 规则开始,以防止新的反模式出现。然后也清理掉那些旧的反模式。" }, { "i": 70, "speaker": "Lauren Tan", "text": "然后确保你的验证流程非常健壮。无论如何,这些工作都是自动化的先决条件。如果你的内部编码循环产生的是低质量代码,那么自动化这个循环只会产生更多低质量代码。" }, { "i": 71, "speaker": "Lauren Tan", "text": "然后你需要投入越来越多、越来越多的 token 来解决这个问题,而众所周知,这非常昂贵。一旦你在这些方面进行了投资——你知道的,将代码写入你的代码库,进行静态" }, { "i": 72, "speaker": "Lauren Tan", "text": "分析、运行时信息。非形式化验证。你会发现,有了这些基础,许多事情都变得可行。而且你可以非常轻松地基于这些基础构建你自己的工厂。" }, { "i": 73, "speaker": "Lauren Tan", "text": "当你准备好时,GrotBot 是构建那个外部循环的绝佳方式。我们拥有大量的连接器和工作流,可以启动 Cursor、云端智能体以及项目,从而让你能够编排数十万甚至数千个智能体。" }, { "i": 74, "speaker": "Lauren Tan", "text": "举一个快速的例子。你知道的。当我们现在发布时,GrotBot 会自动为我们启动一个新的 Cursor 项目,对整个应用程序、整个构建过程进行模糊测试。" }, { "i": 75, "speaker": "Lauren Tan", "text": "它会通过运行应用程序并像真实用户一样使用它来发现 bug。然后,它会为发现的每一个 bug 打开修复 PR(拉取请求)。并且会自动合并它们。" }, { "i": 76, "speaker": "Lauren Tan", "text": "听起来可能很疯狂。这是因为我们的代码库质量足够高,拉取请求默认就是高质量的。而且我们合并的大多数产品代码不再真正需要深入的人工审查。" }, { "i": 77, "speaker": "Lauren Tan", "text": "所以,当你拥有坚实的基础和良好的有机架构时,你可以将低质产出转化为黄金,在不牺牲质量的前提下,以高质量、高速度发布产品。我是 Potato,也叫 Lauren。" }, { "i": 78, "speaker": "Lauren Tan", "text": "再次感谢大家聆听我的演讲。" } ]