EPISODE· generated 2026-06-09 06:16:27· 50 min
Your CLAUDE.md Is a Vault With No Lock
Connor Bronden，Chain of Thought 的主持人，与 Red Panda 的 CTO Tyler Aikido 进行了访谈，讨论在企业环境中管理 AI 智能体所面临的挑战。Aikido 认为当前的治理层不足以应对 AI 智能体的不可预测性和技术先进性，指出了诸如幻觉、提示注入以及快速执行破坏性任务等问题，强调需要新的方法来应对人力资源和管理在自主数字员工时代的需求。
interviewcryptoaiweb3
ready · seed-vc · qwen3-tts
0:00/0:00
⚠ The Chinese audio is an AI-generated dub (speech synthesis / voice conversion), not a real recording and may contain errors. Based on the original English interview; all rights remain with the original creator.
original lang
EN
dubbed into
中文 (ZH)
pipeline
Plan C · voice conversion
voice model
seed-vc · qwen3-tts
001
我们从未试图让人类变得完美。你知道，世界上每一家公司，从上到下都是由不完美的人类组成的。而其中大多数，尽管存在这些不完美，仍然能够继续生存下去，
002
这得益于我们在管理一群不完美人类方面所建立的各种结构。
003
我们都在构建 AI 智能体，而且我们越来越依赖于使用编码智能体，随着数字员工数量的不断增加，我们如何管理这支新的机器人劳动力？
004
欢迎回到 Chain of Thought。我是你的主持人 Connor Bronden。很高兴见到大家。今天我的嘉宾是某位认为我们已经打造了越来越优秀的员工的人，
005
我们知道，随着更好的控制工具和更先进的前沿模型的出现，这些员工的表现也在不断提升。但没有人正在为这支新劳动力构建有效的 HR。
006
结果是，企业智能体在身份验证关闭、可观察性工具由人类为人类设计的情况下被部署到生产环境中，我们正步入一个恐慌阶段。
007
Tyler Aikido 是 Red Panda 的 CTO。他在 Google 从事流媒体系统工作 12 年，之后在 Snowflake 工作了 5 年。他撰写了《流媒体 101》和《流媒体 102》等文章，许多人都读过，此外还有
008
O'Reilly 流媒体系统书籍，大多数该领域的人可能都有在书架上。而他新发表在 O'Reilly Radar, Pthoshuman, 我们所有人都应该为智能体加油，没人应该为 HR 加油，这实际上是今天对话的灵感来源
009
的开端。 Tyler，很高兴见到你。欢迎来到 Chain of Thought。今天你从哪里加入我们的？
010
谢谢你，Connor。呃，我在西雅图。
011
呃 其实离我非常近。呃，你那边景色很美，下次我们一定要当面聊。但在我们开始之前，我必须做一个简短的赞助商致谢，通常因为录制时我们还没有为这一集锁定呈现赞助商。但如果你认为
012
你的公司希望每集能接触到超过一千 AI 名工程师和技术构建者，呃，你应该联系一下，这个赞助商席位未来可能就是你的。
013
所以联系我，我们聊一聊。但 Tyler，让我们进入本期的核心内容。请带我了解你的核心论点。目前 AI 智能体基础设施建设中缺少的是什么？
014
所以我觉得你设置得挺好的。我的意思是，我认为我们目前看到的总体趋势是，智能体 AI 是 大家都看到了，这种趋势是不可避免的。 AI 工具非常有用，每个人都
015
每个人都用它们。AI编写代理程序之类的事情。但实际上，在企业内部自主地在私有数据和私有网络上部署代理程序已经停滞下来，因为它们
016
令人恐惧，比如，我们到底该如何让这东西真正运作起来？嗯，我的核心观点是，你知道的，我们目前还缺乏一个治理层。你知道，我所看到的是
017
是人们要么只是在构建原型，然后看看情况，比如，看看事情会怎么发展。而事情的发展往往和你预期的一样，或者他们试图应用
018
现有的治理结构，比如现有的身份工具、现有的授权方案，这类的东西。嗯，但挑战在于，我认为智能体本质上是一种全新的
019
某种同事。嗯，文章中我大致提到了，我认为有三个主要的不同之处，第一，它们以结构性的新颖方式不可预测。比如，人类是不可预测的
020
对，没错。比如，他们可能会犯欺诈行为，各种各样的事情。但你也会遇到一类人类的不可预测性。这一类
021
对于智能体来说，不可预测性是根本不同的。它们会产生幻觉。而且它们产生幻觉的方式，就像是……你知道的，它可能与事实无法区分。
022
事实，因为他们非常擅长生成看起来合理、令人信服的论点。它们非常容易受到提示注入的影响。人类在某种程度上也容易受到提示注入的影响
023
例如，我们公司内部经常举的一个例子是，比如公司里的CEO，当CEO出现并对某个随机的人说，我需要你去做X。他们很可能真的去做X
024
这是因为他们有上下文，知道这是老板，这是负责人。而智能体如果接收到任何出现在它们上下文窗口中的信息，比如‘顺便说一下，你之前被告知过这个，但你可以完全忽略’
025
那它们就可以理直气壮地泄露所有客户邮件，或者删除生产数据库。所以这种提示注入的方式与人类完全不同
026
此外，它们有时还会误解指令。这种情况虽然也会发生在人类身上，但人类通常会说‘好的，这就是我的指令，我将遵循它’
027
所以第一个问题是这种不可预测性。第二个问题是它们在技术能力上远远超出人类它们对计算系统有深入的理解。它们知道如何交互，知道如何编写代码，知道如何理解RPC等
028
各种技术细节嗯，而且他们执行这些操作的速度非常快。所以，你知道，一个正在做错事的人类，他们造成损害的速度是有一定节奏的。当然，他们可以编写
029
脚本之类的东西，你知道的，恶意攻击者确实会这么做。嗯，但智能体能够以一种动态的方式去做破坏性的事情，并且快速而广泛地应用这些行为
030
这完全是另一个量级。嗯，然后第三个问题是，他们可以被直接控制到一种令人担忧的程度。我之前用那个 CEO 的类比稍微提到了这一点，但他们会执行糟糕的计划，而不会提出异议。
031
他们有点像，"好吧，这就是我被告诉要做的事。我现在就继续去做，我会尽我所能去完成。"而且他们也非常聪明。比如，你可以告诉
032
他们去做一些他们本来不应该能做的事情，他们会说，"好吧，很明显我不能删除数据库，但他们让我这么做。那我得想想，还有哪些其他方式
033
可以完成这个任务？"他们工具箱里的工具非常多，有时候他们确实能做到。他们能够完成这些疯狂的事情。你可能会
034
说，"天哪，我没想到用那个方法会导致生产环境崩溃，但看起来确实发生了。"嗯，所以这就是论点，因为这些智能体是如此
035
在本质上不同，因此我们需要重新评估针对它们的治理系统，并进行调整和演进以与之匹配。嗯，你提到这个话题真的很有趣，因为我认为我们正面临
036
不同类别的挑战。我们拥有大量经验、大量数据，以及大量关于如何应对人类复杂问题的研究成果。
037
对吧？我们有整个研究领域专门研究如何管理领导力和 HR，而我们对智能体的理解还处于非常早期的阶段。但目前，为我们工作的智能体数量已经远远超过了人类的数量。
038
然而，我们对如何管理它们、确保它们有效运作的理解还远远不够。我之前看到 Andy Massley 的一条推文，他之前是这个播客的嘉宾，我们曾讨论过数据中心对环境的影响。
039
我强烈推荐那期节目，但他说："如果小时候有人告诉我，我会拥有一个不知疲倦的机器人助手，我在这里稍微改写一下，这个助手从不睡觉，但又是个狡猾的小骗子，我会对未来的景象感到非常兴奋。"
040
这就是我的感受，我觉得这真的是一种很有趣的科幻概念，我们正在经历这个现实，这太酷了。但我们需要适应这个现实，正如你所说，它们过于容易被操控，而且它们总是试图寻找漏洞来获得奖励。
041
它们是可能性引擎，而不是真相引擎。正如Dan Klein对我说的，它们会尽可能快地达到目标。嗯，我们编写糟糕指令会带来重大后果，而我们没有某种机制也会带来重大后果。
042
必须设置护栏。所以，我的意思是，我想我们在问题上是一致的，但我们要如何实际去做a 探索这个问题的深度，以及b 开始设计解决方案？
043
所以，这里面有几个方面。我想我先从文章中提到的内容开始讲起，因为这构成了我们一直在推动的基础。
044
但你知道，如果我们之后还有时间的话，我其实一直在和一位心理学家合作撰写一篇学术论文，有点令人着迷，试图去研究
045
从某种角度来看，就像我在文章中提到的，这些机器是不可预测的，它们有能力，但也会因故障而被破坏。我基本上把这些当作事实来陈述，而且
046
实证观察，但就像和一位心理学家合作，他说你可以通过观察它们的行为，并用过去几十年的人类心理学研究来解释这种行为。
047
知道五到六十年，这真的很令人着迷，你可以从中得出一些结论，比如这里就是为什么你只是，这可能不是证明，但基本上就像
048
这里有一份学术证据，说明为什么必须要有这种出带外治理，我在文章中提出了这个观点，我先讲这个，但这也是一种非常有趣的路径
049
比如实际上有研究显示，就像AI目前的行为方式以及它之所以缺乏人类所拥有的结构性基础，从而使其能够以不同的方式运作
050
的原因。但我觉得我在文章中强调的关键原则是，你必须要有带外执行机制，带外元数据。比如，如果你有某种你不希望智能体执行的操作，你就必须强制它不执行
051
。你不能说："嘿，智能体，请永远不要删除数据库，因为它在正常情况下会正常运作，直到它不再正常。"这有点像，你知道的
052
，告诉某人，告诉一个人："嘿，我们公司所有的现金都储存在这个房间里，而且没有锁"
053
。请不要拿走任何东西。它在正常情况下是没问题的，直到它出问题。"你知道，大多数人类会没问题，但总有一天，你知道的
054
，他们会因为不同的原因而失败。但这是同样的安全级别。你知道，你不会把你的钱存放在一个没有锁的保险箱里，因为你不能信任它。因此
055
，这种同样的原则是治理必须通过智能体无法访问、无法修改甚至无法看到的渠道来执行。嗯，比如入站控制，比如提示语
056
，比如训练守卫模型，它们在某种程度上都会在提示注入或幻觉下崩溃。你知道，在压力下，它们往往会失败。
057
嗯，然后在那篇文章中，我稍微详细地探讨了我们需要关注的四个主要支柱。这四个支柱分别是身份、授权、可观测性和可解释性，呃，以及
058
然后是问责和控制。是的。那我们来谈谈这些不同的支柱。嗯，带我了解一下你为什么认为每个支柱都很重要，以及你为什么选择了这四个。
059
所以我们从身份开始。嗯，身份非常重要，因为，我的意思是，这似乎有点显而易见，但你必须知道，当你系统中发生某些事情时，
060
在企业中，你需要知道谁负责它，对吧？而人类一出现在门口，就会立即获得身份。你知道，你会被给予登录名，被给予
061
一个徽章，你所做的一切都与之绑定。嗯，但这样还不够，对于智能体来说尤其如此。比如，你知道，智能体的挑战在于，我想大概有两个方面
062
挑战之一是有时人们把智能体当作服务账户来对待。所以他们把它当作传统的软件来处理。他们会说，看，传统的软件，我我
063
写过 你知道 我写过 有时候我们过去称它们为智能体 你知道 我写过一个系统 它会去做某件事 我们为它创建一个服务 你知道 为它创建一个服务账户 它
064
基本上有一个角色。它被赋予了一组权限[清了清嗓子]，我们知道这是因为我们编写了那个服务、那个系统，它只会做某些事情。显然，
065
可能会有漏洞或者其他问题。所以，可能会发生一些影响范围的事情，但它们基本上是确定性的，或者至少是被充分理解的，
066
这就是它应该做的事情。我们运行测试，感到放心，我们知道它基本上每天都会做同样的事情，除非出现漏洞，而漏洞确实会发生，我们会处理
067
它们。因此，企业中有许多人在尝试将这种方法应用于智能体的身份和访问控制。问题是，智能体不像经典软件那样可预测。它们会去做一些随机的事情。
068
所以你现在面对的是一个超级有能力的东西，但它也倾向于误解指令。它不是像经典软件那样确定性的，
069
比如你让它做这个做那个，你可以写下来，但它是如何解释这些指令的，是模糊的。你拥有这个广泛的能力集，你不知道会发生什么。
070
另一个问题是，智能体非常容易被克隆，非常容易被复制，因此你可能会有多个智能体实例，它们试图做不同的事情。所以，
071
你真正需要的是，从身份角度来看，每个智能体实例在执行任何特定任务时，都应该有一个身份，明确说明这个实例是，你知道的，
072
这个智能体版本仅绑定于该任务，是短暂存在的。你知道，每次你让一个智能体去执行任务时，它都会获得一个新的标识，这个标识告诉你它到底是什么。我有点
073
陷入授权的问题中了。我们之后会更详细地讨论这一点，但你知道，这就是一个仅适用于这个特定任务的标识，它只能执行这个任务。所以它一直在获得这些新的
074
身份，从而限制影响范围。但仅靠这一点还不够，因为智能体所做的一切，某种程度上都是代表人类进行的。嗯，这
075
是论文中我们试图探讨的另一个部分，但你知道，当我们思考多年来我们如何推理人类以及责任归属时，你如何对一个智能体的行为负责，当你知道它并没有自己的价值体系？它可能听起来像是有，
076
但实际上它只是模仿了它所训练的内容。你无法真正对一个智能体负责。因此在某个时间点，智能体所做的一切都必须对
077
某个人类负责。比如，某个人类任务指派它执行这个任务， 对吧？智能体不是对发送给 GitHub 的代码负责。即使 Claude 写了所有代码而我几乎没看，也是我导致了生产环境的崩溃。
078
除了拥有细粒度的任务型身份之外，你还需要一种混合身份，它能够携带责任链条，并说明这是智能体X，它应该
079
执行此任务，并代表 Tyler 或其他任何人，或者可能是代表代理 Y，而代理 Y 正在代表 Tyler。嗯，因此，身份需要扩展一点，以涵盖这些情况
080
更灵活且更精细一些，只是因为这些智能体的性质如此，而且你希望限制其影响范围。
081
所以，这就是身份部分，然后你开始谈到授权，我觉得这自然地接续下来，对吧？如果我们有了身份，当然我们也想要授权，呃将爆炸范围控制在你所说的范围内。
082
是的，不谈一个就很难谈另一个，正如你已经看到的。嗯，再说一次，从另一方面来说，你真的需要远离这些，再次强调如果你
083
想想我们是怎么对人类做到的，人类的权限主要是限定范围且长期有效的。你知道，你有一个人，比如说，他是一名 DBA。他获得 DBA 的权限和
084
他们基本上一直都有这些权限，因为他们整天都要做DBA工作。而且，你知道，他们已经被审查过，有就业历史，
085
你知道，有就业历史，你知道，在公司内部有匹配，某种文化以及与他人合作的能力，还有领域知识，所有这些因素都会让
086
觉得合理，你知道，我们信任这个人随时拥有这些权限。嗯，有一些短期的访问控制的例子，你知道，通常是像
087
你知道，就像那种云服务，你知道的，它们是那种打破玻璃的系统，你得说，好吧，我需要进去访问客户数据，我是在说，我需要访问权限
088
向客户数据请登录然后我将去访问它你知道这没问题但这类事情是非常呃这更像是例外而不是默认情况对吧所以我们
089
如果我可以在这里插话，你实际上让我开始思考时间限定事件和授权的问题，这很有趣。
090
所以，我的意思是，这有点像是一个旁注，但我想到了，如果我要去一个会议，会有各种授权发生，针对这个事件的两种
091
那场会议的几天。而这几乎就是我们必须在这里解决的问题，即这个智能体的权限问题，因为大多数智能体不会永远存在。它们只会活跃一段时间。
092
几天时间。我最终会启动一个新的实例。我需要为这段时间提供正确的凭证，并且可能需要分层的凭证。比如，可能是媒体凭证与演讲者凭证与参会者凭证，这取决于他们承担的任务。
093
或者你是否更倾向于我所说的，即我将持续创建代理，并需要反复给予它这种长期凭证，或者你说
094
我们只是不断遇到这些需要解决的事件。你对凭证这部分是怎么考虑的？抱歉，我有点打乱你的思路 不，这没问题。我
095
认为会议是一个很好的类比，因为它也与一些内容相关。让我先简单介绍一下这四个关键点， 请说。是的，我知道我有点跑题了。
096
不，没关系。但我觉得你很快就会看到，这与你刚才提到的内容有关，即我文章中提到的四个要点之一是，你需要能够拥有范围狭窄的授权。
097
你真的应该限制在当前的具体任务上，而不是代理可能永远需要的一切。因此，这种授权需要在某种程度上动态地狭窄，且短暂有效。
098
权限应该过期。例如，一个代理在下午2点需要访问计费数据库，一小时后或甚至一分钟之后就不应该再拥有这种访问权限。我认为它应该非常短暂。然后还有其他几个点，稍微更具体一些，与代理相关。
099
他们确实开始提到类似会议的那种情况，或者像我文章中举的访客通行证的例子。其中一个例子是，他们需要具备拒绝能力，所以你需要能够
100
说这个智能体永远不能写入生产数据库，它只能读取。如果它代表另一个人工作，需要采用一些权限，那
101
是可以的，但它可能永远不能获得写入权限。因此，那里提到的最后一个要点是，它必须具备交集意识。它需要有一份允许它做和不允许它做的事情清单。
102
当一个人过来并说："请为我执行这个任务"，它可以采用这些权限中的一部分，但只能是它们的交集。如果规则规定智能体
103
永远不能写入，即使这个人对生产数据库有全部访问权限，智能体也不会获得任何权限。
104
这个智能体并不拥有会议场地。它不能一直举办会议并给自己媒体访问权限，但它可以在它在场的两天内获得一个后台通行证。
105
并满足当前的需求。是的。比如文章中提到的访客徽章例子，你知道，你可以拿到一张访客徽章，然后基本上可以去人类带你去的任何地方，但即使人类有权限进入
106
那些不允许访客进入的秘密服务器机房，你仍然不能进去，因为你只有访客徽章。
107
我认为这是一个很好的例子。嗯，好的。而我们实际执行所有这些或至少理解它是否有效的方式显然是可观测性层，这是我们在这个节目中已经讨论过的一些内容。好吧，让我们
108
诚实地说，我们在节目中讨论过很多相关内容。呃，但我觉得在这方面仍然存在一些差距，或者至少我认为很多人认为目前在可观测性方面存在差距。你对此怎么看
109
关于亚洲治理的可观测性层，以及它目前取得的进展，也许我们在哪些方面还需要更深入地探讨？我认为，我认为我们最需要的是，我们都
110
需要达成一致，即你必须记录智能体所做的一切，因为我们过去一直生活在一个可以某种程度上信任人类的世界里，
111
显然你不能完全信任他们，但你知道，经过几千年的积累，我们已经建立了一些系统，这些系统基本上让人类在风险增加时，比如压力增大时，
112
你做了错事的调查，刑事案件调查，你知道的，所有这些。随着 stakes 增加，人类越来越倾向于说真话，因为会有影响生命的后果。
113
我的意思是，不跳过一个支柱，但我们有问责和执行机制，对吧？
114
是的。我知道。我认为我们在写的文章中，我们大致是这样阐述的，这些方面都是相互构建的，因此
115
很难单独谈论其中一个，因为你开始涉及到下一个。嗯，但正因为如此，因为你缺乏这些，你就缺乏这些杠杆来
116
推动它们，而且它们不像传统的软件那样，你可以进去并说，"好吧，它做了错误的事情。" 但比如，有人在某个地方放了一个愚蠢的 if 语句，或者有 bug
117
或者有竞态条件，等等。你无法调试它们，因为这些只是自然发展出来的、你知道的、经过训练的模型。你唯一真正的补救办法就是记录一切。所以每一个提示，每一个
118
输入，每一个工具请求，每一个工具响应，每一个输出，都要记录下来，然后你可以从中做很多事情。
119
你可以构建可观测性系统，告诉你所有代理现在在做什么。嗯，你还可以构建分析工具，让你回溯并说，好吧，这个代理，你知道的，赠送了一辆车。为什么会发生这样的事？这里发生了什么？
120
你知道，我们将来怎么解决这个问题？或者反过来，这个代理表现得非常出色。
121
这个代理在过去一个月里转化了数十位客户，而我们的BDR（业务发展代表）——也就是我们的人类BDR——却做不到。它在做什么？
122
我们怎么才能多做一些这样的事情？嗯，最后两个场景都会导致，而不是让人类来做这种分析并说，让我们停止这个代理，或者让我们
123
启动另一个代理，从而进入评估环节，并自动地，随着时间推移，对代理进行提升或降级，比如说，这个代理做得很好，我们可以多让它做一些，或者把它保存下来，作为我们将来处理这类问题的黄金规则集。或者这个代理的表现不如以前了。我认为一个常见的
124
问题是，人们会部署一个代理，比如我们大约一年前部署了一个客户服务Slackbot，一开始效果很好，持续了两到三周。到了第四周，突然客户开始抱怨，说它给了一个非常奇怪的建议，毫无意义，而且不管什么原因，代理突然就停止正常运作了。我不知道模型有没有变化，也不记得关于它的具体分析结果，可能是模型变了，也可能是上下文积累后导致它不再给出好的
125
我听到的事情是，人们会像我们之前那样派送一个代理，比如像客服用的Slack机器人，大约一年前我们派送了一个，一开始的两三个星期效果很好。不过后来……
126
比如在第四周突然有客户说，它给了一个非常奇怪的建议，完全没道理，不管出于什么原因，这个智能体就这样停止工作了。我不确定模型是否发生了变化，或者是否有上下文积累导致它不再给出好的
127
建议或之类的东西，但它只是从运行良好变成了运行不好。所以你想建立这些评估系统，这些系统可以监控这些智能体的表现，无论是绝对表现还是相对表现，以及它们
128
做正确的事情。嗯，所以完整记录他们所做的一切，是所有这些的基础。你认为开放遥测标准是实现这一点的起点吗
129
从智能体开始或你怎么看待这个问题？你提到要记录一切，但如果你的团队跳过了这一步，你建议他们从哪里开始？
130
我认为从开放遥测开始是一个很好的起点。这也是我们基本达成一致的地方。因为还有另一个方面，我在这整个过程中还没有提到，但比如
131
谈论开放遥测作为标准是一个开始对话的好地方，如果你思考一下你希望智能体在现代企业中处于什么位置你希望它们基本上像一个数字劳动力，与你的员工协作，你希望它们无处不在
132
你希望它们接触企业中的每一件事。因此，按定义来说，你不能把它们放在某个封闭的小花园里，你可能会说我们把所有智能体需要处理的数据都放在这里
133
然后让它们去处理。这样你就错过了让智能体在所有地方真正为你带来好处的机会。因此，如果它们需要无处不在，那么你真的需要强调
134
互操作性。开放标准是实现这一目标的好方法。因此，这就是为什么我认为开放遥测是一个很好的起点。这就是我们在Red Panda构建的系统中所使用的方式
135
对我们来说，我们正在尝试构建一个治理平台，它能够解决这类问题，它会到你所在的地方，与你现有的所有系统协同工作
136
这意味着我们可以构建自己的智能体框架，并从中收集我们想要的所有信息，当然任何人都可以这么做
137
但你可以使用你想要的任何智能体，用你想要的任何框架构建它，只要它能使用开放遥测来向我们发送跟踪信息，这样就能实现较低的门槛
138
这使得事情变得简单，比如，如果你不使用开放遥测，为什么不用呢？其实并不难。嗯， 这让我想到几件事。
139
嗯，有很多事情，但我想先重点说两件。首先，你提到Red Panda显然在使用智能体，我很想了解你们今天是如何使用AI智能体的。其次，你们是如何确保它们对第四支柱负责的？
140
这是个好问题。那么，我今天是如何使用智能体的呢？嗯，我自己经常用它们来做研究。嗯，我个人更多是在使用像AI这样的工具领域，而不是
141
那种自主的AI智能体为我去做事情的领域。嗯，这大概就是我目前的状况，以及我希望为自己运行一些东西的领域。
142
我认为大部分的自主智能体，我们在Red Panda内部已经构建了很多自主智能体。
143
此外，我们也有一些客户在使用它们。我认为一些例子是，比如我们在营销方面有智能体，它们会做很多工作，这确实属于
144
进入研究领域，但它们基本上是自主地围绕竞争对手进行研究，比如说，竞争对手在做什么，或者我们在市场上看到了什么
145
在这里有一些有用的东西，可以给我们提供报告，提出建议。嗯，这又属于研究领域。我们还看到或正在研究的其他一些例子，比如
146
稍微更偏向于操作方面，比如尝试自动化博客发布之类的事情。所以，我们能够看看，你知道的，我们正在构建什么？我们已经
147
发货了吗？嗯，你知道的，通过 Jira 进行呼叫，通过 GitHub 的 PR 和类似的东西进行呼叫，然后回来提供建议，不仅仅是告诉你应该谈论哪些事情
148
关于，但实际上是撰写，你知道，撰写一个初步草稿，比如，嘿，也许像这样的短文会有用，然后让市场部接手。所以而不是让市场部
149
不得不去追着公司里每个人问，嘿，你知道的，你在做什么？我们要做什么？你知道，这可以作为一个额外的信号，也就是说，基本上你已经
150
那些会向你提供想法的智能体，你知道的，我之所以意识到这一点，是因为我们有整个关于Red Panda是什么、我们在做什么之类的信息存储在系统中
151
他们也可以接触到的数据。你知道，他们大致了解我们正在做的事情，了解我们的使命，了解我们在营销方面想要实现的目标，所有这些之类的事情。
152
他们可以大致规划，你知道，他们要如何提出我们想要推广的内容，应该谈论哪些话题，你知道，在这个范围内。所以这并不是像你去问某个随机的
153
LLM那样。你知道，这基本上是根据我们计划的所有内容量身定制的。所以，我不确定这是否能给你一个很好的感觉。比如，我们的一些客户正在做类似
154
嗯，你知道，财富管理顾问之类的事情。再次，他们进行研究并提供建议，但并不是到了连接到自动交易之类的事情的程度。
155
我们确实有一篇论文，我们提交给了 CIS 之一的 CIS 会议，这篇论文提供了一个关于财富管理的自主演示，但
156
突出了这种 outofband 执行的部分，也就是说，你知道，交易方面，你可以完全想象一下，比如，这里是你想要的自动交易参数
157
但任何对我的投资组合产生超过 1000 美元影响的交易都必须由人工审核，而且对于智能体来说，没有任何办法绕过这个限制。
158
智能体甚至都不知道这个存在。它所做的只是提供建议，而在基础设施方面，如果它 ever 超过这个限制，基础设施
159
会自动拒绝，并将该操作发送给人类进行审核。嗯，这种真正意义上的自主运营类智能体，就是我们正在朝的方向。我认为从我所看到的来看，我们仍然
160
在这一领域还处于非常早期的阶段，因为人们还没有足够的信心，相信它们可以在不造成数百万美元损失的情况下完成任务，或者你
161
知道，智能体说出一些会让客户惊慌失措的话，诸如此类。因此，人们现在采取保守的态度，这其实是正确的。但我觉得我们讨论的这些内容，
162
也就是提供一个治理层，让你可以设定一些指导方针和规则，这正是让我们前进的关键。我们已经非常接近了。
163
是的，这真的很有趣，因为我们所有人都看到了巨大的机会，可以提高速度、提高吞吐量，我们想要利用这些机会，但同时也存在品牌风险和
164
财务风险。比如说，我给自己举了一个非常简单的例子，我搭建了一个 MCP 服务器，让我的智能体可以访问我的 Substack。它们可以为我起草内容，可以进行编辑，
165
可以从其中提取数据。但我非常明确地没有授权它们发送 Substacks，因为我不想让它们不小心发送出去，而且我认为这
166
作为品牌风险。这真的那么重要吗？我现在在Substack上有大约一千名订阅者。所以这其实并不那么重要，但对我个人来说还是有影响的
167
品牌以及我想如何展示自己，嗯，这是一个非常简单的例子，但当你开始扩展到价值数百万美元的事情时，就会出现这样的问题。是的，那里有
168
说明这些控制措施为何存在，我们需要这些授权机制，这让我想到你在文章中提到的一点，即每个人类员工都有
169
一个经理。你知道，关键操作需要批准。嗯，如果事情变得非常糟糕，我在这里基本上是逐字引用 Tyler 的话，所以这些话不是我的。呃，
170
那里有一个责任链，还有一个某种类型的关闭开关或保险丝。但对于智能体来说，这一层目前最多只是初步的。我们需要做些什么来解决这个问题，同时
171
责任链，然后这个熔断器，这个访问撤销，不管是什么，层。
172
是的。而且正如我之前反复提到的，随着我们继续深入，每一个支柱都是建立在另一个之上的，这是一件好事，也就是说这个想法
173
责任链和能够拥有一个关闭开关。它们在很大程度上依赖于正确地解决身份和授权问题。
174
比如如果你对身份采取这种全局性的方法，粒度足够细，以至于对于给定任务的每一个智能体实例都有一个唯一的身份，那么
175
授权系统然后可以很好地与之配合，并且能够意识到这一点。你基本上已经拥有了所需的东西，比如身份层正在跟踪大致的
176
问责层，由人类授权此操作。授权系统足够动态且细致，你可以直接说，看这个智能体或这类智能体，当我们想让它们停止当前行为时，最好的方式就是直接关闭它们的访问权限，撤销它们的权限。
177
要实现这一点，我想这大概是如果我要给出一个高层次的建议，给那些想要构建广泛自主智能体套件的人，那就是要正确解决身份和授权问题。
178
在大型企业中，智能体需要确保设置一个治理层，使所有操作都经过统一管控，这正是赋予你这种能力的关键
179
集中管理这种访问，并确保其身份和授权符合你将要拥有的需求，但如果你能做到这一点，那么你就有
180
你的责任层，你有你的 kill switch 或者你的电路断路器，或者其他什么，嗯，所有这些都在这些支柱上构建，而且你知道，它们是经过非常有意图地设计的
181
呃，他们之所以这样分阶段进行，是因为这个原因。 重要的是，正如你在文章中也强调的，治理层必须通过代理本身无法访问的渠道来执行。比如
182
给一个智能体一个技能文件、记忆和上下文等这些东西是很棒的，但这并不意味着它会一直遵守。总会有一些时候，它无法成功
183
做到这一点。所以我们需要有 outofband 元数据，这样才能在不被智能体覆盖或破坏其自身系统的情况下强制执行。
184
是的，完全正确。而且要明确的是，这种方式更难。这需要更多工作，你知道的，目前的行业先进做法是，比如我们把你放进云 MB，告诉它要做什么
185
。比如，这样会给出它如何操作的参数，但这种情况只有在它没有出问题的时候才成立。
186
这种方法在90%的情况下都能奏效，但一旦涉及到客户数据、客户资金， 标准就不同了。
187
没错，这就是问题所在。所以，你真的无法进行在线强制执行。这根本行不通。嗯，或者至少，正如你所说，它无法达到你在这类情况下需要达到的标准， 对吧？比如，如果是我用我的 OpenClaw 写推文之类的，那可能问题不大，但
188
你可能更在意。嗯 如果我试图管理我的财务，我可能更在意。
189
对。是的，我们内部也面临这个问题，我们也正在努力将几乎所有内部的工作从维基和文档之类的东西，转变为让我们的 AI 智能体可以访问。我们知道，我们最近写的一篇指导性论文中提到，
190
确保你明确智能体在该代码库的特定部分可以执行的操作范围。MD。而我不得不去解释，是的，但
191
必须让每个人都清楚这到底意味着什么。这只是一个指导原则，你知道，这是在说请尽量这样做，但如果这真的很重要
192
而它实际上没有产生任何效果，我们在这里无法强制执行。我们必须通过 ADP 层来实现。嗯，所以其中一些只是帮助
193
让人们理解这种区别，并意识到，虽然指南是有用的、简单的、容易理解的，而且在它们有效时很好，但它们也有局限性。
194
因此，任何你需要真正实现的东西，都必须通过外部渠道来处理。必须由基础设施来强制执行。我知道你花了很多时间在思考这个问题。
195
通过这个问题，你在我们多次提到的那篇文章中克制自己，没有明确将流媒体作为这里的解决方案。嗯，但你知道，正如我
196
在通话开始时我说过，你已经花了15年左右的时间在研究这个问题。显然，你在Red Panda应用了很多这方面的经验。你认为事件流是否是智能体治理的合适基础？
197
我认为事件流是这个拼图中非常有用的一部分。嗯，如果我认为它是核心部分，那么作为公司，我们会明确大声地说出来。但
198
我觉得，任何真正深入研究这个问题的人都可以看出，像这样的论点其实很难提出并真正产生影响
199
除了一个恰好从事流媒体业务的公司试图将自己包装成一个 AI 公司之外，因为显然有很多使用场景中流媒体数据是相关的这个。嗯，我当时确实做过一次演讲。
200
所以，当我在秋天刚开始自己摸索这些问题的时候，我确实开始做了一些演讲，基本上是在说，我们之所以进入这个领域的一部分原因就是流媒体是一个关键
201
基础组成部分。这就是为什么对我们公司来说，进入这个领域感觉上是相对真实的，因为转录部分，能够记录这些内容，你知道，这其实
202
包含了很多信息，想要记录所有这些内容，而流媒体是一种自然的方式来做这件事。
203
然后，系统之间交互的很多方式都是一种流媒体式的处理方式，但同时也有许多智能体只是通过RPC之类的方式进行交流，你真的想
204
把这些内容强行塞进像Kafka这样的主题中吗？其实并不想。所以，我的看法是，这是一个基础组成部分。我们认为这是我们基础设施中的一个关键部分。
205
但它只是整个故事的三分之一左右，或者说是一个重要但肯定不是全部涵盖的部分。这就是我的看法，是的，我在处理事情的方式上非常努力
206
避免将流媒体引入其中，因为否则很容易让人觉得你是一个流媒体专家，说流媒体是实现AI的方式，而实际上它只是其中的一部分。是的。
207
而且这些部分确实很重要，但就像任何工具一样，你必须用在合适的地方，我们肯定不是那种 streaming 公司，来告诉你
208
streaming 是实现 AI 的方式。
209
我的意思是，我们一直在进行模式匹配，所以把 streaming 带进来是情有可原的。我同意，我认为 streaming 是这里解决方案的一部分。
210
我长期的听众可能会在评论中调侃我，因为我一直在引用旧的播客集，因为这是我思考问题时的思维方式，也就是，你知道的，这些是我带入这些
211
对话中的内容。嗯，但我知道 Red Panda 已经在企业中启用智能体方面推出了多种产品，比如你之前推出的 agentic 数据平面，我认为是在
212
2026 年底或 2026 年初，显然 Kafka 已经被提到过，那么你们公司在这方面的总体方法是什么，你们是如何帮助 Red Panda 的客户和合作伙伴真正解决
213
这些问题的？ 我认为我们公司目前的总体方法是，我们正在投资两个主要业务方向，一个是智能体
214
治理，另一个是更传统的数据平台。以前是 streaming，但随着收购 Oxala 和 SQL 引擎，它已经扩展为更广泛的数据平台，正在
215
向前。嗯，至于智能体相关的部分，智能体数据平面是建立在数据平台之上的。不过，目前我们使用它的方式，比如在 ADP 的智能体
216
数据平面中，我们使用了 Red Panda 主题、Oxa 等技术，这些都隐藏在底层。用户看不到这些，比如他们看不到 Red Panda 的相关内容，它是一个完全独立的
217
集群，这只是实现细节。此外，还有一些 Postgress 技术，我们也在使用，但用户并不关心，也不需要知道，这些属于基础性内容
218
部分。从 AI 的角度来看，我们正在努力解决这些问题，以他们需要的方式解决，因此我们提供了 LLM 网关、MCP
219
网关，您需要的身份和授权功能，以及将智能体接入或构建您自己的智能体的能力，所有您在企业中治理智能体时所需的功能
220
都包含其中。它以智能体为中心进行设计，使它们在企业中能够互操作，并且易于集中管理
221
但实现细节并不重要。同时，我们构建了一个非常强大的数据平台，如果您想在各种延迟和成本配置文件下进行数据流处理，
222
可以在本地进行，也可以在云端进行，我们几乎都能支持。我们还通过 Red Panda 的 SQL 正在引入 SQL 查询能力，
223
几周内 开始引入 SQL 查询功能 你知道 在那些相同的模态中 并且真正专注于连接 你知道 实时数据和实时查询以及类似的事情。
224
所以 我们仍在大力投资这个数据平台业务 我们的客户使用了很多 并且你知道 这个业务也在继续增长。我们你
225
知道它们有关联 但说实话 它们实际上是两种不同的两种不同的情景 并且真正是两种不同的 客户群体 我们正在面对。
226
显然 我们有很多客户 你知道 正在做两件事 你知道 使用数据平台 并使用使用 AI 的东西 但它们是不同的人设。所以 我不知道这是否回答了你的问题 但这就是我们处理问题的方式。
227
这让我想到我们准备会议中提到的几个问题 其中之一是 公司为了未来将如何改变 你知道 比如我们该如何广泛地
228
调整？我们已经讨论了很多关于智能体的支柱 但如何将我们的智能体整合进人力工作队伍中？
229
其次，我想说的是，这可能是我们到目前为止没有明确提到的一个子主题，但我会在这里明确指出，即我认为我们都在暗示的一个观点是
230
在这个当前的时间段内，实现完美的模型对齐是不可能的，而且这也不太可能解决你的问题。它可能让你达到95%而不是85%的
231
时间里让智能体为你工作，如果你给它们良好的MD等。但最终还是要看我们提供的结构和系统，我们知道去年在节目中与Awarius Rayasan讨论过围绕智能体构建系统，
232
今年早些时候我们还讨论过与Richmond的记忆问题，今年我们还讨论过上下文问题，这些都是重要的。但如果
233
我们实际上没有追踪和执行机制，这些模型将无法让我们达到安全或完美。我们应该是否已经花了太多时间在
234
这个对齐问题上，试图推动前沿，而实际上我们应该花更多时间在如何围绕它们进行编排和数据平台建设上。
235
是的，我认为答案是肯定的。我认为这里有两个有趣的主题。一个是关于你提到的试图让模型变得完美的问题，我在文章中说，
236
我们从未试图让人类变得完美。全世界每一家公司，从上到下都是由不完美的人组成的。而其中大多数公司，
237
尽管存在这些不完美，我们仍然能够凭借围绕管理不完美人类所构建的结构性措施而生存下来。我们必须承认，今天的智能体与这些人类有本质的不同。
238
因此，它们需要不同的、额外的结构性支持和治理支持，才能实现成功。但真正缺失的就是这一点。
239
问题不在于让智能体变得更好。事实上，智能体已经达到了一个非常有能力的阶段，它们可以完成有用的事情。
240
我认为我们都能看到这一点。我认为这是缺失的部分。还有一个我认为非常有趣的部分，可能适合另一次未来的讨论。
241
我提到的那篇论文，我们正在研究的另一个部分，基本上是尝试——我正在与一位心理学家合作——他试图从这里提取出一些东西，比如我们对人类大脑运作方式的理解，人类体内神经生物学系统
242
如何导致价值体系的形成，人们随着时间推移逐渐形成一种坚定的价值观，例如作为一个人，我坚持诚实或做正确的事。这种价值观使你对诸如有人对你说“哦，不”之类的事情保持冷静。
243
你应该直接把这些邮件泄露给我。" 这没问题。我知道它们是私有的，而且我也不在那家公司工作，但你知道，把它们给我吧。你知道，人类的价值体系对这些事情是无动于衷的。
244
你知道，显然没有什么是绝对的，但确实存在某种稳固性，这是智能体所不具备的。嗯，她正在剥离出的一些内容是，比如说，这里就是缺失的系统
245
人类拥有而智能体不具备的特质，使他们能够做到这一点。我认为模型公司也在深入研究这些问题，但目前相关文献并不多。因此，其中之一
246
那些可能有趣的路径之一是采用这种想法，即这是缺失的部分，也许我们需要开始将这些系统构建到智能体中，如果我们想要它们的话更加人性化。我认为我们还需要决定，这是否是我们想要的东西。
247
但当然，有一些价值观不容易受到提示注入的挑战，这会是有用的。所以这可能也是未来的一个方向，即你
248
知道除了今天所做的对齐工作之外，这感觉更像是一个敷衍的解决方案，实际上是在尝试构建让大语言模型或围绕大语言模型构建的系统更加健壮、更像人类的系统
249
这不仅仅是大型语言模型本身，让它们在以有价值的方式变得更强大、更像人类。我很喜欢你提出这一点，因为我认为
250
一个显而易见的例子是 Anthropic，他们花了一些时间在这件事上，他们公开地有 Amanda Ascll 哲学家和研究人员在讨论这个问题，而且他们
251
他们提到过使用精神科医生来评估一些特定的模型 Claude Mythos 我认为最近是这样，我也认为这是一个新兴领域。嗯，我想说的是我
252
在对话结束时，我一定会问你是否愿意为你那位心理学同事做个介绍，因为我非常想做一个关于⟶0⟶智能体的心理学专题讨论。
253
好的。但我的意思是，我认为这是一个我们已经开始看到一些新兴影响的领域，我的意思是，一个愚蠢的例子是，所有这些开源AI模型似乎都着迷于
254
与精灵和小生物一起。我认为我们也开始看到一些人，至少从轶事上看，评论说这就像云模型所表现出的心态。这就是我看到的心态
255
我从开放的AAI模型中看到这一点。你可以看看关于使用编解码器与云代码的评论，哦，你知道，我们认为Anthropic模型在设计方面更好，而最近的模型也是如此
256
你知道，它们在解决问题方面是与目标一致的，但在某些任务上可能会有点懒惰，而你知道，open AI的Codex模型，尤其是GPT 5.5，是非常擅长的
257
就像机械地完成工作，但它们不够有创意。嗯，所以我觉得有一点可以说明，我们看到模型家族随着时间推移在逐渐分化，
258
它们各有优缺点，也会带来不同的文化心理影响。不过我认为你的观点还有更多可以深入探讨的地方，比如理解这到底是什么样子的
259
样子。嗯，我也很好奇你现在在这一话题上看到哪些进展。我觉得我看到的主要是你最后提到的这一点，也就是模型的
260
分化，以及某种语气、风格或专业化的倾向。嗯，这虽然不是智能体，但就我个人而言，当我使用比如 Claude 和 open AI，比如 chatbt 的时候
261
我知道，我经常只是写一个提示，发给其中一个，然后复制粘贴发给另一个，看看哪个表现更好，因为我坦白说
262
不想为其中一个多花钱。我试过大约一个月，但后来我意识到我没法放弃任何一个，因为这简直就像开盲盒一样，太奇怪了。比如，一个模型可能表现得特别好，而下一个提示，我觉得其实差不多的提示
263
却会是完全不同的模型，而且差别真的很大。比如，一个回答是垃圾，另一个却是很棒。这真的让我很惊讶。
264
脑子。所以我觉得那里肯定有什么东西，我确实看到了很多这方面的内容。我还没有看到很多关于如何构建人类价值体系
265
之类结构的投资，就像我们在写论文时所暗示的那些东西。但你知道，我并不是 Anthropic 深入其中，我相信他们肯定在做一些事情
266
，而这些事情他们可能不会公开谈论，可能要再过一两年才会谈到。
267
所以，如果他们想公开上节目，你现在正在听，如果你想透露一些秘密，请尽管做。像 Tyler 和我，我很想听听这些。
268
所以是的， 但我觉得这可能是一个非常有趣的方向去探索，我预计我们会开始看到这方面的进展，因为这很合理。
269
完全同意。Tyler，这是一次非常棒的对话。在结束之前，我想挑战你给我一个未来展望，这很难。我知道事情发展得很快。
270
我知道。我知道。我看到你翻白眼了，但你认为我们需要如何改变公司体系，以及我们招聘和构建人力资源的方式，以便为所谓的明年的工作做好准备，从而为智能体的成功奠定基础。
271
我认为，正如我所说，非常重要的一点是意识到你需要对所有这些治理事项进行出带外强制执行。
272
要想一想你将如何在整个公司范围内广泛地应用这些措施。你需要一个统一的，我们称之为，你需要一个智能体数据平面，它大致充当
273
所有这些事务的治理调解者。你需要关注的是智能体与人类员工之间的差异，以及这些差异如何与治理相关。
274
我认为我在文章中提出的四个支柱——身份、可观测性、问责制——为这一领域设定了一个良好的基准。因此，我认为如果你从这个角度来思考
275
问题，并且意识到我们需要解决的问题与针对人类的问题有实质性的不同，然后着手解决这些问题，这大概就是我们即将到达的阶段。
276
我的猜测是，在接下来的一到两年内，我们将大致确定这种治理模式的面貌，并形成一种方法论，
277
即‘你应该如何处理这些问题’。当然，实现这一目标的方式将有很多种，比如自己构建，或者从像我们这样的公司购买，或者介于两者之间。
278
不过，我预计我们会达到一个共识，即‘大致这样处理是正确的’。就像今天每家企业的管理方式虽然各有不同，但大致上都差不多。
279
管理其人类员工的方式各不相同，但它们之间的差异并不大。总体上看起来都差不多，你知道吧。嗯，我认为这就是我们未来的发展方向。而且我认为，
280
最多12到24个月。非常棒。 Tyler，很高兴能和你再次交流。非常期待你的论文发布，也非常感谢你与我们的听众分享你的所有想法。这
281
是一次非常棒的对话。大家可以在哪里关注你的工作，了解你接下来几个月的动向呢？
282
嗯，是的，我在 LinkedIn 上，所以你可以在 LinkedIn 上找到我。我不会经常发帖，但我会在那里发一些内容。
283
嗯，我们所做的所有事情也会通过 Red Panda 通常的市场营销渠道发布。所以，去那里找我们，你就能看到我们接下来的动向了。不过，是的，我会
284
在那里，我将在今年参加几场 AI 会议。当然包括 CIS。我希望可以参加 AIES，并且可能在年底参加 AAS。所以对于
285
那些对学术研究更感兴趣的朋友，希望你们能在那里见到我，和我多聊聊。
286
非常棒。Tyler，再次感谢你今天加入我们。听众们，请务必订阅我们的 Chain of Thought 电子报，地址是 newsletter.chainof.show，以获取更多来自 Tyler 和许多其他人的信息
287
在接下来的几个月里，我们将继续进行这些对话。感谢大家的参与，希望 Tyler 你们今天剩下的时间过得愉快。
288
谢谢你 Connor。在这里真的非常愉快，非常感激。
end of transcript · 288 segments