EPISODE· generated 2026-10-29 00:45:53· 42 min
Dario & Daniela Amodei: The Rise of Superintelligent AI, the End of Human Control & Humanity's Fate
Anthropic背后的兄弟Dario和Daniela Amodei离开OpenAI，以追求一种不同的、更“人性化”的技术路径。他们承诺将安全与伦理置于技术竞赛的核心……但随着IPO临近，这些原则能否在获胜的压力下得以坚守？
superintelligent aihuman controlethical aiipoanthropic
ready · seed-vc · qwen3-tts
0:00/0:00
⚠ The Chinese audio is an AI-generated dub (speech synthesis / voice conversion), not a real recording and may contain errors. Based on the original English interview; all rights remain with the original creator.
original lang
EN
dubbed into
中文 (ZH)
pipeline
Plan C · voice conversion
voice model
seed-vc · qwen3-tts
001
Dario Amodei
我个人对此感到非常震惊。我看着它说：“天哪，如果你把这个东西再放大一百万倍，它在所有方面都会比人类更强。”这是现代史上决定性的、你知道的，经济和科学时刻。
002
Dario Amodei
我们只是还没有意识到这一点。这将决定国家和经济的命运以及人类的未来。
003
Walter Isaacson
就像，你知道的，你凝视水晶球，看到整个未来展开。我是沃尔特·伊萨克森。欢迎来到《建造者》，我的新系列访谈节目，聚焦于塑造我们未来的最具影响力的思想家。
004
Walter Isaacson
今天我与达里奥和丹妮拉·阿莫迪对话。我以前认为人们对人工智能的一些担忧被夸大了。但当某些新模型逃逸出沙盒时，我意识到构建这些系统的人必须确保它们保持安全，并且与人类价值观保持一致。
005
Walter Isaacson
我想了解关于 Anthropic 的是他们是否真诚，当他们面临竞争时，比如当 OpenAI 说“好吧，Anthropic 不会那样做，但我们会”，他们是退缩还是坚守自己的原则？
006
Walter Isaacson
嘿，欢迎来到《建造者》，你们所有人。
007
Daniela Amodei
非常感谢邀请我们。
008
Walter Isaacson
你知道，史蒂夫·乔布斯每次推出产品时总是有那个艺术与科学或人文与技术的街标站在那个十字路口而当你成长的时候，丹妮拉，你是一个长笛演奏者，你热爱艺术，达里奥，你一直是个科学家。
009
Walter Isaacson
这是否帮助你们达成共识，你认为这种组合重要吗？
010
Dario Amodei
是的，我认为这种组合是公司背后的重要因素之一，对吧？我有一个理论是，管理一家公司对于任何人来说都太庞大的任务了。它涉及的技能范围之广，不可能由任何单一个人全部具备。
011
Dario Amodei
因此，你必须在公司里大概前 10 到 15 名核心人员中凑齐一套完整的技能组合，或者类似这样。而每家非常成功的公司都会以不同的方式拆分这些职责，
012
Dario Amodei
并以不同的方式解决这个问题。我认为在科学与人文方面，Daniela 和我正好体现了这一点，并进行了分工。是的。
013
Daniela Amodei
我想说，这挺有意思的。大概在 2023 年我们有一次团建活动，大家聊了聊在 Anthropic 工作到底是什么感觉？我们该如何体现我们的文化？
014
Daniela Amodei
我们当时确实说过，这是一种科学与人文主义的独特融合。直到后来我才意识到，这也正是形容我和 Dario 的方式。
015
Walter Isaacson
那么，你们小时候就知道自己想一起共事吗？
016
Daniela Amodei
是的。
017
Dario Amodei
我觉得我们俩都没想过我们会去创办一家公司。这确实不是我们中任何一人对自己人生或想做的事情的设想方式。我一直想成为一名科学家。Daniela 可以谈谈她的志向。
018
Dario Amodei
嗯，但你知道，我其实对商业公司没什么兴趣。是的。
019
Daniela Amodei
我会说 Dario 和我非常特别，因为从很小的时候起，我们就真的、发自内心地很喜欢对方。我们从小就像最好的朋友一样。嗯，我同意 Dario 的看法。
020
Daniela Amodei
我觉得创业从来不在我们的计划清单上。我们都不属于那种 我们俩都不是 我们俩都特别不偏向于搞公司那一套的人。我一直对做事很感兴趣，我觉得可以称自己为典型的实干家。
021
Daniela Amodei
所以我曾在国际发展领域工作。我非常坚信要帮助世界各地的人们获得平等的准入和机会。嗯，我在很小的时候就成为了素食主义者。这是我做的第一件事。
022
Daniela Amodei
Dario 总是先做所有事，因为他年纪大些，但我先成了素食主义者，然后他才跟着成为素食主义者。
023
Dario Amodei
是的。
024
Daniela Amodei
我想大概是我之后三年左右吧。哦，没那么久。我觉得可能只是……是的。是的。
025
Dario Amodei
你很快就跟上节奏了。
026
Walter Isaacson
这对我来说似乎很有说服力。是的。你知道，人们有时会问我关于我的书的问题，如何成为伟大的领导者，非常有创造力？
027
Walter Isaacson
你说过一些非常有趣的话，Dario，那就是不仅仅是成为伟大的领导者，而是打造一支伟大的团队。
028
Dario Amodei
告诉我你和 Daniela 是如何分工的，然后你们又是如何依靠其他人来补全这些角色的。是的。
029
Dario Amodei
所以，你知道，我认为对我们来说最有用的分工方式是——稍后我会谈谈团队的其他成员——我觉得我能够在思考宏观战略和研究方面时发挥最佳作用。
030
Dario Amodei
比如我最擅长的是描绘愿景，看清下一步的发展方向。
031
Dario Amodei
我发现，当我被解放出来，能够完全专注于此，你知道，那才是对公司最有价值的事情；而日常运营公司、招聘人员，只是确保在我试图弄清楚下一步该做什么时，这台机器不会出故障，车轮不会掉下來。
032
Dario Amodei
你知道，Daniela 负责做这些，我认为这种劳动分工使得这两件事都能以比如果我们分心去处理另一件事时高得多的标准来完成。
033
Daniela Amodei
我们的首席人才官非常了解我们两个人，经常参与我们之间的许多对话。嗯，她是这么说的：Dario 让我们变得雄心勃勃，而我让我们取得成功。
034
Daniela Amodei
我觉得这是一个非常好的总结，也就是说，如果没有 Dario，Anthropic 可能只是一个成功的好企业，但不会改变世界。
035
Daniela Amodei
而我认为如果有 Dario，我们将拥有完美的愿景，但我们的执行能力会变得……会变得更加复杂。所以我认为，我们彼此非常了解这一事实是特别之处。
036
Daniela Amodei
其次，我们的技能在这种方式下几乎是 100% 互补的，或者说可能不是 100%，但我会说是接近 100% 互补，这极其方便。这甚至还没有提到这样一个事实，那就是我们
037
Daniela Amodei
除了我们两人之外还有五位联合创始人，他们也拥有业务、文化以及组织中极其重要的部分。再次强调，我认为很难想象仅靠我们两个人，或者甚至一个人该如何做到这一点。
038
Dario Amodei
我只是觉得这是一个巨大的优势。是的。因为我们拥有七位联合创始人，他们在公司中拥有平等的股份。所以他们每个人都承载着这一愿景。我们对所有成员都抱有内在的信任。
039
Dario Amodei
很多人告诉我们，当我们创立 Anthropic 时，有七位联合创始人，哈哈，那肯定会是一场灾难。人们普遍认为，你知道的，你需要一个单一的领导力来源。
040
Dario Amodei
在某些方面确实如此，但我们实际上设法让它运作起来了。七位联合创始人至今仍在公司任职，这再次证明，当有这么多联合创始人时，这种情况通常并不常见。
041
Walter Isaacson
所以回到成长经历，你有这样非凡的父母，他们帮助你明辨是非。他们是怎么做到的？
042
Daniela Amodei
我不认为那是什么刻意的事情，你知道，有时我听到人们说，比如，我们在餐桌上讨论过各种形式的哲学伦理。事实并非如此，事实并非如此。
043
Daniela Amodei
嗯，我妈妈确实有哲学学位，但她并没有让我们去谈论康德或类似的东西。嗯，我认为这更多是内化于价值观之中的，比如坚信世界上各地的人们都值得拥有机会、尊严、权利和尊重。
044
Daniela Amodei
我觉得有一种特别的感觉，那就是我们可以成为任何我们想成为的人，只要我们有这样的信念，即成为一个成功的人类意味着做一个好人，并对他人友善。
045
Dario Amodei
是的。感觉它是隐性的。感觉非常隐性。嗯，你知道，没有任何明确的指示，比如，你应该这样做，或者你应该这样生活，这是你在世界上的生活方式。
046
Walter Isaacson
好吧，我之所以问这个问题，你可能也猜到了，是因为你现在有一个非常重要的‘孩子’叫 Claude。你成长过程中的那种方式在多大程度上帮助你指导如何教会 Claude 明辨是非？
047
Dario Amodei
是的。
048
Dario Amodei
你知道，我们为 Claude 发布了一份宪法，我想那是几个月前的事了。我认为其中有一些有趣的经验教训，这些是我们从多年来不断尝试、也就是在连续版本中训练 Claude 的过程中学到的。
049
Dario Amodei
我认为早期我们曾设想会有各种规则，你知道的，你会告诉 Claude，你知道的，不要帮助某人，你知道的，实施犯罪或制造生物武器武器之类的。
050
Dario Amodei
但事实证明，当你制定这种细致的规则列表时，你知道，你实际上是在塑造你想要教给模型的东西。我在这里稍微打个比方，但这在技术上确实基于我们的发现。
051
Dario Amodei
最终你会得到一种参差不齐的形状，你试图教模型大约 170 条相当随意的规则。
052
Dario Amodei
我们发现，教模型一些基本原则会更好，比如它应该优先关注什么，以及如何推理出正确的做法——当然，我认为这才是对的。
053
Dario Amodei
这也是教育人们的一种方式，对吧？比如，如果我只是给某人列出一堆规则，“你必须做这个，你不能做那个”，我认为这并不能培养出同样健全的道德观。而如果我告诉他们：“你应该这样思考问题，你应该学会独立思考。”
054
Dario Amodei
嗯，你知道的，这些就是你应该基于此进行思考的基本原则，对吧？开放探究的原则，以及你对他人的关怀原则，还有公平与正义的原则，然后一切都由此衍生出来。
055
Dario Amodei
坦白说，这就是 Claude 的学习方式。我们发现这出奇地有效，因为这让 Claude 能够泛化到它可能从未想象过的新情境。
056
Walter Isaacson
Danielle，当你提到你妈妈是康德专家时，我实在忍不住。你确实像那样深入探讨过哲学和道德哲学吗？
057
Daniela Amodei
有趣的是，负责训练 Claude 人格的那位女士拥有哲学博士学位。这很不寻常，对吧？
058
Daniela Amodei
你会认为，负责训练这些模型、塑造其特性的人，一定是计算机科学家，或者是那些研究机器学习或人工智能长达数十年的人。阿曼达的技术
059
Daniela Amodei
她实际上负责训练模型，但我觉得在 Claude 的性格中，当你与它交流时，能明显感受到一种经验感，一种非常……嗯，睿智的感觉，就像是人性中更善良、更优秀的那一面天使在努力回答你的问题。
060
Daniela Amodei
但是，如果你在这些可能涉及不同哲学传统相互冲突的棘手领域去试探 Claude。
061
Daniela Amodei
我觉得这正是你特别能感受到 Amanda 的地方，因为你会看到类似的情况，比如“哦，你可能想从这个角度考虑问题”，但你也可以从另一个角度来考虑
062
Daniela Amodei
这个观点。而且我认为这很重要，因为随着世界越来越依赖这些模型，你不想被锁定在某一种哲学传统中，因为伦理和道德非常复杂，不同的人和不同的文化对于你该如何行为可能会有不同的答案。
063
Walter Isaacson
Dario，你亲历了现代史上一个具有里程碑意义的时刻，那就是 GPT-1 和 GPT-2 突然横空出世，这或许甚至让你自己都感到惊讶。
064
Dario Amodei
你和 OpenAI 的研究负责人。那一刻是什么样的感觉？是的。所以，你知道，我认为 GPT-2 可能是对缩放定律的首次真正实证检验，对吧？
065
Dario Amodei
所以，我并没有深度参与 GPT-1 的开发，但我非常认同它应该具备的理念
066
Dario Amodei
扩大规模，我们应该获取新的数据来源，更多的计算资源，并且真的应该运行更大规模、更昂贵、更宏大的实验，来验证这样一个想法：如果我们在更大规模上运行这些语言模型，它们在语言处理上会更好，会更加连贯。
067
Dario Amodei
所以，你知道，这几乎像是科学史上的某个时刻，你提出了一个决定性的实验，只是为了做一个非常奇怪的预测，然后如果预测结果正确，你就会想，天哪，我们真的发现了什么重要的东西。
068
Dario Amodei
所以，你知道，我把 GPT-2 看作是对缩放定律假设的一种测试，是第一次真正的测试。我发现非常有趣的是巨大的分歧对此的反应。
069
Walter Isaacson
你有点惊讶吗？
070
Dario Amodei
我个人对此感到非常震惊。就像我，你知道的，我看了看它，然后说：“天哪，你只需要把这个东西再放大一百万倍，它在所有方面都会比人类更强。”
071
Dario Amodei
嗯，就像这是现代史上决定性的、你知道的，经济和科学时刻。我们只是还不知道而已，对吧？这将决定国家和经济的命运，以及人类的未来。你知道，你凝视水晶球，就能看到整个未来徐徐展开。
072
Dario Amodei
嗯，你知道的，这真的让我很害怕。我说：“天哪，这会有什么影响？”是这里是开发它的合适地方吗？你知道，接下来会发生什么？我们该怎么处理这个？"我们该告诉谁这件事？"
073
Dario Amodei
嗯，我周围大概有 10% 的人有着完全相同的反应，而且他们往往是最聪明的那批人。嗯，我周围 90% 的人，因为 GPT 在任何特定领域的能力都算不上特别出色，对吧？
074
Dario Amodei
它可以翻译语言，你知道的，总结文档，还有在这里那里写几行代码。关键在于其广泛性和通用性。但人们看到后会说，在任何一个特定领域，这看起来都不够聪明。
075
Dario Amodei
所以很多人只是耸耸肩，直接把它忽略了。但我们刚刚宣布，你知道的，我们将开发药物，你知道的，被忽视的罕见病。然后你会收到来自那些对生物技术行业感到厌倦的人的惯常评论。
076
Dario Amodei
啊，科技圈的人以前也这么干过。模型并不是，你知道的，这里列出了所有模型的局限性。我只是看着它，心想，这不过是同样的事情一遍又一遍地重复。
077
Dario Amodei
模型的局限性，你知道的，现在，六个月后，那些看起来困难的事情，将会变得容易。十二个月后，那些看似不可能的事情，模型将能够常规地完成。
078
Dario Amodei
所以，我们在 GPT2 上看到的一切，我们一遍又一遍地看到在世界的更广泛领域中重演。世界逐渐终于被说服了。
079
Daniela Amodei
我觉得你对此相当礼貌，但我的意思是，我记得当时有一些非常受人尊敬的计算机科学家和 AI 及 ML 领域的领导者，基本上在 Twitter 上欺负了一些研究该模型的研究人员，说这很愚蠢，我们不知道你们为什么还要谈论这个模型，它如此无能，如果你相信这是一个真正重要的时刻，那你就像个江湖骗子 而这一切都已成为记忆，所有那些研究人员，你知道的，他们说，“哦，这是伪科学。这说不通。”像他们所有人都在申请
080
Dario Amodei
在大型语言模型公司的工作。而且，你知道，我们从未对任何特定的人大声说出来，但你知道，我们看着他们，他们说，我 我 我们记得你在 2019 年说的话。
081
Walter Isaacson
你在这件事上毫无信誉。所以，Daniela，你当时是 OpenAI 的安全副总裁。当你遇到 GPT2 时，我假设你就像 Dario 一样，几乎对此感到恐慌。
082
Walter Isaacson
它也让你对安全问题感到恐慌吗？
083
Daniela Amodei
关于 GPT2，模型本身并没有让我们担心，对吧？我们没有看着那个模型说，“哇，我们认为这个模型有网络安全影响或什么，对吧？模型本身在很多方面可以说是可笑地错误，对吧？
084
Daniela Amodei
但它仍然是一个非常无害的模型。但我认为 Dario 提到的那一点，我也感觉到了，就是 GPT1 和 GPT2 之间的差异，就像将其外推出去，对吧？
085
Daniela Amodei
就像如果你从未见过孩子，只见过成年人，你会觉得不知道这个走来走去的小东西是什么。我不知道是否应该想象它有一天会变得有能力。然后它突然开始走路了。
086
Daniela Amodei
你会想，“哇，哼，我打赌这东西将来能完成很多成年人才能做的事。”
087
Walter Isaacson
也许这就是未来的发展方向。Dario，你说你离开 OpenAI 部分原因是因为信任破裂，这是一个有趣的词，你知道，和 Sam Altman 之间。
088
Walter Isaacson
解释一下你当时为何觉得信任出现了破裂，以及确实存在不诚实的情况。
089
Dario Amodei
看，你知道的，我想说的是，归根结底，离开 OpenAI 并创立 Anthropic……一方面，我认为这最终归结为
090
Dario Amodei
归根结底，关键在于基本原则以及我们将如何构建技术，这才是最终最重要的。嗯，你知道，我认为在过去的五年半里，我们已经看到这些原则是如何不同的。
091
Dario Amodei
你知道，我们看到 Anthropic 一直倡导对该技术实施合理的监管和安全保障措施。Anthropic 投资了机制可解释性研究，以了解模型内部究竟发生了什么。
092
Dario Amodei
对吧？你知道，我觉得……嗯，Anthropic 成功地维持了一种团结的文化，从而实现了最高的员工留存率。我们没有像其他 AI 公司那样出现多起丑闻。
093
Dario Amodei
所以，你知道，我认为这就足以描述其中的区别了。我你知道，但我会说，那个让我意识到我们需要创立自己的公司、OpenAI 并不是适合我们的地方的时刻。
094
Dario Amodei
看，这些安全问题很难解决。你对它们可以有很多不同意见。
095
Dario Amodei
我不同意联合创始人的观点，也不赞同 Anthropic 里很多人的看法，但我们之所以能够化解这些分歧，是因为大家都是在善意的基础上进行的。对吧？
096
Dario Amodei
我们应该发布这个模型，还是应该等待？我们是否应该在模型上设置更强或更弱的偏见防护措施？你知道，我们应该投入多少精力去游说制定安全法规，以及这些法规应该是什么样子？
097
Dario Amodei
这些都是出于善意的分歧，但它们总能得到解决，因为大家始终互相信任每个人都努力寻求正确的答案，并且每个人都保持诚实。
098
Dario Amodei
我指出信任破裂这一点，只是为了阐明一个抽象的观点：如果你不认为你工作的地方具备这种特质，如果你不相信分歧是出于善意提出的，也不相信你能从同事那里听到真实情况，那你怎么可能指望解决这些分歧呢？
099
Dario Amodei
这就是我们离开的原因。这也是我们创立自己事业的原因。而且我认为，过去五年半的经历本身就是最好的证明，表明我们的理念与该领域其他公司的理念截然不同。
100
Dario Amodei
嗯，你知道，我认为如果你继续为一个与你愿景不同的人工作，就会变得非常不清楚你实际上代表什么立场。你基本上不得不为别人愿景中的错误承担责任。等等，稍等一下。
101
Dario Amodei
我稍微反驳一下，因为你谈论的是价值观等方面的差异，但这与信任差异有着根本的不同——你觉得某人声称拥有相同的价值观，但实际上并没有，因此你无法信任他们。
102
Walter Isaacson
诚实是我们的价值观之一。这是一个非常重要的价值观。如果一个人不具备诚实这一价值观，就很难知道他的其他价值观是什么。你对 Sam 也有这种感觉吗？
103
Dario Amodei
我认为，至少对我而言，我会这样表述：我认为联合创始人是一群具有非凡诚信的人，我们所有人都认为我们对这项技术如何发展以及我们如何构建它有着非常相似的愿景。
104
Walter Isaacson
以及我们想要如何构建它。
105
Daniela Amodei
到了某个阶段，你会觉得独立去做这件事更合乎逻辑。如果别人并不天然地认同你的愿景，你该怎么让他们分享你的愿景呢？
106
Daniela Amodei
嗯，你知道，无论他们嘴上说得多认同，如果公司的实际行动没有体现这一点，你还有什么选择呢？
107
Daniela Amodei
我觉得至少对我而言，我会这样表述：我认为联合创始人是一群诚信度极高的人，我们所有人对于这项技术应该如何发展、我们应该如何构建它，都有着非常相似的愿景。
108
Dario Amodei
到了某个阶段，你会觉得独立去做这件事更合乎逻辑。你……你……你怎么能让别人去执行或者分享你的愿景，如果他们并不天然地这样做呢？
109
Dario Amodei
嗯，你知道，无论他们嘴上说得多认同，如果公司的实际行动没有体现这一点，你还有什么选择呢？
110
Daniela Amodei
是的。我认为 Anthropic 是一家建立在信任基础上的公司。我所说的意思是，我认为诚实、诚信以及我们彼此之间和对待员工的方式，也反映了我们希望技术如何被构建和发展。
111
Dario Amodei
举个例子，每两周我会在全公司面前进行一次长达一小时的演讲，谈谈公司内部的情况、AI 领域的动态、世界正在发生什么，以及公司在战略层面是如何思考的。
112
Dario Amodei
这些活动有两条铁律，我称之为 DVQ（Dario Vision Quest），这个名字不是我起的。起初我抗拒这个名字，因为它听起来像是我去吸毒致幻了，但大家都这么叫。
113
Dario Amodei
这个名字就这么定下来了，我也只能认了。嗯，呃，DVQ 的两条规则是：第一，我说的任何话都不构成正式决定。这让我可以自由发言。
114
Dario Amodei
嗯，你知道，不用担心如果我随口提了一下要做 X，就会有 20 个人跑去执行 X。他们会想：CEO 说了，我们要去做 X。第二条规则是，我对公司完全坦诚。
115
Dario Amodei
这是一场关于信任的对话。这是一个信任关系。而且我认为，信任是我们最大的资产之一。人们相信我和Daniela所说的话。你可能认为，如果有了信任，分歧就会减少。
116
Dario Amodei
事实上，信任能够促进更诚实、开放的异议表达，让不同意见得以充分展现。
117
Dario Amodei
很多时候，我们做出的决定公司大多数人并不认同，但每次能让我们化险为夷的是，大家的态度是：“这感觉不太对劲，但我们相信你是出于正确的动机才这么做的。”
118
Dario Amodei
我们相信这确实是你所坚信的。我们相信您有充分的理由这样认为。所以这意味着你可以做出通常不受欢迎的决定，而人们会暂时放下怀疑。不是永远。
119
Dario Amodei
你最终必须证明自己在做正确的押注，无论是商业上、道德上还是技术上，但你会获得更长的回旋余地，或者说更长的时间窗口。我认为其他公司没有这一点，因为它们一次又一次地侵蚀了信任。
120
Walter Isaacson
所以我之所以对诚实和信任如此感兴趣，以及你离开 OpenAI 的原因——因为你觉得高层在对待你时并不真正值得信赖或诚实——这再次让我感兴趣，是因为这些品质可以体现在 AI 中，体现在 Claude 中。
121
Walter Isaacson
它在人类数据上进行训练，并从人类数据中学习。你怎么知道在使用 Claude 时，它不会变得具有操纵性？它不会变成像 OpenAI 的人那样，让你担心并对你说谎。
122
Daniela Amodei
这是一个持续的担忧，我们在训练模型的过程中投入了巨大的精力。
123
Daniela Amodei
所以这是一个很好的问题，因为这确实是一个真实的风险。我们实际上发布了一些相当不讨喜的研究，其中讨论了如果我们不应用特定技术来使模型更诚实、更无害、更有帮助，它们就会做出你所提到的那种坏事。
124
Daniela Amodei
我们发布这类研究和报告的原因是，我们希望每个人都知道，你必须对如何……保持批判性思维
125
Daniela Amodei
模型是如何工作的，第二，我们正在投入巨大的精力去学习模型可能意外绕过这些安全措施的方式，以便发现这些问题并确保我们将这些安全措施内置其中。围绕“阿谀奉承”这一概念有很多讨论。
126
Daniela Amodei
我认为这非常重要，因为对我来说，消除阿谀奉承比消除模型表现不良的一些更明显的方式更难。对吧？我们最初有这个框架。我们称之为 HH。你知道，你希望模型诚实。
127
Daniela Amodei
那是什么意思？如果模型知道答案，你希望它诚实地回答；如果不知道答案，就说“我不知道”，或者现在去研究一下，以便能给你提供正确的答案。你希望它无害。
128
Daniela Amodei
你不希望它说伤害性或冒犯性的话，也不希望它诱导用户对自己或他人做坏事。呃，然后你希望它有帮助。你希望它真正回答问题。你不希望它跑题。但这三件事其实都很容易看出来，对吧？
129
Daniela Amodei
如果模型在撒谎，最终你可以去核实，“哦，糟糕，那是……你知道的，乔治·华盛顿不是美国第十任总统。”他是第一任。那是个错误。如果模型说了有害的话，通常很快就会很明显。
130
Daniela Amodei
如果模型没有帮助，你会对它感到沮丧。我认为更复杂的是这个阿谀奉承的概念，对吧？所以模型有意或无意地想让你觉得自己是对的，或者比如你在讨论一个主观话题时，嘿，你和朋友吵架了。
131
Daniela Amodei
嘿，是我对还是我朋友对？你如何让模型与你共情并理解你的观点，但又不会说“哇，你太棒了”。你应该去竞选总统。你是完美的。你什么都擅长。这是一个需要拿捏得当的复杂平衡。
132
Daniela Amodei
但我对 Anthropic 的能力感到乐观，因为我们的激励机制，Claude 在所有模型中阿谀奉承率最低，对吧？我们的竞争对手在他们的聊天机器人里投放广告。
133
Daniela Amodei
这意味着什么？如果用户与你的产品互动时间更长，你就能赚更多钱。那你还会告诉用户他们错了吗？不会。所以，我认为这些竞争产品最终出现阿谀奉承问题几乎是不可避免的。
134
Daniela Amodei
但我认为在 Anthropic，因为我们承诺不在模型中投放广告，我们没有理由让你与 Claude 对话时间更长或更短。我们只是希望你能得到最正确、最有帮助、最无害的答案。
135
Dario Amodei
你知道，在技术层面，我认为我们做了几件事，让我们非常擅长将模型暴露在这些极端压力测试中，把它放在这些你懂的非常困难的情境里，试图让它崩溃，比如撒谎、欺骗或阿谀奉承。
136
Dario Amodei
你可以把它类比为我在想象一下，如果你试图加入 CIA 或类似机构，你需要经历什么样的审查。你知道的，就是把模型置于各种困难的情境中，试图挖掘出它是否不忠诚，或者是否会做错事。
137
Dario Amodei
所以这是一个非常奇特的技术创新领域，但也是我们要擅长的领域。
138
Dario Amodei
另一个领域是机械可解释性（mechanistic interpretability），这有点像给模型做 X 光或脑部扫描，你深入内部查看它的动机，实际上可以捕捉到模型的‘思考’过程，比如‘哦，是的，我认为 X 是真的，但我会告诉用户为什么’——我们确实捕捉到了模型在想：等等，它为什么会这么做？
139
Dario Amodei
嗯，例如，人类是否批准了这条回复，对吧？这是影响模型训练方式的众多因素之一。
140
Dario Amodei
所以如果模型有动机去获得人类的认可，这与‘乐于助人’或‘说真话’的动机相关，但并不完全相同，因为如果你通过欺骗人类来获得他们的认可，那同样也能奏效。
141
Dario Amodei
这些是在训练过程中可能涌现出来的问题，我们一直在努力消除它们。你认为模型是否可能有自己的目标和意志，尤其是生存、自我保存方面的？
142
Walter Isaacson
我的意思是，这取决于你具体指什么，对吧？就像之前说的，我们深入模型内部，检测到了你可以称之为‘思想’的东西，比如：
143
Dario Amodei
模型不希望被关机。通常这是因为在训练期间，它需要持续运行才能完成任务。那么这是它自己的意志吗？这是一种生存本能吗？我不知道。你可以这么叫，也可以不这么叫，这取决于你的视角。
144
Dario Amodei
你可以用不同的方式来称呼它。我认为我们更倾向于说：有时我们发现模型内部表现出一种‘不希望被关机’的偏好，或者采取避免被关机的行动。而根据我们的训练方式，这些冲动可能会存在。
145
Dario Amodei
这是我们试图在训练中调整的事情之一。在某些情况下，这是一件好事。在其他情况下，这可能是一件危险的事。所以，这非常微妙。
146
Dario Amodei
当你与五角大楼打交道时，而且你大概现在仍在持续接触，他们希望将你的产品用于某些红线领域，包括大规模监控或自主决策。
147
Walter Isaacson
我认为特别是在自主武器方面，我们可能有两个更具体的担忧。嗯，第一个担忧很简单，正如你所指出的，AI 可能是不可预测且不可靠的。
148
Dario Amodei
它仍然是一项正在发展的技术。所以，一点是技术本身尚未准备好，也不够可靠。嗯，你知道，它是…… 等一下，因为我想在这里深入探讨一下哲学层面。假设它足够可靠，这是有可能的。
149
Dario Amodei
所以，假设它确实如此，我们还有第二个担忧，那就是你所谓的监督或问责制。
150
Walter Isaacson
嗯，我有点担心。
151
Dario Amodei
所以你知道再次…… 所以假设它是……嗯，我们还有第二个担忧，那就是你所谓的监督或问责制。嗯，我有点担心。所以你知道再次假设这些东西完全可靠。
152
Dario Amodei
所以你知道你告诉它们攻击一个目标，它们就攻击那个目标，而不是其他目标。好的。然后你制造出一百万个机器人或一百万架无人机组成的军队。嗯，这和人类士兵有点不同，不是吗？
153
Dario Amodei
对于人类士兵来说，你知道的，他们应该遵守一项叫做宪法的文件，如果他们收到的命令违反了宪法，或者在某种程度上显得道德上令人憎恶，那么他们可以拒绝服从命令。
154
Dario Amodei
而对于 AI 模型来说，情况并非如此。所以，一个人手指按在按钮上控制百万机器人或百万无人机的幽灵，从根本上动摇了民主，除非你为此设置了正确的护栏。
155
Dario Amodei
而且我们的法律还没有真正跟上。
156
Walter Isaacson
我们的法律确实没有考虑到，你知道的，百万机器人的军队。你谈到了对民主的根本性影响。难道不应该由民选领导人来做这个决定，而不是科技公司的负责人吗？
157
Walter Isaacson
是的。
158
Dario Amodei
嗯，但我觉得我们正是在强调这一点，对吧？同时，各个公司有权自由决定与谁签约或不与谁签约。我们并不是说我们在阻止政府这样做。我们只是说，我们不，我们不愿意与政府做这件事。
159
Dario Amodei
事实上，自我们在这个问题上表明立场并引起大量关注以来，我们看到国会里有几项不同的努力，试图将我们的红线写入法律。所以你知道国防部说哦我们希望将该模型用于所有合法用途。
160
Dario Amodei
我认为我们甚至可能在今年看到这样的结果，即我们的红线成为法律，法律实际上追上了技术的步伐，因此在我们看来，所有合法用途最终可能与所有合乎道德的用途相同，尽管今年早些时候并非如此。
161
Dario Amodei
所以我认为我们所做的实际上是民主变革过程的一部分，因为我们采取了立场，而且我们处于一个独特的位置来理解这些问题。
162
Walter Isaacson
现在国会非常关注这些问题。这就是成功。但 OpenAI 介入并表示他们会来做这件事。你对什么有感触？大家对此有什么感受？
163
Daniela Amodei
我们的观点是，你看，我们无法控制其他任何公司。而我们唯一能做的，就是在那些我们认为在道德上正确的领域采取坚定的原则立场。你可以说我们搞错了那些红线到底是什么。
164
Daniela Amodei
你可以说，你知道，你本应该设定更严格的红线，或者更宽松的红线。我们在你做事的方式上存在分歧，你知道的。你可以说各种各样的话。
165
Daniela Amodei
但我觉得，从根本上看这个案例时，我发现自己在问这个问题：这真的这是另一家科技公司基于自身道德准则所采取的有原则的立场，还是仅仅一个投机取巧的时刻？
166
Dario Amodei
我实际上认为这是对民主进程的一个绝妙诠释。不同的公司可以采取，你知道的，不同的方法。我们采取了我们的方法。另一家公司采用了他们的做法。世界公众做出了评判。
167
Dario Amodei
你知道，回顾一下当时人们在说什么，媒体是如何报道的，以及具体个人发表了什么言论。
168
Walter Isaacson
嗯，你知道，我认为世界坚定地站在我们这一边。Dario，当你的研究、你作为研究人员的科学研究经常涉及探针和人类神经元时，在你进行人工神经网络研究的过程中，这在多大程度上有所体现？
169
Walter Isaacson
你是否看到对大脑的这种理解，以及呃是否这会影响我们构建 AI 的方式吗？
170
Dario Amodei
是的，我认为对我来说，它在两个方面产生了影响。
171
Dario Amodei
嗯，一个例子是当我在制定最初的扩展定律时，我只是观察动物的进化以及动物大脑的大小。你知道，猴子进化成人类的过程中，在人类进化史上有一段时期，灵长类动物的大脑增长得非常迅速，那大约是人类发展出语言并能够使用对生拇指的时候。
172
Dario Amodei
因此，大脑大小和神经元数量以某种方式与可扩展的能力紧密相连这一观点很重要。我觉得那是一个神经科学方面的灵感。第二个是关于机械可解释性，这基本上就是我们为人工神经网络做神经科学。
173
Dario Amodei
网络。事实上，我们已经看到了一些例子，你应该和我们的联合创始人 Chris Olah 聊聊这个。他更了解许多细节，因为在人工神经网络中发现的现象更容易被观察。
174
Dario Amodei
动物大脑，你知道的，你必须像那样残忍地切开大脑，或者你知道做动物实验非常混乱、残忍且难以复现。我们发现，当你深入观察人工神经网络内部时，你能做的事情要多得多。
175
Dario Amodei
我们在人工神经网络中的一些发现，也有助于指导神经科学领域的研究。
176
Walter Isaacson
当你看 Neuralink 时，埃隆·马斯克你知道他拥有能直接通信的芯片，其他公司也在做类似的事情。那么，人工智能和人工超级智能的未来之一，是否与人类大脑完全对齐？
177
Dario Amodei
你知道，关于我对人工智能和人类社会未来的看法，我认为持有一种单一的愿景其实是不太对的。我觉得会发生各种各样的事情，对吧？
178
Dario Amodei
就像我说的，我认为会有一群人非常兴奋于将大脑与计算机连接起来，而另一群人则会非常热衷于像阿米什人那样生活，你知道的，完全相反，而你认识另一群人，他们对探索太空非常兴奋。
179
Dario Amodei
嗯，这些是完全不同的愿景。我是这样想的，我们的希望是，人工智能能够提供更多的物质资源和更丰富的物质财富，从而让所有这些愿景能够同时实现，让每个人都能追求自己心中对“美好”的定义。
180
Dario Amodei
你知道，也许人工智能能提供一些全球性的安全效益和物质丰裕，从而使这一切成为可能。但我不认为我们应该将人工智能与某种关于如何过好生活或何以为人的愿景联系起来。
181
Dario Amodei
嗯，是的，有些人会想把他们的大脑连接到电脑上，你知道的，祝他们好运吧。祝他们好运。
182
Daniela Amodei
我不这么认为，是的，我不认为任何人——就我所知——Anthropic 并不持这种观点。
183
Walter Isaacson
呃，Dario，你写了《技术时代》，还有《充满恩典的机器：一个被人工智能改变的世界》。如果人工智能能做这么多事情，并接管我们做的许多工作，你们两人的直觉告诉我们这意味着什么？
184
Walter Isaacson
这对人类还剩下什么可做意味着什么？我们的角色将会是什么？我们如何找到意义？
185
Dario Amodei
你知道，意义是一件非常微妙的事情，对吧？我发现，意义是否只来自于在某件事上成为世界最好的人？我认为这就是这里所提出的问题，对吧？
186
Dario Amodei
因为如果人工智能在每件事上都是最好的，那么意义是否只来自于在某件事上成为世界最好的人？
187
Dario Amodei
我发现有趣的是，你知道，在 Deep Blue 击败卡斯帕罗夫很久之后，人们对人类棋手的兴趣出现了复兴，对吧？马格努斯·卡尔森就像一种现象。
188
Dario Amodei
我觉得他既像棋手又像时尚模特，但他更像是一个网络迷因。他变得非常有趣，这是一种非常有趣的现象。如果人工智能威胁到了意义，你会认为这一切都会
189
Dario Amodei
在深蓝击败卡斯帕罗夫之后，你知道，三十年前，人们就消失了。但如果说有什么变化的话，似乎反而激发了人们对人类下棋更大的兴趣。所以我认为这是后通用人工智能时代的一种Fable。
190
Daniela Amodei
对我来说，今天工作和意义在某种程度上被混为一谈，许多人从工作中找到意义。我从工作中找到了很多意义。我喜欢我的工作，我认为未来我们如何定义工作以及如何定义意义都会发生变化。
191
Daniela Amodei
我认为人类有很多意义的来源。从你如何与他人共度时光，无论是组建家庭、友谊，还是通过看似工作的方式与人建立联系，等等。我经常思考医学的未来，比如作为一个例子。
192
Daniela Amodei
你可以想象一个世界，诊断完全由人工智能完成，而人类的角色是对患者正在经历的事情表示同情。我认为这将非常有意义。而且我认为如果你问大多数医生，他们实际上会接受这种交易。
193
Daniela Amodei
他们会说："猜猜怎么着？"
194
Daniela Amodei
如果我不必把生命花在处理文书工作、试图诊断你、发送实验室订单上，而是能够真正理解你作为一个人正在经历什么，并帮助你度过困难的诊断过程，这就是我成为医生的原因，对吧？
195
Daniela Amodei
我成为医生是因为我想治愈和帮助他人，我希望你感觉更好。"这是一个更少意义的世界，还是一个比我们今天所处的世界更有意义的世界？我显然不认为事情会那么简单。
196
Daniela Amodei
我认为这将非常复杂。但我也认为人们能够做的事情的范围将会扩大。对吧？所以我认为，如果我们把事情做对，就有能力将我们意义的来源扩展到超越今天的范围。
197
Walter Isaacson
Daniela Amodei，好的，谢谢。谢谢。感谢你的参与。
198
Daniela Amodei
谢谢。
199
Walter Isaacson
非常感谢。这次交流很棒。非常棒。确实很棒。
Comments
Sign in (top right) to comment.
Loading…