[ { "speaker": "Garry", "text": "欢迎收看《如何建设未来》的另一集。今天,我邀请到了 Anyphere 的联合创始人兼首席执行官 Michael Tru,该公司是 众所周知和喜爱的 AI 编码平台 Cursor 背后的公司。他们的估值最近达到了 90 亿美元 ,是有史以来发展最快的 初创公司之一,成立 仅 20 个月后 ARR 就达到了一亿美元。迈克尔,感谢您加入 我们。" }, { "speaker": "Michael Truell", "text": "谢谢 你 邀请 我。很 高兴 来到 这里。" }, { "speaker": "Garry", "text": "您说过,cursor 的目标 实际上是发明一种新型的 编程方式,您只需 描述您想要的内容,它就会被 构建出来。跟我 谈谈这个。" }, { "speaker": "Michael Truell", "text": "是的, 公司的目标是 用 更好的东西取代编码。我和我的三位联合创始人 都已经做了很长时间的程序员。最重要的是,这就是我们。编码吸引我们的地方在于, 我们可以非常 快速地构建事物。做一些 简单易描述的事情。编码需要 编辑数百万行 深奥的正式编程 语言,需要做 大量的劳动才能让 简单描述的东西出现在屏幕上。我们认为, 在未来 5 到 10 年内,将有 可能发明一种新方法来构建 更高级别、更 高效的软件,而这仍然取决于 定义您希望软件如何 工作以及您希望软件如何 呈现。因此,我们对Cursor的目标就是 实现这一点,而且我们实现这一目标的途径是, 在任何给定的 时间点始终采用最佳方式来使用 AI 进行编码,然后将该过程 从正常的 编程发展为看起来非常 不同 的 东西。所以 有些 人 会 说 这 就是我们今天所拥有的。你只需 描述你想要什么,它就会出现。" }, { "speaker": "Garry", "text": "对此你有何看法。我们到了吗。您知道到达 您真正想去的地方 需要哪些步骤吗。" }, { "speaker": "Michael Truell", "text": "我们 看到了事情真正 发生变化的最初迹象。嗯,我认为你们 可能在 YC 中处于领先地位, 因为我认为在较小的代码 库中,由较小的团队 开发软件,这是 您能感受到最大变化的地方, 我们已经看到人们 超越代码,达到更高的 抽象层次,并要求 本质上的代理和 AIS 在专业领域为他们做出所有的改变。我认为 还有很长的路要走。我认为, 那种氛围编码或 不真正看 代码、不理解代码的编码的整个想法 实际上是行不通的。存在许多 n 阶 效应。你知道,如果你要处理 数百万行代码,并且有 数十或数百人 多年来致力于某项工作,那么 现在,你真的无法 避免思考代码。我们的 主要重点是帮助专业 程序员帮助那些以编写 软件为生的人。在这些 环境中,人们越来越多地 使用人工智能来编码。您知道,平均而言, 我们看到人们使用 人工智能编写了 Cursor内生成的代码行的 40% 到 50%。但它 仍然是一个读取 人工智能产生的所有内容的过程。因此, 对于我们产品而言,要跨越的一个重要鸿沟是, 我们将不再是一个 生产力工具,不再是一个帮助你 查看、阅读、编写、理解代码的工具,而是一个 工件发生变化的地方,我 认为对于专业开发人员来说, 还有很长的 路要走。" }, { "speaker": "Garry", "text": "在 你的脑海里,你是否认为它就像 不同的层级,显然 初创公司都是从零行 代码开始的,所以这很容易。您现在追踪到的某个点是否 就是您知道 氛围编码停止工作的时刻, 那时事情就开始变得真实了。如果您要让 代码保留很长时间,我们绝对不推荐使用氛围编码风格。" }, { "speaker": "Michael Truell", "text": "我认为, 当 你是一家由两三个人或四人组成的 初创公司时,软件开发的一个特点是,你到处奔波, 试图弄清楚你在 做什么,而代码通常只会 存在几个星期。现在我们正 处于这个阶段,人工智能就像是 你的助手,对吗。因此,这 有点像 人们使用人工智能编码的主要方式,他们 要么将任务委托给人工智能, 要么说,“去为我做这件事。去为我回答这个问题。” 或者 他们有一个人工智能在他们 身后监视并时不时地接管键盘。这是一种 水龙头形状。我认为, 未来 6 个月到一年内,游戏将使这 两者都变得 更加有用。当 你在旁边看着别人的工作时 ,编码有时是可以预测的,你知道,他们接下来的 10、15、20 分钟的工作。嗯,因此 标签形状可以走得很远。然后,委托 给另一个人的代理形式因素也可以发挥很大的作用" }, { "speaker": "Garry", "text": "对于我们来说,最终目标是 用更好的东西取代编码。我 认为,未来十年, 你的建设能力将得到 极大提升。如果您不断 比其他人更快地突破边界,您 将获得巨大的收益。创办一家公司很难,所以 你不妨从事 你真正感兴趣的事情。是的,我们开始研究 代码的未来。" }, { "speaker": "Garry", "text": "然后我认为,一旦这些开始 成熟,你知道对于 25% 到 30% 的 专业发展来说,你可以 完全依靠它们, 而不需要真正地去观察事物。" }, { "speaker": "Garry", "text": "然后 你还需要弄清楚如何 在现实世界中实现这一目标。" }, { "speaker": "Garry", "text": "您可以查看 LMS 的一种方式是,在他们看来,您 就像人类一样与他们交互,就像一个 助手。" }, { "speaker": "Garry", "text": "嗯,您可以从另一个角度 看待 LMS,即它们是一种先进的 编译器或解释器技术。" }, { "speaker": "Garry", "text": "如果我们 是一种工具,可以帮助人类将 头脑中的想法转化为屏幕上的某种东西, 让人们能够控制 最精细的细节,那么这将总是有帮助的。" }, { "speaker": "Michael Truell", "text": "正确的。" }, { "speaker": "Garry", "text": "这是 我们面临的产品挑战之一, 即您应该始终能够将 某些东西移动几个像素。" }, { "speaker": "Garry", "text": "您 应该始终能够编辑有关 逻辑的一些非常具体的内容。" }, { "speaker": "Garry", "text": "我认为 一个有用的 UI 总是要有的,那就是 写下软件的逻辑, 嗯,你可以指向 逻辑的各个部分并 实际编辑它们。" }, { "speaker": "Garry", "text": "但是如果我们 到达一个你不必 过多关注代码的地方,你就会 知道软件逻辑的书面版本 将不得不 达到更高的水平。" }, { "speaker": "Michael Truell", "text": "是的,我们很 高兴,你知道,在 代理开始工作之后,在 标签形式变得非常成熟之后,人工智能 实际上会发展出什么, 编写和查看编程 语言意味着什么。" }, { "speaker": "Michael Truell", "text": "这是上下文窗口的事情吗。" }, { "speaker": "Michael Truell", "text": "您知道,这在某种程度上是有道理的 ,一旦超过大约一百万 到两百万个令牌, 我觉得即使在过去的 100 天内,我们才获得了 可用的 200 万个令牌长度。" }, { "speaker": "Michael Truell", "text": "这 自然就是当 你的代码库达到一定规模时, 你必须使用 rag,因为它具有 不完整的上下文,然后它就 无法完成人类编码员可以做的事情。" }, { "speaker": "Michael Truell", "text": "是的,我认为 代理达到人类水平存在很多瓶颈。" }, { "speaker": "Michael Truell", "text": "我认为,一方面是上下文窗口方面的问题,这 肯定是一个问题, 如果你有 1000 万行 代码,也就是 1 亿个 标记,那么既要有一个 可以实际摄取这些代码的模型,又要让它具有 成本效益,不仅要有一个 可以物理地将其摄取 到权重中的模型,还要有一个 实际上能有效关注 上下文窗口的模型,这是很棘手的,我 认为这是该 领域需要努力解决的问题,它 不仅仅是一个基于代码的问题,它也是 一个持续学习的问题,你 知道,要了解组织的背景 和 过去尝试过的事情,以及你的 同事是谁,而这个问题就是让 一个模型真正 不断地学习一些 东西,我认为这个领域仍然 没有一个很好的解决方案,就像人们 一直怀疑 它会是这样的,或者很多人 怀疑你只需让上下文 窗口无限大,最终就能 解决问题。" }, { "speaker": "Michael Truell", "text": "我认为,对于训练这些模型的机构来说,有大量 非常好的长期背景数据 可用, 所以我认为 这会很棘手,但持续 学习和长期背景绝对是 成为超人的瓶颈。" }, { "speaker": "Michael Truell", "text": "这 有点相关,但能够在 很长的时间范围内完成任务并 继续取得进展。" }, { "speaker": "Michael Truell", "text": "在互联网上,有一张 令人惊叹的图表,显示了过去一两年内 人工智能在某项任务上取得进展的最长时间。" }, { "speaker": "Michael Truell", "text": "而且它已经从几秒钟增加到 我认为我不知道 这些数字是如何得到的细节, 但我认为有人声称一些 最新型号需要一个小时。" }, { "speaker": "Michael Truell", "text": "然后,不同模式就会出现问题。" }, { "speaker": "Michael Truell", "text": "因此,要成为一名软件 工程师,您需要运行 代码,然后处理输出。" }, { "speaker": "Michael Truell", "text": "如果你不这样做,你就会变得超人了。" }, { "speaker": "Michael Truell", "text": "那太疯狂了。" }, { "speaker": "Michael Truell", "text": "但计算机的 使用 对于代码的未来来说将非常重要。" }, { "speaker": "Michael Truell", "text": "能够运行代码,能够查看 数据狗日志并与 人类使用的工具进行交互。" }, { "speaker": "Michael Truell", "text": "在让编码代理成为超人的任务中, 我们将不得不面对许多已知的魔鬼, 然后 我们将不得不面对许多未知的魔鬼。" }, { "speaker": "Michael Truell", "text": "然后你知道有一件事 我要指出,回想一下上一个 回应,那就是即使你有一个 可以与之交谈的东西,它的 编码水平与人类相当,或者 比人类编码更快更好,你 知道整个 工程部门的技能,我认为 只有文本框要求 更改软件的 UI 是不精确的, 所以即使在极限情况下,如果你关心 人类能够控制 屏幕上显示的内容,你也需要一种 不同的方式让他们进行交互, 所以一个潜在的 UI 是 编程语言的演变,它是 更高层次的东西,另一个 可能是直接操作 UI, 对吗。" }, { "speaker": "Michael Truell", "text": "能够指着屏幕上的东西 说,“哦,改变这个。” 或者实际上你自己对价值观有点挑剔。" }, { "speaker": "Garry", "text": "是的。" }, { "speaker": "Michael Truell", "text": "我的意思是,这 看起来就像是一堆 即将发生的事,对吧。" }, { "speaker": "Michael Truell", "text": "比如说,模特们似乎 对美学没有非常清晰的认识。" }, { "speaker": "Michael Truell", "text": "因此,也许 这个人类关卡设计师实际上需要能够真正地 看到。" }, { "speaker": "Garry", "text": "是的。" }, { "speaker": "Michael Truell", "text": "看到他们 在美学方面的进步很有趣。" }, { "speaker": "Michael Truell", "text": "我认为这实际上是一个 有趣的具体例子,说明 我们如何解决这些持续 学习问题。" }, { "speaker": "Michael Truell", "text": "但我们的理解 是,你知道教这些 模型在诸如美学等方面表现更好的方式与教 人类的方式不同。" }, { "speaker": "Michael Truell", "text": "你知道,这基本上是通过 收集大量数据来对它们进行 RL 的。" }, { "speaker": "Garry", "text": "嗯,这就像你 在那项任务中教的那样。" }, { "speaker": "Michael Truell", "text": "这是一项有 足够多的人关心的任务,你 可以支付费用来完成所有这些任务, 你可以去训练它 并将其融入到基础模型中。" }, { "speaker": "Michael Truell", "text": "嗯,这是解决 持续学习问题的一种 方法。" }, { "speaker": "Michael Truell", "text": "那么,考虑到 每个人都在 为之努力的未来,而您无疑是这个 未来中的领导者, 您认为什么是 不可替代的,或者什么是 未来软件工程师必不可少 的部分。" }, { "speaker": "Garry", "text": "我们认为,有 一件事是不可替代的,那就是 味道。" }, { "speaker": "Garry", "text": "那么,只需定义您 真正想要构建什么。" }, { "speaker": "Garry", "text": "当人们考虑 软件的视觉方面时,他们通常会想到这一点。" }, { "speaker": "Garry", "text": "我 认为软件的 非视觉方面也包含 关于逻辑如何运作的品味成分。" }, { "speaker": "Garry", "text": "现在,编程行为在 某种程度上将你捆绑在一起,让你弄清楚 你到底想让东西如何工作, 比如你真正定义的产品, 你正在编写的逻辑,以及 如何将其映射 到物理计算机上的实现细节的高级品味。" }, { "speaker": "Garry", "text": "但是 现在很多编程都是一种 人工编译,你 只知道自己想要什么。" }, { "speaker": "Garry", "text": "你可以告诉另一个 人,但你真的必须把它拼写 出来给计算机,因为 你用来 向计算机描述事物的语言是用于 正常编程的,你知道 for 循环和 if 语句和变量 和方法,你真的必须把 它拼写出来" }, { "speaker": "Michael Truell", "text": "因此我认为,越来越多的人工编译步骤将会消失,计算机将能够填补空白,补充细节。但是,由于我们是一种工具,可以帮助您实现目标,帮助您构建事物,因此,对于您想要构建的东西真正有用的东西的品味,我认为永远不会消失。" }, { "speaker": "Michael Truell", "text": "这很 有道理。" }, { "speaker": "Michael Truell", "text": "我记得有这样一句话,好人会帮助你到达这个酒吧,但真正伟大、真正精湛的人,他们会到达一个你甚至看不到的酒吧。" }, { "speaker": "Garry", "text": "是的。" }, { "speaker": "Michael Truell", "text": "所以,这需要品味。" }, { "speaker": "Michael Truell", "text": "您曾说过,人们需要成为逻辑设计师。" }, { "speaker": "Michael Truell", "text": "您知道,这对于意图驱动编程来说意味着什么吗。随着这项技术越来越成熟,随着我们越来越接近一个编程可以自动化并可以用更好的软件构建方式取代的世界,我认为这会产生很多影响。" }, { "speaker": "Michael Truell", "text": "我认为其中一点是,专业开发人员的生产力将大幅提高。" }, { "speaker": "Garry", "text": "千人软件项目进展太慢了,真是令人难以置信。" }, { "speaker": "Michael Truell", "text": "是的。" }, { "speaker": "Garry", "text": "并且100人软件项目移动和真正的专业软件项目移动。" }, { "speaker": "Michael Truell", "text": "嗯,这很大程度上取决于现有逻辑的重要性。" }, { "speaker": "Michael Truell", "text": "只是想让你发挥出最好的水平。" }, { "speaker": "Michael Truell", "text": "当您进入新的代码库时,您可以从头开始。" }, { "speaker": "Michael Truell", "text": "你可以非常快速地完成事情。" }, { "speaker": "Michael Truell", "text": "当你改变某些东西时,并不会破坏其他需要你修复的东西。" }, { "speaker": "Michael Truell", "text": "我认为它的影响之一是,你知道下一个分布式训练框架或下一个数据库或下一个可视化设计工具将以更快的速度构建下一个人工智能模型,如果你与实验室交谈,你会发现他们的工程能力存在瓶颈,我认为所有这些都将得到很大的改善。" }, { "speaker": "Michael Truell", "text": "我认为你知道二阶效应二将会存在更多的利基软件。" }, { "speaker": "Michael Truell", "text": "我的第一份工作实际上是在一家生物科技公司工作。" }, { "speaker": "Garry", "text": "嗯,这是一家由湿实验室科学家组成的公司。" }, { "speaker": "Michael Truell", "text": "他们正在研制药物来治愈疾病。" }, { "speaker": "Michael Truell", "text": "我是第一个被雇佣的软件工程师,他们生产大量的化学物质,然后对它们进行生物实验,然后他们需要读数来确定需要进一步研究哪些化学物质。" }, { "speaker": "Michael Truell", "text": "他们需要大量的内部软件开发才能实现这一目标。" }, { "speaker": "Michael Truell", "text": "令人惊讶的是,现有的现成工具有多么糟糕,然后想想也太疯狂了,这家公司的核心竞争力并不是软件,它必须出去做这件疯狂费力的事情,雇佣一个真正的软件工程团队,对他们进行培训,让他们进行内部产品开发,对于像那样的公司来说,他们会有更多的选择。" }, { "speaker": "Michael Truell", "text": "数字空间的物理学已经非常伟大了,但我认为,在未来它还会更上一层楼。" }, { "speaker": "Michael Truell", "text": "您希望在计算机上发生的事情就能够实现了。" }, { "speaker": "Michael Truell", "text": "换个话题,就像我想听听关于Cursor早期的情况一样。" }, { "speaker": "Michael Truell", "text": "您在麻省理工学院遇到了您的联合创始人Swale、Arvid和Aman,这家公司于2022年成立。" }, { "speaker": "Michael Truell", "text": "是什么吸引你们走到一起的。" }, { "speaker": "Michael Truell", "text": "您是什么时候意识到这是一个可以共同创造真正雄心勃勃的目标的团队。" }, { "speaker": "Garry", "text": "我认为我们有很多年轻天真。" }, { "speaker": "Garry", "text": "我认为当时可能不合理。" }, { "speaker": "Garry", "text": "所以从一开始我们就非常有雄心。" }, { "speaker": "Garry", "text": "Cursor实际上源于我们四个人的一个雄心勃勃的想法练习。" }, { "speaker": "Garry", "text": "你知道,我们都发现编程相当年轻,然后我们的一些第一个工程项目实际上与人工智能有关。" }, { "speaker": "Garry", "text": "所以我们中的一个人致力于提高机器人强化学习的数据效率。" }, { "speaker": "Garry", "text": "因此可以非常快速地教会机器人学习新任务。" }, { "speaker": "Garry", "text": "这是我们早期的人工智能项目之一。" }, { "speaker": "Garry", "text": "你知道,我们中的另一个人实际上致力于构建一个与谷歌竞争的产品,使用神经网络,试图快速构建一个令人惊叹的网络搜索引擎。" }, { "speaker": "Garry", "text": "嗯,你知道,其他人人工智能领域做了学术工作。" }, { "speaker": "Garry", "text": "但在2021年有两个时刻让我们对建立一家专注于人工智能的公司感到非常兴奋。" }, { "speaker": "Garry", "text": "其中之一是使用第一个有用的人工智能产品,其中人工智能真正处于核心地位,而GitHub copilot确实让我们本能地感觉到,现在有可能用人工智能做出真正有用的东西,我们不应该去实验室里研究学术实验室里的这些东西。" }, { "speaker": "Garry", "text": "相反,现在是时候让这些东西进入现实世界了。" }, { "speaker": "Garry", "text": "另一件让我们真正兴奋的事情是看到来自OpenAI和其他地方的研究表明,存在这些非常可预测的自然规律,如果你扩大数据规模并扩大这些模型中的计算规模,它们就会变得更好。" }, { "speaker": "Garry", "text": "嗯,这意味着,即使我们没有办法让人工智能变得更好,我们仍然有机会实现几个数量级的进步。" }, { "speaker": "Garry", "text": "从一开始,我们就想选择一个知识工作领域,然后随着人工智能变得更加成熟,研究该知识工作会变成什么样" }, { "speaker": "Michael Truell", "text": "我们 对公司的形式非常感兴趣,在公司中 你可以为 知识工作领域构建产品,因为这 可以让你做一些事情" }, { "speaker": "Garry", "text": "首先,随着 底层技术变得越来越成熟, 你就可以改进 这个东西的外形" }, { "speaker": "Michael Truell", "text": "然后,即使在 那时,很明显你可能 需要的不仅仅是扩大 语言模型的规模,你知道, 扩大到 GPDN" }, { "speaker": "Garry", "text": "继续 推进 底层机器学习进步的一种方法是 获取产品数据,了解 人们喜欢什么建议、 不喜欢什么建议,了解 人类工作的哪些难点是人工智能 仍然无法真正访问的,然后 你就可以在知识工作发生的玻璃窗格之后得到这些信息, 所以 最初我们着手为一个 我们 实际上不太了解的知识工作领域做这件事,那就是 机械工程,我们为计算机设计做了 副驾驶, 所以我们在训练 3D 自动完成模型" }, { "speaker": "Michael Truell", "text": "因此,可以帮助那些 在 Solid Works 或 Fusion 360 等软件中构建零件的 3D 建模者,并尝试 预测 他们将要对几何图形进行的下一步更改" }, { "speaker": "Garry", "text": "这是一个有趣的问题" }, { "speaker": "Michael Truell", "text": "这是 学术界一直致力于研究的问题" }, { "speaker": "Garry", "text": "事实上,Deep Minds 也对此进行了 一些研究" }, { "speaker": "Michael Truell", "text": "而且 这些本身并不是大型 语言模型" }, { "speaker": "Garry", "text": "您可以 完全以 3D 方式完成它,或者您可以做的是,呃, 我们研究了一段时间的一个线程,将其 转变为一个语言问题, 您可以采取某人 在 CAD 系统中执行的步骤,然后将 其转变为方法调用" }, { "speaker": "Michael Truell", "text": "因此,如果他们 画了一个圆圈,你就把它变成了一个方法 调用,它就像一个 方法调用列表" }, { "speaker": "Garry", "text": "这实际上并不是 编程,但看起来有点像" }, { "speaker": "Michael Truell", "text": "呃,问题是,如果你 要完全基于文本来完成这项工作, 你就要求模型做一些 非常棘手的事情" }, { "speaker": "Garry", "text": "不仅预测 用户下一步要做什么,而且还可以在 脑海中模拟几何形状, 因为 CAD 内核就像 这些 CAD 应用程序的底层软件一样,它们 相当复杂,而且仅从 用户采取的一系列操作来看, 很难想象 最终的结果是什么样子" }, { "speaker": "Michael Truell", "text": "这非常棘手" }, { "speaker": "Garry", "text": "但我们对此做了 一些努力" }, { "speaker": "Michael Truell", "text": "呃,我们有大量的 数据工作要做,大量的数据 抓取工作需要 在开放的互联网上找到猫的数据" }, { "speaker": "Garry", "text": "我们需要 做到这一点,以使模型变得 越来越好" }, { "speaker": "Michael Truell", "text": "然后我们把它放在一边, 这是出于几个原因" }, { "speaker": "Garry", "text": "一是我们 对机械工程的兴趣确实不如 对编码的兴趣那么大" }, { "speaker": "Michael Truell", "text": "我们都是程序员" }, { "speaker": "Garry", "text": "另一个原因是我认为 当时的科学还没有为 3D 做好准备" }, { "speaker": "Michael Truell", "text": "就像 预先训练的模型 在这方面并不是那么好" }, { "speaker": "Garry", "text": "没有太多数据" }, { "speaker": "Michael Truell", "text": "互联网上的 CAD 模型数据比代码少几个数量级" }, { "speaker": "Garry", "text": "嗯, 所以很难建立一个有用的模型, 或者当时很难 为该领域建立一个有用的模型" }, { "speaker": "Michael Truell", "text": "您 最后是不是要和那些我不认识 使用 CAD 的人或机械师之 类的人坐在一起" }, { "speaker": "Garry", "text": "因此我们做了大量 的用户访谈,我认为我们可以 做得更好" }, { "speaker": "Michael Truell", "text": "我认为, 在年轻天真的时候, 我们每天都在按小时、周复一周地执行 计算任务" }, { "speaker": "Garry", "text": "回顾我们花在那件事上的时间, 我认为最好一 开始就去一家 雇用机械 工程师的公司工作三周" }, { "speaker": "Michael Truell", "text": "只是去 卧底 , 更 好 地 了解 就 像 刚刚 获得一份 征兵工作 一样,我认为这 将是非常有价值的" }, { "speaker": "Garry", "text": "嗯,用 数百次用户访谈 来代替它" }, { "speaker": "Michael Truell", "text": "我 想除此之外,你还开始 训练自己的模型来 实现这一点,你知道, 使用 RL 是非常有用的, 同时你还学习如何启动 大型集群来实际训练 这些模型" }, { "speaker": "Garry", "text": "是 的" }, { "speaker": "Michael Truell", "text": "所以在那种 错误的开始时期,我们当时并不知道, 但是 我们在那里做的一些事情最终 对我们有用" }, { "speaker": "Garry", "text": "它做了很多你 知道的行为克隆,较少的 RL,但 你正在寻找 人类所做的事情的良好例子,然后 训练人工智能去做这些事情" }, { "speaker": "Michael Truell", "text": "但是, 训练 数百亿个 参数的大型语言模型并不是 当时很多人都在做的事情" }, { "speaker": "Garry", "text": "尽管 我们当时正在研究的产品和模型的最终产品 并不是那么有用,但它 是一次大规模训练模型的很好的试运行, 而且你知道,还可以 进行大规模推理" }, { "speaker": "Michael Truell", "text": "老实说,当时和现在都 没有那么多人训练 100 亿以上参数规模的大型 语言模型和机器学习 模型" }, { "speaker": "Garry", "text": "因此, 基础设施的状态非常早期, 我们正在做一些事情,比如分叉 Megatron LM 或 Microsoft Deep Speed,并 拆除内部结构, 然后将其部署用于 训练" }, { "speaker": "Michael Truell", "text": "即使在推理方面,在 那段时期我们也 大规模地开展了一些工作" }, { "speaker": "Garry", "text": "现在,在 Cursor 中,我们 每天根据自己的推理进行超过 5 亿次模型调用, 您知道 当时进行推理和训练的一些经验 对于 Cursor 体验来说绝对是非常有用的" }, { "speaker": "Michael Truell", "text": "因此 , 我认为非常勇敢但也 非常有先见之明的一件事就是花点时间 说,实际上我们 对 CAD 了解不够,我们需要做些 其他事情" }, { "speaker": "Garry", "text": "这是不是直接 来自 CAD 训练 CAD 模型的,你知道,有点认识到 缩放定律是成立的,这里 有一个我们可以深入的领域, 然后你意识到我们实际上 需要做些别的事情" }, { "speaker": "Michael Truell", "text": "就像 它实际上转向了什么,你知道, 它现在是什么样子 的" }, { "speaker": "Garry", "text": "这不是一条 直线" }, { "speaker": "Michael Truell", "text": "嗯,我的意思是我们 自己都是程序员,并受到像 copilot 这样的产品以及像 早期法典文件这样的文件的启发" }, { "speaker": "Garry", "text": "我记得 当时我们 向投资者证明他们应该 投资我们的疯狂猫创意,我们 粗略计算了 第一个编码模型的 训练成本" }, { "speaker": "Michael Truell", "text": "在我的记忆中, 按照我们的计算,它只花费了大约 9 万或 10 万" }, { "speaker": "Garry", "text": "这确实让 当时的投资者感到惊讶,并且在 某种程度上帮助我们获得了足够的 资金来实施 CAD 理念,即 你必须立即开始培训" }, { "speaker": "Garry", "text": "所以我们一直都了解编码。我们 对此一直很兴奋。我们一直 对人工智能将如何 改变编码感到兴奋。我们 对进入该领域并开展工作有一点担心, 因为已经有很多 人在做这件事了。" }, { "speaker": "Garry", "text": "嗯,呃,我们 认为 Copilot 非常棒,而且你知道 当时也有几十家其他公司在研究它。" }, { "speaker": "Garry", "text": "当我们 决定放弃 CAD 时,这是一个 有点独立的想法,因为它 是一种科学,并没有真正 发挥作用,我们 对这个领域并不真正感兴趣。" }, { "speaker": "Garry", "text": "吸引 我们重新开始编码的是我们的个人 兴趣。" }, { "speaker": "Garry", "text": "当我们 看到其他人在 9 个 月或更长时间内取得的进步时,我们才有信心继续下去。" }, { "speaker": "Garry", "text": "感觉它 比本来应该的速度慢了一点。" }, { "speaker": "Garry", "text": "然后 坐下来思考,如果我们 真的坚持我们的信念,那么 5 年后,所有的编码都将 流经这些模型,而主动 编程将完全改变, 你需要在产品层面 和模型层面上实现所有这些飞跃才能达到目标,而 上限是如此之高,而且 看起来 该领域的现有参与者并没有瞄准 完全不同的 编码类型。" }, { "speaker": "Garry", "text": "看起来他们并没有那么大的 野心,但他们确实已经做好了 实现这一目标的准备。" }, { "speaker": "Garry", "text": "第一次的 经历告诉我们,创办一家 公司很难,所以你不妨 从事你真正 感兴趣的事情。" }, { "speaker": "Garry", "text": "是的,我们开始 研究编码的 未来。" }, { "speaker": "Garry", "text": "这 听起来特别有先见之明, 大约一年前,萨姆·阿尔曼 (Sam Alman) 坐在这把椅子上 ,谈到如果你打赌 模型不会变得更聪明, 那就糟糕了。" }, { "speaker": "Garry", "text": "你应该总是打赌 模型会变得更加 智能,你知道 12、18、24 个月 后,这一点只会越来越 真实,然后听起来你在那句话 被说出之前整整 12 个月就 已经在打赌了。" }, { "speaker": "Garry", "text": "是的,我们 当时有一句话,叫做“沿着这 条线 走 ”, 你 想 一直 沿着这条线走,并计划好 这条线在哪里。" }, { "speaker": "Garry", "text": "我的意思是, 回想一下规模 损失,你知道这些事情 只会变得越来越 好。" }, { "speaker": "Garry", "text": "经典的彼得·蒂尔 主义是,呃,你相信什么,而 别人都不相信,呃,你相信 这一点,而且你是如此正确,以至于这 让你能够真正到达 冰球将要到达的 地方。" }, { "speaker": "Garry", "text": "是的, 我认为这是一件 很有帮助的事情,而且现在显然它 变得更加流行了。" }, { "speaker": "Garry", "text": "但在 当时,你知道,2022 年是一个疯狂的 关键一年,从 年初开始,没有人真正 谈论人工智能。" }, { "speaker": "Garry", "text": "我的意思是,GBD3 是 前一年发生的。副驾驶发生了 事故。Copilot 于 2021 年进行 Beta 测试,然后 可能是 2022 年 GA,然后它开始 回升,你知道我们仍然 记得所有发布的 指令 GBT,这使得 GP3 变得 更好一些。" }, { "speaker": "Garry", "text": "这是根据说明进行的微调, 然后是夏天的达利。" }, { "speaker": "Garry", "text": "我记得那是一种 发自内心的时刻,它让很多 不关注这个空间的人开始 更加关注它。" }, { "speaker": "Garry", "text": "但是后来出现了掌上电脑和稳定 扩散,然后你开始得到 RHF, 你开始得到 3.5,并且这些 模型变得更好,而 训练成本没有大幅增加,这是 一个有趣的发展。" }, { "speaker": "Garry", "text": "听说有 传言说,从 GPD3 开始,你 知道它已经存在了一段时间, 你知道它给一些人留下了深刻的印象,但 肯定不是突破的时刻, chachbt 对 chache BT 来说就像是 培训成本增加 了 1%。" }, { "speaker": "Garry", "text": "我的 天 啊。" }, { "speaker": "Garry", "text": "您 从 RHF 指令的微调中了解到,您还了解一些其他 细节。" }, { "speaker": "Garry", "text": "您是否还记得, 您做出了一些特定的功能或产品选择,因为 您知道模型 不仅会变得更 智能一点,而且会变得更加智能,从而 改变特定的产品或路线图, 最终让 您获胜,因为您提到过,我的意思是, 肯定还有十几家其他 非常优秀的公司 也在这个领域。" }, { "speaker": "Garry", "text": "因此, 我们早期做出的一个 不太明显的产品决策是,出于 对更 激进的未来感到兴奋,我们不开发 扩展程序,而是开发编辑器。" }, { "speaker": "Garry", "text": "当时人们还不清楚这一点。" }, { "speaker": "Garry", "text": "是的,这是从这样的 观点出发的:所有编程都 将通过这些模型进行。" }, { "speaker": "Garry", "text": "未来它将会变得非常不同。" }, { "speaker": "Garry", "text": "您将需要一个控制 UI。" }, { "speaker": "Garry", "text": "它也来自 我们所知道的有趣的轶事。" }, { "speaker": "Garry", "text": "因此,我们知道我们对 构建 GitHub copilot 的内部情况有所了解。" }, { "speaker": "Michael Truell", "text": "据我所知,第一个版本是 整个 GitHub 副驾驶的故事,而且我 没有第一手资料,所以 其中一些细节可能是错误的,这 很有趣,它从 一个解决方案开始,寻找一个问题的 地方,对采用 GB3 并使其对程序员有用感兴趣, 我认为这来自领导层, 来自当时 GitHub 的首席执行官, 他说我们需要这样做, 他派了一支老虎队 去弄清楚当时是 马特·弗里德曼,是 的,我的理解 是来自马特,我认为他们花了 将近一年的时间在沙漠中徘徊, 尝试不同的产品 创意,当然,这些 人对 人工智能的未来感到非常兴奋。" }, { "speaker": "Michael Truell", "text": "他们立即想到, 我们能否在 时间到来之前或之后稍微自动化 PR 的意图,他们对此 进行了一段时间的研究,然后 认为这是不可能的,他们 尝试了所有其他古怪的产品 想法,直到他们偶然发现了 自动完成这个简单的东西。" }, { "speaker": "Michael Truell", "text": "但即使 他们让自动完成功能正常工作后,他们仍然 需要在编辑器级别进行更改。" }, { "speaker": "Michael Truell", "text": "他们无法将其完全作为 扩展来完成。" }, { "speaker": "Michael Truell", "text": "他们必须去改变 主线 VS Code 中的内容并 公开不同的编辑器 API,甚至 只是显示那个幽灵文本。" }, { "speaker": "Michael Truell", "text": "然后, 据我所知,有些事情从 组织上来说实际上有点难以做到。" }, { "speaker": "Michael Truell", "text": "如果您 需要更改编辑器以实现 像 ghostex 自动完成这样简单的功能,我们 知道我们必须做 很多事情。" }, { "speaker": "Michael Truell", "text": "所以这并不明显,我们 因此受到了很多批评。" }, { "speaker": "Michael Truell", "text": "实际上,我们最初是从头开始构建 我们自己的编辑器的。" }, { "speaker": "Michael Truell", "text": "显然 使用了大量开源技术, 但不是基于 VS Code,有点像浏览器 基于 Chromium。" }, { "speaker": "Michael Truell", "text": "这有点像 从头开始构建浏览器的所有内部渲染。" }, { "speaker": "Michael Truell", "text": "我们以此为基础进行启动, 然后我们切换到 基于 VS 代码,但是编辑器的事情 并不明显。" }, { "speaker": "Michael Truell", "text": "因此,您做出的 一系列决定最终都被证明是 正确的" }, { "speaker": "Garry", "text": "你什么时候知道它会起作用。" }, { "speaker": "Garry", "text": "这花了一点时间。" }, { "speaker": "Garry", "text": "如果您还记得的话,最初的一年大约是在荒野中度过的,您知道,我们正在研究某种东西,它是Cursor和机械工程方面的前身。" }, { "speaker": "Garry", "text": "嗯,你知道,在我们向公众发布第一个版本之前,curser 有一个相当短的初始开发期。" }, { "speaker": "Garry", "text": "我认为它是从代码行到第一个公开测试版的。" }, { "speaker": "Garry", "text": "那是3个月前,但随后我们又在一年的时间里以非常小的规模在公共场合进行迭代,而我们并没有看到任何曙光。" }, { "speaker": "Garry", "text": "嗯,它在增长,但你知道数字很小。" }, { "speaker": "Garry", "text": "此时,拨通产品的电话可能需要一年的时间来确保所有细节正确。" }, { "speaker": "Garry", "text": "然后,只有在Cursor推出后的最初9个月到一年的时间里,团队才开始致力于底层产品建设,而不仅仅是产品方面,而且还开始获得Cursor背后的定制模型的第一个版本,你知道,Cursor下面的事情开始顺利,然后呃增长开始回升,是的,从那时起,呃,你知道,我们就像被老虎抓住了尾巴,如果我们想要成功,那么未来有很多事情我们需要继续执行。" }, { "speaker": "Michael Truell", "text": "我认为我们以及平行领域的许多其他公司面临的挑战之一就是我们需要以非常快的速度建立公司,我认为经验法则是员工人数增长不能超过50%,或者必须打破年同比铁律,我觉得有趣的是,有没有像真正的北方指标或你和你的联合创始人正在监控的东西来弄清楚这是否有效,你知道周环比保留率或打开率,或者这对你在特定一周的工作有何影响。" }, { "speaker": "Garry", "text": "因此,我们研究了所有正常的事情,例如保留。" }, { "speaker": "Garry", "text": "对于我们来说,我们关注的主要活动指标,或者说,我们关注的主要顶线指标是收入,我们关注付费高级用户,衡量标准是您是否每周七天、每周四五天使用人工智能。" }, { "speaker": "Garry", "text": "这就是我们试图达到的数字。" }, { "speaker": "Michael Truell", "text": "为什么要付款。" }, { "speaker": "Garry", "text": "嗯,我认为我们是为专业人士服务的工具。" }, { "speaker": "Garry", "text": "而且我还认为,交付该工具需要实际成本。" }, { "speaker": "Garry", "text": "因此,我们关心您是否能够晋升到那个付费级别。" }, { "speaker": "Garry", "text": "这就是事物可持续发展的地方。" }, { "speaker": "Garry", "text": "付费高级用户。" }, { "speaker": "Garry", "text": "你知道,这就是我们所知道的,它不是DAU、MAU或诸如此类的东西。" }, { "speaker": "Garry", "text": "您是否每天都在工作中使用它。" }, { "speaker": "Garry", "text": "这就是我们努力想要实现的目标。" }, { "speaker": "Garry", "text": "然后,一旦这是衡量标准,我想您是否会从那里开始反向工作。" }, { "speaker": "Garry", "text": "就像,我们知道我们想要发展哪一部分人,那么他们想要什么,或者什么会阻止人们成为那样的人。" }, { "speaker": "Garry", "text": "我认为在很多情况下,为自己建造建筑是行不通的。" }, { "speaker": "Garry", "text": "对于我们来说,确实如此。" }, { "speaker": "Garry", "text": "我认为这实际上是在澄清,因为构建AI产品所涉及的警笛声之一就是针对演示进行优化。" }, { "speaker": "Garry", "text": "嗯。" }, { "speaker": "Garry", "text": "呃,我们对演示的优化感到非常紧张,因为使用人工智能,我们很容易找到几个例子并制作一个视频,让您知道它看起来像是一个革命性的产品,然后我认为在可以产生精美演示的版本和有用的AI产品之间有很多工作要做,这意味着要拨入事物的速度方面、可靠性方面、智能方面、产品体验方面,对我们来说,我们真正采取的主要行动就是重新加载编辑器。" }, { "speaker": "Garry", "text": "我们早期的产品开发过程非常具有实验性。" }, { "speaker": "Garry", "text": "它非常注重嗯,有点像我们理解的苹果非常注重狗食和可用的演示,比如我们可以立即在内部编辑器中开始使用的东西,然后我们会查看这些指标,以确保你知道我们每周、每月都在正确的道路上。" }, { "speaker": "Garry", "text": "是的。" }, { "speaker": "Michael Truell", "text": "所以之前你说过,我的意思是有时候你必须打破这些有关招聘的铁律。" }, { "speaker": "Michael Truell", "text": "嗯,你什么时候决定打破它。" }, { "speaker": "Michael Truell", "text": "我的意思是,你知道,是不是只有联合创始人和少数人才能实现某种收入目标。" }, { "speaker": "Michael Truell", "text": "您觉得油门踏板怎么样。" }, { "speaker": "Michael Truell", "text": "您是否喜欢将其羽化,然后像一旦清楚地达到您的数字一样,就像我们将踏板完全踩下一样。" }, { "speaker": "Garry", "text": "因此,很长时间内我们只是依靠联合创始人,然后是联合创始人和几个人,直到事情真正开始顺利进行并开始起飞。" }, { "speaker": "Michael Truell", "text": "第一批雇员是谁。" }, { "speaker": "Michael Truell", "text": "我的意思是,我假设会有更多的工程师,但是你知道,我们对第一批员工感到苦恼,我认为如果你想要快速发展,那么实际上要缓慢发展,你知道6个月是非常有帮助的,因为如果你真的确定了前10名进入公司的人,那么他们将来都会加速你的发展,因为当你知道第n个进来的人,也就是你想要和你一起工作的人进来和团队相处时,他们会对人才密度感到震惊,然后非常兴奋地在那里工作。" }, { "speaker": "Garry", "text": "他们能够帮助你在未来更快地进步的另一个原因是,如果有人进来并且他们不太合适,这些人就会充当免疫系统来抵抗这种情况,对吗。" }, { "speaker": "Garry", "text": "他们会成为保持高标准的守护者。" }, { "speaker": "Garry", "text": "因此,我们一开始招聘的速度非常非常慢。" }, { "speaker": "Garry", "text": "我们之所以能够做到这一点,部分原因在于我们拥有庞大的创始团队,并且所有联合创始人都是技术人员。" }, { "speaker": "Garry", "text": "但是是的,我们招募的人才非常出色,他们是当今公司的核心,这些人才来自不同学科,我们公司需要成为介于基础模型实验室和普通软件公司之间的公司,模型和产品必须在同一个屋檐下协同工作,所以我们拥有出色的人才,他们具有产品意识和商业意识,但实际上已经大规模训练了模型。" }, { "speaker": "Garry", "text": "因此,通才型博学者在前10人阶段确实非常出色。" }, { "speaker": "Garry", "text": "是的。" }, { "speaker": "Garry", "text": "并快速建造建筑物" }, { "speaker": "Garry", "text": "是的。并快速交付生产代码。" }, { "speaker": "Garry", "text": "如今 , 我 的 意思 是 , 每 个 人 都 在。如今 , 我 的 意思 是 , 每 个 人 都 在。如今 , 我 的 意思 是 , 每 个 人 都 在 试图弄清楚如何解决 这个问题,但你知道,仅仅因为 人工智能工具太棒了, 有时甚至很难弄清楚 如何评估优秀的工程师。" }, { "speaker": "Michael Truell", "text": "随着时间的推移,您是否 知道您的产品 变得越来越普遍了。您是否会 选择真正擅长 使用人工智能工具的人,或者您知道这 真的只是让我们坚持 经典,并且任何人都 可以学习如何使用 人工智能工具。" }, { "speaker": "Garry", "text": "因此, 对于面试,我们实际上仍然在 面试人们,但不允许他们在 第一次技术筛选中使用除自动完成之外的人工智能。没有人工智能的编程仍然是 对技能和智力的一次很好的限时测试, 也是 你希望 你的团队成员拥有的东西。嗯,作为一名 程序员。但另一个原因是 我们雇佣了很多 优秀的程序员,但他们实际上 没有使用人工智能工具的经验,我们 不想因为这些工具非常有用而对他们造成不公平的不利影响。因此,我们 宁愿雇用这些人, 然后在工作中教他们使用 这些东西,并从他们第一次使用这些工具的 初学者的头脑中挖掘产品见解。Cursor 目前的市值已达 90 亿美元。" }, { "speaker": "Michael Truell", "text": "呃,随着团队规模扩大,你如何保持黑客 能量的活力。您还写代码吗。" }, { "speaker": "Garry", "text": "我确实如此。是的。" }, { "speaker": "Garry", "text": "这是我们经常思考的事情, 因为我认为 未来的Cursor必须 与今天的Cursor非常不同。" }, { "speaker": "Garry", "text": "我认为你可以通过雇用 合适的人才来做到这一点。" }, { "speaker": "Garry", "text": "因此,我们招聘流程的最后一步 是两天的现场工作, 您可以来和 我们一起完成一个项目。这是在经过 初步的技术筛选之后, 你在办公室,你是 团队的一员,你和 我们一起吃饭,呃,做 一些工作。最后你进行演示, 然后我们问你问题。" }, { "speaker": "Garry", "text": "这 激发了人们对问题空间的活力、兴奋和 热情。" }, { "speaker": "Garry", "text": "通常, 如果您 只是将其视为一份工作,并且同时 向多家科技 公司申请职位,那么您可能不会非常愿意这样做。" }, { "speaker": "Garry", "text": "因此,我认为 实现这一目标的一个重要方法是 通过招聘流程招募充满热情的人。" }, { "speaker": "Garry", "text": "有些大型项目 需要人们之间进行大量协调, 需要自上而下的 统一。" }, { "speaker": "Garry", "text": "我认为我们始终希望 成为一个能够进行 自下而上良好实验的地方。" }, { "speaker": "Garry", "text": "嗯, 所以我们确实尝试并鼓励这样做。两个人都花时间 来做这件事。" }, { "speaker": "Garry", "text": "呃,然后明确地 带领工程师团队,将 他们与公司的其他部门分开, 并给他们机会去 尝试他们喜欢的东西。" }, { "speaker": "Michael Truell", "text": "因此,我认为, 面对世界上一些最令人印象深刻 和令人难以置信的模型,所有初创企业乃至所有企业现在都在试图弄清楚的事情之一是, 哪些模型才是 真正耐用和可用的。您对此有何看法。" }, { "speaker": "Garry", "text": "嗯,我认为 我们所处的市场以及 其他人所处的市场与 您过去所见过的市场类似,但实际上 并不是企业软件市场。" }, { "speaker": "Garry", "text": "嗯, 所以我认为很多企业 软件市场都有这样的 特点: 产品所能提供的良好核心价值的上限很低,而且有 很多锁定,而我们所处的市场 有点像 90 年代末的镜像搜索, 那时的产品上限非常 高。" }, { "speaker": "Garry", "text": "搜索可以在很 长一段时间内变得更好, 对我们来说,最终目标是 用更好的东西取代编码并实现 编码自动化,我认为还有很 长的路要走, 搜索的特点之一,我 认为也是我们市场的特点之一,就是 分销对于改进产品非常有帮助, 所以如果你 有很多人使用你的产品,你就 拥有了一个规模化的业务,你就会了解 产品在哪些方面失败了, 哪些方面做得很好,所以在搜索中, 你可以知道人们 点击了什么,他们 从哪些好的搜索结果中反弹,哪些 是坏的搜索结果,然后将其输入 到研发中,然后帮助他们打造一个 更好的搜索引擎。" }, { "speaker": "Garry", "text": "呃,对我们来说,就是 看到,你知道,人们在哪里 接受事物,在哪里 拒绝事物,在 他们接受事物的地方,然后他们 稍后纠正它,那里发生了什么。我们怎样才能做得更好。" }, { "speaker": "Garry", "text": "我认为 这将成为未来 改进产品和 底层模型的一个非常重要的驱动力。" }, { "speaker": "Garry", "text": "我认为另一个值得 借鉴的市场是 21 世纪初的消费电子产品市场。" }, { "speaker": "Garry", "text": "当时的事情是先正确把握 iPod 时机, 然后再正确把握 iPhone 时机。" }, { "speaker": "Garry", "text": "你知道,我认为聊天时刻 有点像我们这个时代的 iPod 或 iPhone 时刻, 如果你不断 比其他人更快地突破前沿,你 就能获得巨大的收益。" }, { "speaker": "Garry", "text": "我认为 在我们的领域中还存在更多这样的情况。" }, { "speaker": "Garry", "text": "所以这很难做到,但我们确实 专注于努力成为 最快实现这一 目标的人。" }, { "speaker": "Michael Truell", "text": "现在是 2025 年。我感觉我们实际上正处于 智能时代的初期阶段。多么伟大的革命啊。" }, { "speaker": "Michael Truell", "text": "你 知道吗,你个人现在最兴奋的是什么。" }, { "speaker": "Garry", "text": "我 认为,在 接下来的十年里, 你的建设能力将会得到 极大的提升。" }, { "speaker": "Garry", "text": "有些人已经以此 为生,并以此为 业,但我认为,未来将会有 更多的人可以 享受到这种生活。" }, { "speaker": "Garry", "text": "活着真好" }, { "speaker": "Michael Truell", "text": "感谢您今天加入我们。" }, { "speaker": "Garry", "text": "谢谢。" }, { "speaker": "Garry", "text": "谢谢你的邀请" } ]