开场
节目先播放几段预告。Sholto 认为，能力达到或超过所有人类的模型"很可能在未来几年内出现"。Nick 说，每多一单位智能，价值都会比上一单位呈指数级增长。双方也谈到风险，说"在能阻止坏人造成大破坏之前，不应该把这些技术放到世界上"。Joe 转述了一些怀疑者的看法：Dario 是在制造恐慌，想借监管拖慢行业。Sholto 回应，"到目前为止，我们拖慢自己比拖慢任何人都多"。
Joe 介绍嘉宾和本期议题：两位都是 Anthropic 的核心技术负责人。本期会谈文明面临的威胁、生物和网络安全领域的攻防问题、外界对"监管俘获"的批评、来自中国的蒸馏（distillation）问题、Anthropic 的长期价值从哪里来，以及年轻人该怎样规划接下来十年的职业。
Joe 在纳帕（Napa）欢迎两位。Nick 协助领导 RL（强化学习）科学团队，Sholto 是强化学习方向的技术负责人。Sholto 在 Anthropic 工作了三年多。公司成立于 2021 年，只有五年左右的历史，却已经是全球增长最快的公司之一。
自学机器学习；进入 Anthropic 的非典型路径
Sholto 在悉尼长大，本科读机器人学，2019 年毕业。大约在 2020 年，他读了大量博客和论文，确信靠规模扩展（scaling）能在 2020 年代实现 AGI（通用人工智能）。于是他利用晚上和周末做独立研究，证明自己的工作能达到 DeepMind、Anthropic、OpenAI 这类公司的标准。后来他在 DeepMind 工作了两年，又加入 Anthropic。
Nick 是土生土长的旧金山人，这在 AI 圈不多见。他的父亲前半生从事传统商业，后半生转向回馈社会，尤其关注怎样用技术做公益。这让 Nick 想找一条既能锻炼商业能力、又能创造社会价值的路。当时他在 Thrive Capital 做驻场创业者（resident），做的是另一家很不一样的公司，同时越来越担心 AI 安全，于是觉得 Anthropic 就是该去的地方。
你们正在做的最令人兴奋的事情是什么？
Joe 提到，外界流传的数据显示 Anthropic 收入增长极快，已经领先同行，并问两位在前沿做什么。
Sholto 以编程体验的变化为例。18 个月前，他几乎所有代码都是手写的。后来变成指导模型写代码，每隔几分钟就要检查和纠偏。现在，他可以让模型独立完成一到两天的工作，模型像一名初级团队成员一样推进任务。就在录节目时，也有好几个模型在替他做 RL 科学方面的工作。
Nick 的角度不同。他说，以往的模型开发主要是让模型做人类本来就擅长的事，比如写一个人类团队同样能写出的软件。现在的新动向是用模型突破人类智能与成就的前沿，最近的一些数学成果就是例子：模型证明了一些人类关注多年却一直没能解决的问题。Joe 追问，这算真正的新理论，还是只是用算力暴力求解？Nick 承认模型还没有提出人类根本想不到的想法。但他认为，人类大多数智识成就本来就是"把点连起来"，在前人成果上组合出新东西。
我们是否已经达到 AGI？接下来会怎样？
Nick 补充说，现在的不同在于模型开始组合人类已有的想法、形成新想法，而"再写一个网页应用"从来不算人类的新智识成就。
Joe 说，硅谷从没见过公司扩张得这么快，并问接下来会不会继续加速。Sholto 说，18 个月前公司必须极度专注于代码，先证明自己能在某个领域做到世界第一。随着收入增长，公司的目标已经比"做出擅长写代码的好模型"宽得多。
Sholto 表示，公司认为 AGI 在未来几年内可以实现。他的定义是：模型能完成人类在电脑上能做的所有事；机器人技术足够成熟后，也能完成人类在物理世界能做的所有事。Joe 开玩笑说那他可以让模型替他主持播客，自己去葡萄园。Sholto 回答，播客可能是最后剩下的几件事之一。
如何衡量 AI 进展
Sholto 说，这项技术能成倍放大世界上的脑力和体力劳动，可能让几个世纪的进步大大提前；但它也带来巨大风险，公司的目标是带领世界安全度过这些风险，好在另一边享受收益。
Joe 回顾了 2020 年 GPT-3 前后的氛围，并问怎样量化进展。Sholto 介绍了评测（evals），也就是给模型出的考试。以数学为例，在由各领域教授出题的 FrontierMath 评测上，模型一年内从 0% 提高到 40%–60% 以上。
Joe 开玩笑问，能不能用"在 Instagram 上约到人"这种可验证的目标训练模型。Sholto 说，模型的提升有两条路：一是在海量互联网文本上训练；二是两位从事的强化学习，也就是让模型做题，再检查答案对不对。数学和计算机科学的答案容易验证，所以进步最快；但他认为，把其他问题也放进这个框架并不难。
Nick 补充了一个社会层面的原因：做 AI 的人大多出身数学和计算机，他们自然先在自己熟悉的领域打造智能。训练模型时，很多时间要花在阅读模型输出、判断它的能力上，这在自己擅长的领域要容易得多。
Joe 问他们会不会把模型拟人化。Nick 说他本人不会，但相信 Anthropic 有同事会。Sholto 认为，把模型当作"实体"而不是"工具"更有用：工具需要人全程操作，而模型是被放到世界上、代表你采取行动的智能体。
生物学是下一个伟大前沿吗？
Joe 问还有哪些领域应该更多使用 AI。Sholto 认为最大的是生物学。Nick 说，在未来 6 到 24 个月里，他最看好的是模型在生物学上产生像软件工程领域那样的影响，而且带来的社会收益会广泛而强大。
Joe 提到表观遗传学（epigenetics）与长寿研究正吸引大量资金。Nick 认为，AI 将是生命科学领域最重要的技术，至少在我们这一生中如此，甚至可能是史上最重要的。他更担心的反而是美国有没有足够的实验室和物理基础设施来用好 AI。他指出，美国实验室不仅数量不够，在一些质量指标上也明显落后于中国，重建美国的供应链和实验室体系应当成为一项重大的社会基础设施工程。Sholto 说，这将成为生物学进步的瓶颈。
职业建议与"通才的十年"
Joe 问，不在 Anthropic、也不在硅谷核心圈的年轻人或职场人士该怎样规划职业。Nick 说未来有几种可能情景。Anthropic 有责任谈论它带来的风险，其中之一就是失业。但这项技术也可能要很久才能扩散开，这样会出现一个 10 到 20 年的窗口期，有大量机会参与技术扩散，并以此定义自己的职业。
Nick 对正在读大学的弟弟也说过同样的话：如果真是这种情景，下一个十年在很多方面将"属于通才"。过去几十年，人们靠一套有市场价值的技能就能有好的职业，至于技能怎么用，可以交给别人去想。未来每个人都会拥有所有技能，背后相当于有一家千人公司。决定性的能力是判断该解决什么问题、怎样让自己的社区变得更好，也就是选择问题的能力。
Joe 很认同。他从小在犹太教家庭长大，讲到"修复世界"（tikkun olam）的理念：一周六天修复世界，安息日休息。他认为，只要世界还不是乌托邦，每个人身边就总有值得修补和帮助的事，这是一种乐观的框架。Sholto 说："我们和乌托邦之间还有很多工作要做。"
可能出什么问题？最大的 AI 风险是什么？
Joe 转向担忧的话题。他说，沿海城市的人身边满是积极的变化，创业者建公司的速度前所未有；但美国其他地区的许多人觉得自己的生意和生计受到威胁，也担心掌握这项技术的会是一群想"征服世界"的怪人。他问：人们忽略了什么，有没有一条两位真正担心的坏路径？
Sholto 认为这些担忧非常合理，主要有几大类。一类是失业，值得单独展开讨论；另一类是今年就真实发生的近期风险，即生物和网络安全。他强调，只要未来几年采取正确的行动，2030 年代会是一个好得多的世界。
Joe 提到外界常嘲笑 Anthropic 的模型"连线粒体都不让问"。Sholto 说这当然应该能问，公司正在搭建基础设施，确保没人能借模型造出生物武器。Nick 解释了难点：生物和网络安全本质上都是军民两用（dual use）能力。让 Claude 找出某个代码库的所有漏洞，提问者是想加固防御的所有者还是攻击者，概率一样大。他们的总体原则是：在能把坏人挡在门外之前，不应该把这类能力释放到世界上。
Joe 补充说，已有恐怖组织借助开源模型学习制造炸弹；但他倾向于认为，智能越多，就有越多人能识别并阻止这些可怕用途，这里存在权衡。
攻与守：技术如何演进
Sholto 提出一个关键框架：一个领域是进攻占优（offense dominant）还是防守占优（defense dominant）。他认为网络安全和生物目前都是进攻占优，但网络安全会在未来两年转为防守占优，因为每个人都能先用 AI 攻击自己、修补漏洞。Joe 举例说，他有朋友应五角大楼和银行之邀，用新一代 AI 演示攻破对方系统；他提醒听众，如果没有用 AI 测试自己的系统，"你的系统很可能会被攻破"。
Joe 用欧洲历史作比：自由竞争的城邦曾让人可以"用脚投票"，直到大炮轻易轰塌城墙、庞大帝国兴起，攻守格局在历史上来回摆动。他担心世界上是否藏着某种极度进攻占优的技术（他以自我复制纳米机器人为假想例子），因此要尽早用智能把它们找出来。Sholto 说生物领域在投入巨大努力之前都会是极度进攻占优；Nick 补充，让生物领域转向防守占优需要数千亿美元的基础设施，要等到 2030 年代机器人能力大幅提升才现实。Joe 主张让大量人用智能挑战一切，而不是只有某个团体暗中行事，两位表示"非常同意"。
回应"监管俘获"的批评
Joe 把 Anthropic 比作 90 年代的微软：成为冠军就会招致攻击，其中一部分出于嫉妒，一部分有道理。他的不少朋友认为 Anthropic 在推行监管俘获（regulatory capture）。
Nick 分两点回应。第一，这种叙事与开放权重（open weights）之争绑在一起，外界以为 Anthropic 想借监管打压资源较少的开源社区。但如今推动开放权重前沿的，是英伟达、亚马逊、微软这样的大公司，以及资金充足、越来越多已上市的中国实验室，它们完全有能力应对监管，所以对开源、闭源一视同仁的监管不会不成比例地拖累开源方。第二，如果真是自利的监管俘获，Anthropic 不会做出它实际的选择。他举的例子是公司在拥有遥遥领先的模型（节目中提到 Mythos）时，先与政府合作、按政府能接受的方式推出，而没有利用数月领先期彻底甩开对手。他承认这在经济上是个"糟糕的决定"，但符合公司对危险技术应如何部署的价值观：身处前沿的一方有责任让政府知情并参与。
Joe 认为政府里既有聪明人，也有很多人不知道自己在做什么，并称据他所知 Anthropic 本可提供更强的防御性网络安全能力，却为过审而被削弱。Nick 回应，这是经典的美国式公私合作，体制并不要求政府在每个领域都最专业。至于"Dario 在吓唬大家、制定规则来拖慢别人"的说法，Sholto 回答："到目前为止，我们拖慢自己比拖慢任何人都多。"他提到围绕 Demis 的提议的讨论：让 OpenAI、DeepMind、Anthropic 等闭源模型厂商协调设立发布前必须达到的安全门槛。
Anthropic 对开源的立场
Sholto 澄清，至少他个人非常支持开源，他自己就是在开源模型上学会做机器学习的。但风险会越来越大，因此应由全社会确定可放心发布的能力门槛，比如能发动网络攻击的模型达到什么程度可以接受；闭源和开源应遵守同样的标准，此外人们想做什么都可以。
你们会放慢脚步、让中国领先吗？
Joe 问：如果中国照样随意发布模型，美国出于恐惧过度监管还有意义吗？Sholto 说理想情况是与中国合作，因为中国也不想遭受网络攻击；但这很难。AI 能力继续飞速发展会让许多人因生物、网络安全和就业而不安，已经有人要求叫停数据中心建设，而这种局面很难暂停，除非各方协调一致并相信彼此守约。对于是否有任何情境让美国放慢、让中国领先，Sholto 的回答很明确："我们绝不会单方面让美国放慢。"任何放慢都必须完全协调，并完全信任每一个对手方。
Anthropic 如何看待蒸馏（distillation）
Joe 问为何阻止不了别人蒸馏 Anthropic 的模型。Sholto 说这是一场猫鼠游戏：用户想要更多访问权，查看输出、本地运行、看思考轨迹（thinking traces），但每多开放一点，蒸馏就更容易一点，产品开放度与防蒸馏之间存在张力。
Nick 解释为什么反对蒸馏：蒸馏只能复制，无法把人带到当前前沿之外。抵达下一个前沿需要巨额前期投入，未来单次训练可能要花 100 亿、1000 亿乃至 1 万亿美元；如果别人能以很小的成本在一两周内复制出来，就会成为经济上更有优势的竞争者，前沿研发也就难以为继。他把它与药物研发的知识产权保护相比：好处同样存在，但 AI 避开了高价这个坏处，因为前沿的"保质期"以月计算，落后半年的能力会变得极其便宜。Sholto 补充，按 Artificial Analysis 等榜单，给定智能水平的成本大约每年下降 10 倍，而这还不依赖蒸馏。
对于"产品半年就过时"的商业模式质疑，Sholto 说 AI 对全球经济的渗透还很小：AI 总收入约 1000 亿美元出头，而经济总量是几十万亿美元，还没算 AI 带来的增长。滞后一端（lagging edge）会被商品化，领先一端（leading edge）的价值要大得多。Nick 称之为"智能的指数级经济回报"：每多一单位智能，价值比上一单位高出指数级。以编程为例，从 Tab 自动补全到终端里的 Claude Code 智能体编程（agentic coding），价值高出 10 倍、100 倍甚至 1000 倍；再往后是比世界上任何工程师都强的"即插即用"软件工程师。Sholto 说，等到彻底商品化有可能出现时，整个经济早已由 AI 运转。
后稀缺世界能实现吗？
两位认为，如果 Anthropic 推动这一切，在一个大得多的经济体里它显然价值数万亿美元。Joe 问：既然有这么多担忧，为什么还要这么快往前推？
Sholto 说，担忧来自 AI 将能做人类在电脑上和（有了机器人后）物理世界中能做的一切；但它也会把原本需要几个世纪的技术进步压缩到一二十年。Joe 说他在航空航天领域已看到这一点，原本 2040 年代才会出现的先进飞机，未来几年就可能出现。Sholto 描述了后稀缺（post-scarcity）世界：一切成本归结为能源成本，中产阶级可以拥有今天最富有的人都享受不到的富足，疾病被治愈，长寿问题可能被攻克。难点在于规划路径，以及如何分配成果，不让回报只流向旧世界里已有资本的人。
Sholto 把趋势线向外延伸：过去四五年 AI 算力每年增长 2 到 3 倍，今年各大超大规模云厂商（hyperscaler）的 AI 相关资本开支（CapEx）合计约一万亿美元。如果明年变成两万亿、2028 年变成四万亿，再加上机器人产业，人类 GDP 可能在 2030 年代初开始翻倍。Joe 预计生产率增长很快会在统计数据中显现，并提到新任美联储主席 Kevin Warsh 也很看好 AI 带来的生产率提升。
Sholto 提到菲律宾的就业数据仍在上升，软件工程师就业人数也在增加，因为人与 AI 搭配让人更高效。但 Nick 提醒，不应过度说服自己就业一切都会安然无恙：当世界从"需要人类与 AI 搭配"转向"不再需要人类"时，就该紧张了。Sholto 以国际象棋作比，"人加机器"最强的时期持续了 30 年，Nick 认为这次的过渡期会短得多。
Nick 谈到自己最大的认知更新：他原以为扩展数据规模会耗时耗钱，进展会更慢；没想到 Anthropic、OpenAI 等公司的收入扩张如此之快，以至于可以砸钱更快突破瓶颈。五年前没人能想象一年花一万亿美元在算力上，Sholto 说"一年前都没人能想象"。Nick 还说，AI 恰好与 SpaceX 的成熟同时到来，算力上太空因而成为可能；不利的一面是竞赛态势，以及他认为 AI 天然更有利于威权体制，而它恰逢中美两极格局。Sholto 说，宇宙中最有价值的资源产自夹在两个超级大国之间的一座小岛，像科幻小说里的悲剧。
如何守护价值观、传统与社区？
Joe 问：美德、家庭、宗教信仰等传统价值观，会不会被旧金山那些不太看重传统的技术掌控者重塑甚至抹掉？Sholto 认为恰恰相反，随着工作和资本主义在生活中的首要地位下降，传统与仪式、为他人创造价值、本地社区和人际纽带会变得更重要。Nick 补充，智识追求、学会思考世界的重要性也可能上升，只是不再是经济意义上的。
谈到要建立什么机构，Sholto 说慈善是 Anthropic 文化的重要部分，一篇关于"美国慈善新浪潮"的文章估计，OpenAI 基金会和 Anthropic 员工可能释放的慈善资金相当于几百个 Arc Institute 或几十个盖茨基金会。他本人捐助过一个旨在终结病毒性疾病的项目，也有同事资助研究劳动力冲击与转型政策的非营利组织。
Nick 受父亲影响关注教育。他认为 AI 圈很多人以为 AI 会直接解决教育问题，这是错的。教育深度复利（compounding）：预测数学成绩的头号指标，是三年级末能否达到年级阅读水平，那正是从"学习阅读"转向"通过阅读学习"的节点；孩子一旦觉得自己不擅长就会失去动力。而电脑恰恰抓不住小孩子的注意力，在课堂上反而分散注意力。AI 能帮助在正确的时间教正确的内容，但不是万灵药。
对 2028 年的预测
Joe 请两位设想 2028 年 8 月回看这期节目，什么会比预期快得多。Sholto 认为最大的变量是数据中心上太空的时间线，实现后算力爬坡会更快。Nick 说他预期 Terafab 之类的项目届时会投产，但更想看有多少人形机器人进入家庭，他估计 2028 年可能有几万台机器人在家里洗衣服、做基础清洁，也可能更快。Joe 提到刚发布的 Generalist 一期节目，世界模型（world model）进步超出预期。
Nick 认为，AI 能力最大的约束之一是在关心的领域扩展数据的速度。如果今天就启动大规模运动建设实验室生产生物训练数据、一年后全面铺开，他会把时间线提前。Joe 问 AI 能否为塑造品格、心理健康之类的问题构建数据，Sholto 说这些他更希望由人类自己解决，这类数据难以规模化、极度依赖具体的人，会在机器人问题解决之后才到来。
最后的预测：2028 年 AI 获得普利策奖，大概不会；获得菲尔兹奖，"很有可能"；诺贝尔奖也不算离谱，这个十年结束前很有可能。Joe 以乐观收尾：挑战仍在，但如果把这些事做对，人类的未来非常值得期待。