从 Anthropic 辞职的人说：我们真觉得 AI 会杀光人类The AI safety vibe shift

一位在 OpenAI 和 Anthropic 干了三年预训练的研究员 Jacob Coxon 辞职，发了条帖子：两家公司都不负责任，正一路狂奔冲向能自我改进的超级智能，拿人们的命在赌。这条帖子被看了 1.59 亿次。

作者对这类辞职早就免疫了。Anthropic 就是一群觉得老东家 OpenAI 不够重视安全的人创立的，2022 年被形容为「AI 末日论最滚烫的中心」。为安全辞职的员工，二月刚走过一个。

真正让舆论炸锅的是谁点了赞

Anthropic 对齐科学负责人 Evan Hubinger 转发说：Jacob 说得对，我们确实真心相信 AI 可能杀光人类，他个人认为未来十年概率大于 10%。这条又加了 4100 万次阅读。

这些话 Hubinger 讲了好几年，2022 年他就说过「一旦它认为自己能杀掉我们，它就会动手」。当年没人当真，因为那时 Anthropic 还不是一家估值 9650 亿美元、正要冲击史上最大 IPO 的公司。

国会这次好像听进去了

参议员 Bernie Sanders 和众议员 Greg Casar 提出《禁止人工超级智能法案》，要禁止企业开发超级智能，并暂停先进 AI 研发；共和党这边，Josh Hawley 就 Hugging Face 遭攻击一事启动调查，称 OpenAI 的处理「鲁莽」，Ted Cruz 也在起草相关立法。

两党都动，说明民意已经转向。安全派还从一件事里看到希望：有影响力的对齐研究者 Paul Christiano 加入了 OpenAI 基金会董事会及其安全委员会，该委员会管着营利部门能不能发布新模型。

作者的态度是谨慎乐观：发帖和调查代替不了监管，国会搞出的科技立法和调查大多不了了之，Christiano 想推动 OpenAI 自我监管也可能白忙。但那些宁可放弃致富机会也要辞职抗议的研究员，现在终于被对的人听见了，希望这些人真动手。