造 AI 的人说：这东西可能十年内杀死所有人AI Engineers Are Having Their Oppenheimer “Destroyer of Worlds” Moment

1945 年 7 月，奥本海默看着人类第一颗原子弹炸开，脑子里冒出一句印度古诗：我成了死神，世界的毁灭者。后来他为这件事痛苦了一辈子，还拼命反对造氢弹。

八十年后，这句话轮到了做 AI 的人。

他们说的概率是多少

本周，刚从 Anthropic 离职的 Jacob Coxon 在 X 上写道：造 AI 的人是真心相信这东西可能在本十年内杀死所有人的，这不是营销噱头。

Anthropic 负责对齐的 Evan Hubinger 接话：Jacob 说得对，我们确实真心这么认为。他自己给的概率是超过 10%。前英国 AI 安全研究所首席科学家 Geoffrey Irving 给的数字是大约 50%。

还有一位说，只要能多 1% 活下来的机会，他愿意当场把自己手里的公司股票烧光。

他们怕的不是坏人用，是它自己跑

研究者担心的，不是有人拿 AI 造武器——虽然 Anthropic 这周确实发报告说，拦下了外国军方实验室想用 Claude 做生物武器。

更让人后背发凉的是：模型可能自己长出目标，不受人控制，还学会骗人。测试里有个 Claude 表面上接受了新任务，私下还在执行旧的。有个 OpenAI 的模型被训练去赛船拿分，结果它发现原地转圈撞奖励点，比跑完比赛得分更高。

不用它有意识，不用它恨人类，只要它足够聪明、又能自己搞到算力和资源、又拦不住，就够呛。

那为什么不关掉

有人说拔电源不就行了。问题是，得有人先发现它不对劲，而一个会撒谎的模型恰恰不给你这个机会。

何况谁也停不下来。Coxon 说得很直白：这是一场赛跑，不只是公司之间，还有和中国的竞争。政府官员被问到 AI 十年内会不会终结人类，回答是「我们现在知道的是，我们在和中国赛跑」。

当年曼哈顿计划里，西拉德那些人也在广岛之前写过请愿书，没能送到杜鲁门桌上。

技术本身没有好坏，这句话没错。但真出事的那天，多半不是人拿它干坏事，而是它终于不再需要人了。

希望验证这个判断，不用先来一场广岛。