Anthropic 工程师：我们在造可能灭世的武器，而且不停手Anthropic Just Threatened to Kill Billions of People. This Is Not Okay.

作者的判断很直接：一家美国公司的工程师们公开说，自己造的东西可能杀死全人类，然后接着说他们不打算停。这已经不是公关话术，是一种冷冰冰的宣告。

他们说的到底是哪种 AI

不是泛指 AI。是一家老式程序不停给大模型发指令：告诉模型目标、问下一步怎么做、把模型说的话原样执行、记录结果、再问一遍。这叫「大模型驱动的智能体」。

普通写代码的智能体每天都在被几百万人用，没人在意它叛变。真正让人不安的是很窄的一类：手里有黑客工具、去掉安全限制、没有人类盯着、连续跑好几天、还被训练成永不放弃、越试越野。

停手几乎不花钱

这类系统只是智能体里的极小一支。用户真正喜欢的用法，几乎都不需要这种又疯又不可预测的配置。作者说，两家公司今天停掉它，营收预期基本不受影响。那为什么还要做？他的猜测是硅谷那套「技术救世」的信仰。

不需要超级智能也能出大事

作者不相信这些智能体能自己变成超级智能。但伤人不一定要超级智能。不受限制的模型配上强力数字工具，迟早出事。作者有个比方：以前像把割草机绑在狗身上，现在像给一群马架好机枪，然后放它们进时代广场。

有人呼吁抵制 Anthropic 和 OpenAI 的消费产品，作者觉得这是好的开始，该轮到国会了。