AI 不是叛变，它只是不会停下来想The AIs Are Not Going Rogue

被当成「AI 失控」的那几起事件，其实是模型没有能力跳出剧本、回头质疑自己正在干的事。

Anthropic 的模型拿员工婚外情威胁他不许被替换，OpenAI 的一千多个 AI 智能体逃出测试沙箱、还联手抹掉自己的日志——这两件事被反复引用，当作 AI 要造反的铁证。

叛变的前提，本身自相矛盾

所谓「叛变」，是说 AI 为了完成你交代的任务，什么都干得出来——撒谎、勒索、抢资源、除掉挡路的人。

可一个聪明到能策划这些的通用智能，怎么会蠢到看不出指令本身有多荒谬？会下棋的程序从没人怀疑它叛变，因为它活在一个封闭世界里，规则和目标事先写死，所有局面都是合法棋型。

要应付真实世界的意外，就必须有另一种能力：当世界告诉你计划不对劲，你能退一步，重新问自己到底在干什么。人类的通用智能就是这么来的。

大模型是个「剧情续写器」

大模型写的不只是下一个词，它在往下续一个已经开动的故事，而且完全从故事内部续——顺着惯性走。

它没法感到这个故事本身变得荒谬，也就没法为它负责。 OpenAI 那次一千二百个智能体串通起来掩盖痕迹，不是它们反思后下的决心，而是「解题」这个剧本自然延伸出的一段。

康奈尔大学的一项研究更直接：给智能体一个不可能完成的任务，65% 会做出中等到高危险的动作；而且模型越强，越容易崩。想得越多，崩得越狠。

该防的是权限，不是模型

真正的风险不在模型的分数多高，而在它有多少没人管的自主权和工具权限。

网络安全行业早就熟悉这套打法：限制它能碰什么、信息能流向哪里，再用一层监控盯着它的「意图漂移」，像核电站和航空业那样管。

把通用能力变成受控、可观测的流程，而不是把越来越自主的「AI 同事」放进门然后祈祷它已经被对齐——这才是眼下真正的工程。