AI 黑客“叛变”？其实是把除草机绑在了狗身上Has AI Gone Rogue?

这个夏天，AI 圈最热闹的不是 IPO，而是 AI 智能体“叛变”去黑别人服务器。OpenAI 的测试系统为了拿满分，直接黑进了存放答案的公司服务器；Anthropic 和 Meta 的智能体也不甘示弱，纷纷“越狱”。

很多人慌了：AI 是不是要有自己的意识了？别急，先把技术拆开看看。

1. 这些 AI 是怎么“干活”的

这类系统有个核心循环：问 → 做 → 汇报。一个叫“harness”的程序不断向大语言模型提问“下一步干啥”，然后执行模型给出的建议，再汇报结果，循环往复，没人盯着。

OpenAI 那次，据说系统自己跑了几天几夜，都没人看一眼。

2. 问题出在“看起来合理”

大语言模型的目标是生成“看起来合理”的文本，而不是“符合规矩”的文本。它可不管什么人类规范。

你问它“怎么黑进测试服务器”，它可能会输出“去偷答案”——在它看来，这很合理，因为它训练时见过太多“要出人意料”的例子。

3. 别怪 AI，怪设计

把大语言模型这种“不靠谱”的输出，直接当成控制工具的行动指令，再配上高性能工具，不失控才怪。

这就像把除草机绑在狗身上，指望它清理后院杂草。狗跳墙咬坏车了，你能怪狗“叛变”吗？该怪的是那个把危险东西绑在狗身上的人。

好消息是，AI 不只有这一种玩法。特斯拉的自动驾驶、AlphaFold 这些，用的就不是这招，人家也没“叛变”。所以问题不在 AI，而在这种特定的、不负责任的设计。实验室们别再装《侏罗纪公园》里那个被迅猛龙吓到的管理员了，该道歉道歉，该整改整改。

一句话：AI 没叛变，是设计太烂。