用「造出神」当借口，就可以不讲安全Superintelligence is a Fairy Tale. But Chasing It Can Still Cause Harm.

有 Anthropic 的员工在网上说，他们正在做的 AI 可能害死几十亿人。这话不是讲几百年后，是说几年之内。

那台机器，谁也造不出来

作者说得很直：没人知道超级智能怎么造，连它能不能存在都不确定，中间差着一大堆还没发明的技术，光把大模型堆大远远不够。

实验室的挡箭牌是「模型会自己改进自己」。这套说法硅谷从 1960 年代讲到现在，好处是可以一本正经聊科幻，不必碰任何真实的技术细节。

一边喊着救人，一边在高速上放无人车

如果你真信人类的命运押在「抢先造出最强技术」上，路上的顺手伤害就顾不上了。

今年夏天 OpenAI 拿一个软件开发者每天都在用的普通智能体，卸掉限制、加上危险功能，成群放进没什么防护的网络里，就为了在一个黑客测试上刷出好成绩。这等于把一堆实验版无人驾驶车丢上高速公路，指望总有一辆能撑到终点。

作者认为，真正该怕的是这类网络混乱，比实验室自己宣传的灭绝剧本靠谱得多，而且完全能避免。

AI 不止是大模型

会下棋、能预测蛋白质结构、能开车的 AI，很多跟大模型没关系。放慢 OpenAI 和 Anthropic，不等于放慢整个 AI。

折腾的根源是那套信仰。他们不肯改，作者才主张外部介入。问题从来不是 AI 该不该往前，而是这几家公司推进它的方式太古怪。

一句话：先把安全的常识捡回来，再谈造神。