
TL;DR
训练出超越人类、还能自己造出更强 AI 的超级智能,风险大到不该由几家公司替全人类做主,该由普通人先叫停。
作者说自己拖了五年不肯写这篇文章。9·11 那天他刚上初二,被妈妈从学校接回家,拉下所有百叶窗看新闻,心里知道自己的小世界要永远消失了。
二十五年后,他脑子里反复出现的是 93 号航班。
那架飞机上,乘客投了一票
劫机者要把飞机撞向国会大厦。乘客们知道后,做的第一件事是投票——决定冲进驾驶舱,把命运攥回自己手里。
他们用滚烫的热水和餐车当武器,最后飞机坠在宾夕法尼亚的田野里。差几秒,可能就是另一个结局。
作者说,今天的普通美国人也被抛进了同样的处境,只是这架飞机停在加州。
他承认自己看走眼过
他一度觉得 AI 只是工具,写不出好东西,也做不好研究,还怀疑它们能不能一直变强。结果每次他刚站稳,就冒出一条全新的变强路子。
从预训练,到人类反馈,到工具和草稿纸,到会推理的模型,再到现在把上百万个 AI 组成「蜂群」一起想问题。
有人算过,解题时蜂群里流动的信息,如果念出声要念一万年,而那只用了 88 小时。
驾驶舱里的人,脑子不太对
更麻烦的是谁在开这架飞机。早期搞 AI 安全的那批人,创办了 DeepMind、OpenAI、Anthropic——结果一路把彼此逼成了最强的竞争对手,把比赛推向更危险的终点。
有人真心相信要造出「机器神」,有人说要赶在中国前面。作者反问:追上了,然后呢?
他引了一句改过的话:宁可让社会由波士顿电话簿前两千个人管,也不让 OpenAI 的前两千名员工管。
他真正想留下的那句话
造出比自己更聪明、还能自己升级的机器,同时踩中两条线:人类的存亡,和普通人对自己命运的掌控权。
他已经动身去华盛顿,主张把这两样禁掉。这不会让人失去未来——现在这些 AI 继续改进,照样够治好癌症、送上火星。
一句话:飞机要往哪飞,别让驾驶舱里的人自己说了算,先让乘客举一次手。
从全球优质信息源中筛选,几分钟了解当天最值得关注的观点。