AI 不是黑箱：一个研究者推翻了自己当年的结论The Blog Post That Set the AI World on Fire

前 OpenAI 研究员 Nick Cammarata 发布一篇长文，声称生成式 AI 模型其实可以被理解，推翻了业界普遍认为神经网络不可解释的观点。

硅谷 24 小时都在讨论一篇 2.6 万字的博客。作者 Nick Cammarata 说，生成式 AI 模型根本不是黑箱，理解它们有路可循。这要是真的，行业的基本假设就要翻个底朝天。

当年说不可解释的是他，现在说能理解的是他

Cammarata 在 OpenAI 时立过功，功劳就是证明神经网络难以理解。现在他在 Goodfire，转身说整个领域都错了。

神经网络由一堆神经元组成，过去研究发现一个神经元会对完全不相关的东西有反应，比如猫脸、猫腿、车头。大家以为神经元被塞满了杂七杂八的功能。

Cammarata 现在发现，那个神经元其实只认 V 字形——猫脸有 V，车头有 V，连火焰和水柱都是 V。网络不是乱麻，是干净的。

是希望，但也可能是过度乐观

链式反应很直接：能读神经元的内部机制，就能防止 AI 失控。OpenAI 的人说这是多年来最让人乐观的消息。

但 DeepMind 的 Neel Nanda 泼了冷水：就算给每个神经元标好功能，也不等于理解了整个网络。你认识所有朋友，但猜不到他们会不会在生日派对上吵架。

这篇博客不是同行评审，研究的主要是视觉模型，比语言模型简单。而且理解 AI 的内部结构，不等于能控制 AI。

真正的黑箱或许是 OpenAI 和 Anthropic 这些公司。他们一边说不知道自己在造什么，一边把技术往极端推。没有监管，只有他们自己能决定停不停。