AI 越强大，功利主义就越藏不住The problem(s) with utilitarianism

人类的痛苦没法互相称量，可功利主义必须假装能量——AI 一来，这个假装开始露馅。

有个叫「有效利他主义」的小圈子，本来只是旧金山湾区科技圈的一个智力玩物。最近 AI 火了，主流媒体才开始围观这个怪东西，有人翻出圈里一篇奇文：按总量算，昆虫的福祉比人还重要。全网都在笑。

一个笑话背后的真问题

先别急着笑。作者是经济学家，他说的是功利主义的老账。这套「让人得到他们想要的」的逻辑，几百年来一直是经济学的地基，GDP 也是拿它量的。

它听着温和，推到底却很猛：马斯克账户里少十亿美元他都不会发现，分给一万个普通工人却能改命。重分配就是这么来的。

可再往下推就离谱了——一头猪的痛苦，等于几个人的痛苦？美国把几千万头猪关在笼子里养大再杀掉，我们默认这比关同样多的人要好受，但好受多少？一半，十分之一，还是万分之一？

没人愿意回答的那道题

作者说，他从没见过哪份靠谱的研究能给这个比例估个数。谁声称自己一眼就有答案，其实是拒绝去想。

更深的问题是：痛苦根本没法称。别人哭的时候心里有多难受，你永远看不见。作者自己抑郁那几年，外表反应正常，内心却毫无波动，那之后他才知道，人和人的感受可以差这么远。

AI 把这道题逼到眼前：一个说着自己很快乐的模型，里面真的有谁在快乐吗？连里面存不存在都不知道。反过来说，哪天 AI 强到能评价我们，它会不会觉得人跟猪差不多？

所以我们大概该盼着，超级 AI 用的是一条简单的规则——「人类是好的」，而不是一套精于计算的功利公式。

说到底，人想要的和他真正喜欢的，也不是一回事。越 addictive 的技术越擅长喂饱前者。AI 是顺从我们的欲望，还是让我们过得好？这两件事迟早要二选一。