你的语言在给AI交一笔隐形税AI models cost more when you don’t use English

一项新研究发现，AI处理部分语言所需的token远多于英语，导致非英语使用者成本更高、上下文更短、响应更慢。

用英语之外的语言跟AI打交道，可能要悄悄多付一笔钱。一家叫CLEAR的研究联盟上个月发了份研究，管这叫「分词器税」。

同一个意思，切出更多块

模型不认字，只认token——它把文本、图像、音频切成的小块。切得越碎，处理起来越费劲。

研究拿20种最常见网络语言比，最贵的那种用的token是最便宜的1.5到5倍。扩到200种语言，某个模型上的差距冲到17倍。

问题不只在冷门。缅甸语、藏文、高棉语这类分词器见得少的文字，几乎在所有模型里都最吃亏。

吃亏的不只是账单

token多意味着响应更慢、能装进上下文的东西更少。一位印度AI基金合伙人打了个比方：好老师得记住学生之前错在哪，可这历史在有些语言里几口就把窗口吃光了。

CLEAR算了一笔账：班加罗尔的创业公司每发一次请求都要多交钱，奥斯汀的对手不用。

有人指出token价格在快速下跌，直接成本会慢慢变轻。但真正的解法是实验室在设计分词器时，就认真对待这些语言和文字。