大模型API按Token计费，但你是否知道，说中文可能比说英语更贵？最新研究揭示了一个残酷现实：不同模型的分词器对非英语文本的处理效率差异巨大，直接导致Token成本天差地别。这项由Aran Komatsuzaki（@arankomatsuzaki）发起的测试，首次量化了主流模型在非英语语言上的隐性开销，其中Anthropic的Claude模型在处理中文时Token消耗竟然比OpenAI高出71%，堪称“昂贵的中文”。
核心发现：谁在“歧视”非英语语言？
研究人员以经典论文《苦涩的教训》的翻译文本为基准，对比了多个模型在处理相同非英语内容时的Token生成量。结果令人咋舌：在处理中文时，Anthropic模型的Token消耗是OpenAI的1.71倍；印地语的情况更为夸张，高达3.24倍；阿拉伯语也达到2.86倍。这意味着，如果你用Claude处理中文长文档，账单可能比使用GPT-4o平白多出七成，堪称“语言税”。
模型对比：Gemini和Qwen最“公平”，Anthropic和Kimi垫底
在后续扩展测试中，研究人员纳入了更多模型-语言对。数据显示，Gemini和Qwen在处理非英语语言时额外开销最小，展现出更均衡的分词器设计。而Anthropic是额外开销最高的模型，Kimi紧随其后。值得注意的是，中国主流模型在处理中文时，Token效率甚至反超英语，体现出对母语文本的深度优化。印地语虽然拥有全球最多的母语使用者，但在所有测试模型中Token效率都是最低的，技术资源分配的不均衡在此暴露无遗。
为什么Token成本差异如此重要？
对于开发者与企业用户而言，Token效率直接转化为美元成本。尤其是在处理大规模非英语语料、多语言客服、跨境内容生产等场景中，选择模型不慎可能导致月账单轻松翻倍。这项研究提醒我们，模型选型不应只看Benchmark跑分，分词器的语言友好度同样是关键生产力指标。如果你主要服务中文用户，使用Qwen或Gemini可能比盲目迷信海外明星模型更省钱。
#Token成本 #大模型 #Anthropic #OpenAI #多语言
