同一句话，用中文说和用英文说，价格不一样。这件事很少被讨论，因为它藏在计费表的一行小字里：按 token 计费。
我先说清楚方法，免得被当成普适结论。三组内容相近的句子，五个语种，一个词表 cl100k_base。样本不大，结论只指向方向，不指向精确倍数。
结果是：英语合计69个 token，中文96个。折算成百分比，中文是英语的139%，日语243%，韩语223%。换一个角度更刺眼，英语平均每个 token 装5.33个字符，中文只有0.94个。这不是笔误，是分词器的设计结果。它是一笔税，但没有征收者，没有机构在收，只有人在付，付给的是词表里那个默认语言。
一、分词器决定了你为哪部分付费
大模型不认识字，只认识 token。文本进来第一件事是切分，把句子切成词表里存在的片段，每个片段一个编号，编号进模型，价格按编号算。词表从语料里统计高频片段得来，训练语料以英文为主，词表自然偏向英文。常见英文单词可以整词一个 token，中文没有空格，词表覆盖有限，只能退回按字甚至按字节切。
字节层面的事更清楚。一个英文字母占一个字节，一个汉字在 UTF-8 里占三个字节。词表里没有收录这个词，最坏情况就按字节算，一个汉字变成三个 token。这解释了上面那组数：中文的字符成本被结构性地抬高了。
需要说明，cl100k_base 是 OpenAI 的词表，国产模型的词表另一套，倍数不能直接搬用。但机制是通用的：谁的语料多，词表就对谁友好。换句话说，分词器不是中立的翻译层，它是一套计价规则，规则由谁定，谁就决定谁多付。《贸易的真相》里有个判断我印象很深：贸易冲突表面上是国家之间的竞争，实质上是规则决定谁受益、谁受损。这句话挪到分词器上几乎不用改。
二、为什么直到 agent 时代才开始痛
这个税率一直存在，过去几年却几乎没人抱怨。原因在计费方式，订阅制把 token 成本包进月费，用户感知不到单次调用的边际成本。你写一段中文写一段英文，付的钱一样，差别被平台吸收了。到了 API 和 agent，这层缓冲没了。一个中文 agent 任务要读中文文档、写中文回复、跑中文工具调用，每一步都按 token 结算。同样的任务，中文版本的成本可能是英文的139%到243%。
2026年10月27日，Techmeme 转述了 Rest of World 的一项研究，说最贵的语言比最便宜的语言要多消耗1.5倍到5倍的 token，用的词就是 tokenizer tax。这是二次转述，我没读到原文，只能当作方向性参照，它覆盖的语种比我的样本多，结论方向一致。
agent 放大的不只是倍数，是频率。一次对话可能几千 token，一个 agent 每天跑几百次工具调用，消耗量是数量级的变化。税率乘上频率，才是账单。
三、谁在付，谁能退
这笔钱没有收据，流向却很清楚。它变成了模型厂商的毛利，也变成了英语用户的隐性补贴。对国产模型来说，这是一个结构性机会。中文优化过的分词器在中文任务上 token 效率更高，叠加更低的单价，形成双重优势。这不是营销，是账算出来的。
优势也有保质期。分词器可以换，词表扩充、多语言平衡采样都会压缩差距。一旦主流厂商把中日韩的 token 效率拉到接近英语，套利窗口就关了。另一个方向更值得警惕：如果厂商发现按语言差异化定价更赚钱，税率会被直接写进价目表，同样的服务中文单价更高。目前还没人这么干，商业逻辑上却通。
四、不是歧视，是规模效应的冻结
把这件事说成中文被歧视，情绪上痛快，解释力不够。这是势的问题，不是道德问题。准确的说法是，中文用户在为一套冻结在词表里的规模效应付费。
冻结的意思是机制上的。词表是一次性训练的产物，扩充词表等于重训模型，成本按算力算。英语语料多，高频片段多，词表对英语友好，这是规模效应；词表训练完就固定，后来的人改不动，这是冻结。历史上这类事出现过两次很像的：ASCII 只收录128个字符，中文被迫另建编码；域名系统最初不支持非拉丁字符，后来才补上国际化域名。解决方式都一样，不是让少数语言适应旧标准，是把标准扩到能容纳它们。
真正的解法不是让中文用户少说话，是让分词器多认字。技术不难，难在动机，谁都没有动力为少数语言重训词表，除非那部分收入的增速超过重训成本。佩奇在《多样性红利》里说，多样性有价值，但价值取决于有没有一个能容纳多样性的结构。词表就是那个结构，它现在是单语的。
五、三情景
基准情景：主流厂商继续优化多语言分词器，中日韩的 token 效率逐步靠近英语，差距从200%以上收敛到150%以内，但不会完全消失。上行情景是按任务计价取代按 token 计价，税率被显性化，用户至少能看见自己付了什么。下行情景是差距不收窄，反而因为 agent 规模化被固化，中文用户长期支付更高的单位成本，本地模型靠价格优势吃下这部分市场。
证伪条件
下一代主流分词器把中日韩的 token 效率压到英语的120%以内，或者按任务计价成为主流，本文的判断就要下调。
国产模型在中文任务上的价格优势，如果在分词器差距收窄之后仍然维持，说明优势来源不是 token 效率，归因需要重写。
参考资料
- 自测数据：cl100k_base 分词器，三组中英日韩西对照句，2026年10月28日。
- Techmeme 2026-10-27 转述 Rest of World 关于 tokenizer tax 的研究（二次转述）。
- OpenAI GPT-6.1 Terra 定价，每百万输入1美元、输出5美元。
- 丹尼·罗德里克《贸易的真相》，规则与分配。
- 斯科特·佩奇《多样性红利》，多样性发挥作用的条件。