GUIDE深度 · Deep dive
Tokenizer 差异:英文、中文、代码
不同模型的 tokenizer/词表不同:英文常见 4 字符/token,中文可能 1–2 字/token,代码/符号/emoji 更碎。字符数只能粗略估计;计费和硬限制必须用对应模型 tokenizer。
常见偏差
中文比英文更“费”token。
代码缩进/符号会增加 token。
emoji/罕见字符可能多 token。
怎么估
英文按 4 字符/token。
中文按 1.5–2 字符/token。
关键场景用官方 tokenizer 复核。
常见问题
为什么估算和账单不一致?
tokenizer/工具/输出/缓存规则不同;以账单为准。
中文一定更贵吗?
按字符通常更费;按信息量要看模型和内容。