GUIDE深度 · Deep dive

Tokenizer 差异:英文、中文、代码

不同模型的 tokenizer/词表不同:英文常见 4 字符/token,中文可能 1–2 字/token,代码/符号/emoji 更碎。字符数只能粗略估计;计费和硬限制必须用对应模型 tokenizer。

更新 2026-10-31 · 公式可核验

常见偏差

中文比英文更“费”token。

代码缩进/符号会增加 token。

emoji/罕见字符可能多 token。

怎么估

英文按 4 字符/token。

中文按 1.5–2 字符/token。

关键场景用官方 tokenizer 复核。

常见问题

为什么估算和账单不一致?

tokenizer/工具/输出/缓存规则不同;以账单为准。

中文一定更贵吗?

按字符通常更费;按信息量要看模型和内容。

数据来源

相关计算器

Token 计算器粘贴文本,按英文/中文/代码混合估算 tokens、字符、词和上下文占用;不需要 API Key。

更多指南

上下文预算:输入、输出和系统提示阅读指南