GUIDE深度 · Deep dive
上下文预算:输入、输出和系统提示
上下文窗口是输入+输出共享的预算。系统提示、工具 schema、检索片段、对话历史和模型输出都要占 token;把输入塞到 100% 会导致截断/报错。通常给输出留 20–40%,长文档先检索/摘要。
预算分配
系统提示/工具:固定开销。
检索片段:只放相关块。
输出:留 20–40%。
超限处理
先摘要/裁剪历史。
分段处理再汇总。
减少工具 schema/示例。
常见问题
128k 就是 128000 token 吗?
通常是近似值,且输入+输出共享;以模型文档为准。
输出也占上下文吗?
占;生成长文本时要预留。