首页/问答/分块
TOKEN LAB / 分块

分块怎么做?2026 步骤指南

处理分块先确认输入/格式和输出要求,再按步骤操作并检查结果。

更新 2026-10-31约 3 min本地测试
一句话答案

处理分块先确认输入/格式和输出要求,再按步骤操作并检查结果。 按语义/标题分块,控制每块 token。

为什么重要

先定输出,能避免做完才发现格式/尺寸/质量不对。

重叠窗口提高召回但更贵。

具体怎么做

  1. 先确认模型上下文和输出预算。
  2. 粘贴提示词/文档,估算 tokens 与占用。
  3. 超过 80–90% 就拆分、摘要或检索。
  4. 系统提示/工具 schema 也要计入。
  5. 计费/硬限制用官方 tokenizer 复核。

常见错误

  • 把字符数当 token 数。
  • 忽略输出/系统提示占用。
  • 以为所有模型 tokenizer 一样。
  • 长文档整段塞入,不检索/摘要。

检查清单

  • 模型上下文已确认。
  • 输出预算已预留。
  • 系统提示/工具已计入。
  • 长文已检索/分段。
  • 关键场景用官方 tokenizer 复核。

关键事实

  • 重叠窗口提高召回但更贵。
  • 代码按函数/文件分。

常见问题

分块怎么做?

处理分块先确认输入/格式和输出要求,再按步骤操作并检查结果。 按语义/标题分块,控制每块 token。

检测要多久?

通常 1–3 分钟;如果问题间歇出现,连续测 30 秒并换环境复测。

会上传数据吗?

本页在浏览器本地运行,不上传画面/声音;扩展仍可能读取页面。

来源: RAG chunking