模型指南官方文档3 分钟阅读模型组合页

引用预算 19 万–35 万的对话模型配 jina-embeddings-v5-text-small / jina-embeddings-v4 的分段与引用口径

quoteMaxToken 是知识库应用中可引用内容的总 token 预算,本档对话模型的该参数区间为 190,000–350,000 tokens。

这一档模型的参数意味着什么

quoteMaxToken 是知识库应用中可引用内容的总 token 预算,本档对话模型的该参数区间为 190,000–350,000 tokens。该区间能够支撑较多数量的知识库片段整合,适配需要丰富上下文的问答场景,可承载多轮检索后的有效引用内容,无需因预算限制提前截断关键信息,为复杂问题的精准回答提供充足的内容空间。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配该向量模型的默认分段长度,适配基础检索场景的标准配置
maxToken32000匹配该向量模型支持的单段最大token上限,用于长文本片段的向量化处理
quoteMaxToken190000–350000匹配本档对话模型的引用预算区间,确保所有引用内容的总token不超出模型限制
chunkSize512 或 32000可根据场景选择短分段或长分段,平衡语义完整性与可引用的总段数
分块重叠长度64–128避免分块切断语义关联,保障相邻知识库片段的信息衔接连贯性
单次搜索上限按quoteMaxToken与分段长度动态调整防止单次检索返回的片段总token超出引用预算,避免内容被无故截断

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可放下约371–683段;若将每段调整至向量模型允许的上限32000 tokens,则仅可放下约5段。每段越长,单段语义完整性越强,但一轮可容纳的引用段数越少;每段越短,可容纳的段数越多,但单段上下文的连贯性越弱。更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与向量模型绑定,旧索引无法适配新模型的向量化逻辑。

容易做错的三处

  • 检索返回的片段总token超出quoteMaxToken导致内容被截断,原因是未根据引用预算调整单次搜索的返回段数。
  • 长文本被切分为过短的片段,导致语义关联断裂,原因是未合理设置分块长度与重叠长度参数。
  • 更换向量模型后未重建知识库索引,导致检索结果异常,原因是忽略了向量维度与向量模型绑定的约束。

怎么确认配好了

  • 核对对话模型的引用预算参数,确认处于本档区间内
  • 检查向量模型的单段最大token与分块长度配置,确认符合预设要求
  • 执行检索测试,查看返回的知识库片段是否正常加载且未出现异常截断
  • 验证系统在更换向量模型时,是否提示需重新生成知识库索引