模型指南官方文档3 分钟阅读模型组合页

引用预算 4K–8K的对话模型配 jina-embeddings-v5-text-nano / jina-embeddings-v3 的分段与引用口径

quoteMaxToken是指系统可调用的上下文引用内容的总token预算,限定了单次问答中嵌入到提示词的引用内容总长度。

这一档模型的参数意味着什么

quoteMaxToken是指系统可调用的上下文引用内容的总token预算,限定了单次问答中嵌入到提示词的引用内容总长度。当前对话模型档的quoteMaxToken区间为4000-8000 tokens,意味着该配置下可承载中等长度的上下文召回结果,既能覆盖多数通用知识库的问答需求,又能合理控制推理过程中的token消耗,避免因上下文过长导致模型推理异常。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配该向量模型登记的默认每段长度,适配基础语义分块的常规需求
maxToken8000采用该向量模型支持的单段最大token上限,可灵活覆盖更长语义单元的分块需求
quoteMaxToken4000-8000贴合当前对话模型档的引用预算区间,匹配模型的上下文承载能力
分块长度512-8000结合向量模型单段上限与对话模型引用预算,可灵活调整以平衡语义完整性与引用容量
重叠长度64-128避免分块截断关键语义单元,保障召回上下文的连贯性
单次搜索上限7-15按默认512token分段时,对应对话模型引用预算可容纳的最大段数

这两者互相约束的地方

按默认每段512tokens计算,一轮引用最多可容纳7-15段内容。向量模型允许的单段上限是8000 tokens,已经超过这一档引用预算的下沿4000 tokens,每段调到上限时,一段就可能占满整轮引用预算。当调整分块长度时,段长与段数呈现反向约束:每段越长,单段语义完整性越强,但一轮能放下的段数越少;每段越短,可容纳的段数越多,但单段上下文的语义完整性越弱。当更换向量模型时,由于向量维度与模型绑定,已创建的知识库索引需要重新构建,否则无法适配新的向量模型计算逻辑。

容易做错的三处

  • 出现引用内容被意外截断的现象,原因是未匹配对话模型的quoteMaxToken区间,导致总引用token超出模型承载范围。
  • 向量召回结果与预期语义不符,原因是未根据向量模型的maxToken调整分块长度,导致单段token超出模型支持上限。
  • 更换向量模型后未重建索引,原因是未意识到向量维度与模型绑定,旧索引无法适配新模型的向量计算逻辑。

怎么确认配好了

  • 查看知识库集合的配置面板,确认分块长度、重叠长度的设置符合推荐配置区间。
  • 检查对话模型绑定参数,确认quoteMaxToken取值处于当前模型档的区间范围内。
  • 测试单次问答流程,查看返回的上下文引用未出现异常截断提示。
  • 验证向量模型绑定配置,确认defaultToken与maxToken匹配对应参数要求。