模型指南官方文档3 分钟阅读模型组合页

引用预算 50 万–1000 万的对话模型配 jina-embeddings-v5-omni-small 的分段与引用口径

这一档模型的quoteMaxToken为引用内容的总token预算,50万–1000万的区间适配中大型知识库应用场景,可承载较多的上下文引用内容,无需频繁截断关键信息,能够满足复杂问答、多文档关联检索等场景的上下文需求,平衡了上下文丰富度与推理资源的占用。

这一档模型的参数意味着什么

这一档模型的quoteMaxToken为引用内容的总token预算,50万–1000万的区间适配中大型知识库应用场景,可承载较多的上下文引用内容,无需频繁截断关键信息,能够满足复杂问答、多文档关联检索等场景的上下文需求,平衡了上下文丰富度与推理资源的占用。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配向量模型登记的默认每段长度,保证分块与向量模型原生处理逻辑对齐
maxToken32000匹配向量模型支持的单段最大token上限,避免分块超出模型可处理范围
quoteMaxToken500000–10000000 tokens匹配当前对话模型档的引用预算区间,确保所有引用内容的总token不超限
chunkSize512 tokens 或 32000 tokens可根据场景选择短段或长段分块,适配不同的上下文完整性需求
重叠长度64–128 tokens补充相邻分块的语义关联,减少关键信息被分块截断的概率
单次搜索上限不超过quoteMaxToken与所选chunkSize的比值下限控制单次召回的分块总token不超出引用预算

这两者互相约束的地方

当对话模型档与该向量模型搭配时,按默认每段512 tokens计算,一轮引用最多可容纳约976–19,531段;若将每段调整至向量模型允许的32000 tokens上限,则仅能容纳约15段。分块长度越长,单段包含的语义信息越完整,但一轮可承载的分块数量越少;分块长度越短,可承载的分块数量越多,但单段上下文的完整性越弱。此外,更换向量模型后,已创建的知识库索引需要重新构建,因为向量维度与向量模型绑定,原有索引无法适配新模型的向量计算逻辑。

容易做错的三处

  • 界面显示引用内容被强制截断,原因是实际引用的总token超出了配置的quoteMaxToken预算。
  • 向量检索召回结果与预期语义不符,原因是分块长度设置超出向量模型的maxToken上限,导致分块被异常截断。
  • 更换向量模型后知识库无法正常检索,原因是未重建索引,原有索引的向量维度与新模型不匹配。

怎么确认配好了

  • 查看模型绑定配置,确认绑定的向量模型为jina-embeddings-v5-omni-small。
  • 进入分块设置页面,核对分块长度的预设值与计划配置一致。
  • 提交测试文档生成索引,检查分块结果的长度符合预期。
  • 发起测试问答,确认系统未弹出引用超限的提示信息。