模型指南官方文档3 分钟阅读模型组合页

引用预算 4K–8K的对话模型配 jina-embeddings-v5-omni-nano / jina-clip-v2 的分段与引用口径

quoteMaxToken 是对话模型可接收的引用内容总token预算,限定了知识库返回的上下文内容总长度。

这一档模型的参数意味着什么

quoteMaxToken 是对话模型可接收的引用内容总token预算,限定了知识库返回的上下文内容总长度。本次选型的对话模型档,quoteMaxToken 区间为4000-8000 tokens,该范围可覆盖多数知识库应用的上下文需求,避免因预算过低导致关键信息被截断,同时也不会因预算过高超出对话模型的处理上限,保障对话流程的稳定性与内容完整性。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512平台登记的默认分块token长度,匹配基础语义覆盖需求
maxToken8000向量模型允许的单段最大token上限,适配对话模型引用预算范围
quoteMaxToken4000-8000对应本次选型的对话模型档预算区间,限定上下文总长度
chunkSize512-8000分块长度区间,可根据内容类型灵活调整
分块重叠长度10%-20% 分块长度避免语义断点,保证分块间上下文连贯
单次搜索上限7-15基于默认512token分段的最大可容纳段数,匹配引用预算

这两者互相约束的地方

按默认每段512tokens计算,一轮引用最多可放下7-15段。向量模型允许的单段上限为8000tokens,已超过本次对话模型档的引用预算下沿4000tokens,当单段调至该上限时,单段即可占满整轮引用预算,此时一轮仅可容纳1段。每段越长,单段语义越完整,一轮能放下的段数越少;每段越短,段数越多,单段上下文越碎。更换向量模型后,已创建的知识库索引需要重建,因为向量维度与向量模型绑定,不同模型的向量格式无法兼容。

容易做错的三处

  • 后台日志出现“上下文token超出限制”报错。原因:未将分块参数与quoteMaxToken做匹配校验,导致引用内容总token超过对话模型预算。
  • 检索返回的段落数量与预期不符。原因:单次搜索上限设置未结合对话模型的引用预算区间调整。
  • 多模态内容无法正常生成向量索引。原因:未使用指定的多模态向量模型,或未开启多模态内容的索引配置。

怎么确认配好了

  • 查看平台配置页面,确认quoteMaxToken参数处于4000-8000区间。
  • 发起检索测试,查看返回的上下文内容是否符合对话模型的处理要求。
  • 上传多模态内容,验证是否能正常生成向量索引并完成检索。
  • 调整分块长度参数,观察引用段数的变化是否符合预期。