模型指南官方文档3 分钟阅读模型组合页

引用预算 5 万–12.8 万的对话模型配 jina-embeddings-v5-omni-small 的分段与引用口径

quoteMaxToken 是引用内容的 token 预算,限定了单次对话中可引用的所有内容的总 token 数量。

这一档模型的参数意味着什么

quoteMaxToken 是引用内容的 token 预算,限定了单次对话中可引用的所有内容的总 token 数量。这一档模型的区间覆盖 50,000–128,000 tokens,意味着可以承载较多的上下文引用内容,适配需要整合多段文档信息的知识库对话场景,能够支持复杂的多轮上下文关联,无需频繁截断召回内容,提升对话的信息完整性。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配向量模型登记的默认每段长度,符合基础分块的通用设置
maxToken32000遵循向量模型允许的单段最大 token 上限,支持长文本分块需求
quoteMaxToken50000–128000贴合当前对话模型档的引用预算区间,确保召回内容不超出模型上下文限制
分块长度512–32000覆盖向量模型的单段 token 范围,可根据业务场景灵活调整
分块重叠长度10%–20%分块长度保留相邻分块的语义衔接,避免关键上下文被拆分断裂
单次搜索上限匹配总 token 预算的召回条数结合分块长度与引用预算调整,确保单次召回的总 token 不超限制

这两者互相约束的地方

对话模型的引用预算与向量模型的分块参数存在直接约束关系。按默认每段 512 tokens 计算,一轮引用最多能放下约 97–250 段;如果把每段调到向量模型允许的上限 32000 tokens,只能放下约 1 段起。每段越长,单段语义越完整、一轮能放下的段数越少;每段越短,段数越多、单段上下文越碎。此外,向量模型与索引维度绑定,更换向量模型后已创建的索引需要重新构建,否则无法正常完成检索。

容易做错的三处

  • 现象:检索返回的引用内容被系统截断。原因:未按照对话模型的quoteMaxToken设置单次搜索的总 token 预算,导致召回内容累计超出模型的上下文限制。
  • 现象:长文本分块后出现关键信息断裂。原因:分块长度设置过小或分块重叠长度不足,导致相邻分块的语义衔接被破坏。
  • 现象:更换向量模型后无法检索到原有索引内容。原因:未意识到向量模型与索引维度绑定,未重建索引直接复用原有数据。

怎么确认配好了

  • 核对配置页面中各参数的取值与选型组合的建议值是否一致。
  • 提交测试文本,查看系统生成的分块结果是否符合预设的分块逻辑。
  • 发起模拟对话,检查系统引用的上下文内容是否符合预期的长度限制。
  • 验证更换向量模型后的索引重建流程是否正常触发并完成。