模型指南官方文档3 分钟阅读模型组合页

引用预算 5 万–12.8 万的对话模型配 jina-embeddings-v5-text-small / jina-embeddings-v4 的分段与引用口径

quoteMaxToken是单次对话中可引用的参考内容总token上限,本档5万至12.8万的区间,能够覆盖多数长文本知识库的上下文需求,可在单次交互中纳入较多合规的参考片段,适配多文档整合、长段落问答等场景,为对话提供充足的参考依据,保障回答的准确性与完整性。

这一档模型的参数意味着什么

quoteMaxToken是单次对话中可引用的参考内容总token上限,本档5万至12.8万的区间,能够覆盖多数长文本知识库的上下文需求,可在单次交互中纳入较多合规的参考片段,适配多文档整合、长段落问答等场景,为对话提供充足的参考依据,保障回答的准确性与完整性。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配向量模型登记的默认分段长度,适配多数常规知识库的分块配置
maxToken32000 tokens遵循向量模型允许的单段最大token上限,保障单段语义完整度
quoteMaxToken50000–128000 tokens匹配本档对话模型的引用预算区间,控制单次交互的参考内容总token消耗
chunkSize512–32000 tokens可根据业务场景灵活调整,短分段适配细粒度检索需求,长分段适配长文本场景
重叠长度10%–20% of 分块长度填补分块间隙,避免上下文被割裂,保障相邻片段的语义连贯性
单次搜索上限匹配对话模型引用预算确保检索返回的参考内容总token不超出对话模型的限制

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可容纳约97–250段参考内容;若将每段调整至向量模型允许的32000 tokens上限,则仅可容纳约1段起。每段长度越长,单段承载的语义信息越完整,但一轮可纳入的参考片段数量越少;每段长度越短,可容纳的片段数量越多,但单段上下文的完整性越弱。当更换向量模型时,由于向量维度与模型绑定,已创建的知识库索引需要重新构建,才能适配新的向量配置。

容易做错的三处

  • 检索返回片段总token超出对话模型限制,导致对话截断或报错。原因是未根据quoteMaxToken调整单次搜索上限,未控制参考内容的总token消耗。
  • 分块长度超过向量模型的maxToken上限,导致片段无法正常向量化。原因是未遵循向量模型的单段token限制,设置了过大的分块长度。
  • 未保留合理的重叠长度,导致相邻分块的语义衔接断裂,检索时出现上下文割裂的问题。原因是未配置或配置了过低的重叠长度,未保障片段间的语义连贯性。

怎么确认配好了

  • 查看知识库的分块配置,确认分块长度符合向量模型的单段token限制。
  • 核对对话模型的引用预算区间,确认与当前配置的quoteMaxToken匹配。
  • 测试单次检索返回的参考内容总token,确保未超出对话模型的限制。
  • 检查向量模型的绑定配置,确认与当前选用的jina向量模型参数一致。