模型指南官方文档3 分钟阅读模型组合页

引用预算 1.2 万–3.2 万的对话模型配 jina-embeddings-v5-omni-nano / jina-clip-v2 的分段与引用口径

quoteMaxToken 是对话模型可承载的引用内容总token预算,本档对话模型的该参数区间覆盖12000至32000 tokens。

这一档模型的参数意味着什么

quoteMaxToken 是对话模型可承载的引用内容总token预算,本档对话模型的该参数区间覆盖12000至32000 tokens。该预算区间可支持在单次对话中整合较多的知识库检索内容,适配长上下文需求的知识库应用场景,能够在多轮对话中持续承接检索得到的上下文信息,避免频繁截断关键内容,保障回答的完整性与连贯性。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配向量模型默认的单段分词长度,适配基础分块场景
maxToken8000 tokens遵循向量模型允许的单段最大输入限制,保障单段内容完整录入
quoteMaxToken12000-32000 tokens匹配对话模型的引用预算区间,适配该档模型的上下文承载能力
chunkSize512 tokens 或 8000 tokens对应向量模型的默认或最大单段长度,可根据语义完整性需求选择
重叠长度10%-20% 分块长度保障相邻分块的语义连贯性,避免关键信息被截断在分块边界
单次搜索上限按对话模型引用预算测算结合总token预算调整召回的知识库条目数,防止超出引用限制

这两者互相约束的地方

按默认每段512 tokens计算,结合对话模型12000至32000的引用预算,一轮对话最多可容纳23至62段检索到的知识库内容。若将单段长度调整至向量模型允许的上限8000 tokens,则一轮仅可容纳1段及以上内容。每段越长,单段语义完整性越强,但单次可承载的总段数越少;每段越短,总段数越多,但单段上下文的语义连贯性越弱。此外,更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与原向量模型绑定,旧索引无法适配新模型的编码逻辑。

容易做错的三处

  • 检索返回的内容被自动截断。原因是未结合对话模型的quoteMaxToken预算调整召回的知识库片段总长度。
  • 知识库索引构建失败。原因是设置的分块长度超出了向量模型允许的maxToken上限。
  • 更换向量模型后检索结果匹配度大幅下降。原因是未重建索引,旧索引的向量特征与新模型的编码逻辑不匹配。

怎么确认配好了

  • 进入知识库配置界面,核对quoteMaxToken、分块长度等核心参数的取值是否与选定模型匹配。
  • 提交测试检索请求,确认返回的片段总token数未超出对话模型的引用预算。
  • 测试多模态内容的检索与引用,验证多模态向量模型的功能正常生效。
  • 查看分块重叠长度的设置,确认相邻片段的语义衔接无明显割裂。