模型指南官方文档3 分钟阅读模型组合页

引用预算 50 万–1000 万的对话模型配 jina-embeddings-v5-omni-nano / jina-clip-v2 的分段与引用口径

quoteMaxToken是对话模型可调用的引用内容总token预算,限定了单次对话中可注入的知识库片段总长度。

这一档模型的参数意味着什么

quoteMaxToken是对话模型可调用的引用内容总token预算,限定了单次对话中可注入的知识库片段总长度。本档模型的预算覆盖50万至1000万token区间,能够支撑中大型知识库的上下文注入需求,既可以满足长文档拆解后的多片段引用,也能适配复杂业务场景下的多轮对话上下文积累,为知识库应用的内容调用提供充足的token空间,适配多数知识库应用的常规调用需求。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配目标向量模型的默认分块长度,适配基础检索场景
maxToken8000遵循目标向量模型支持的单段最大输入token上限,确保单段内容语义完整
quoteMaxToken500000-10000000落在本档对话模型的官方预算区间内,适配不同规模的知识库调用需求
chunkSize512 或 8000可根据业务场景选择,短分段适配细粒度检索,长分段适配完整语义块
单次搜索上限随对话模型预算动态调整避免单次检索返回过多片段导致超出token预算
最低相关度自定义阈值过滤低相关片段,优化token使用效率

这两者互相约束的地方

按默认每段512tokens计算,一轮引用最多可容纳约976–19,531段内容;若将每段调整至向量模型允许的8000tokens上限,则仅可容纳约62段。每段长度的选择存在明显约束:每段越长,单段承载的语义越完整,但一轮可容纳的片段数量越少;每段越短,可容纳的片段数量越多,但单段上下文的完整性越弱。此外,更换向量模型后,已创建的知识库索引需要重新构建,因为向量维度与向量模型绑定,不同模型的向量表示逻辑存在差异,直接复用旧索引会导致检索匹配失效。

容易做错的三处

  • 检索返回的片段总token超出对话模型预算,导致对话流程中断或报错。原因:未根据对话模型的quoteMaxToken设置单次搜索的返回片段总上限,导致注入内容超限。
  • 知识库分块长度超过向量模型maxToken,部分长片段在向量化阶段被强制截断。原因:未将分块长度设置为不超过向量模型maxToken的取值,导致内容完整性受损。
  • 更换向量模型后未重建索引,检索结果出现异常匹配。原因:未意识到向量模型绑定向量维度与表示逻辑,未重建索引直接使用旧数据会导致匹配失效。

怎么确认配好了

  • 核对对话模型的quoteMaxToken配置,确认取值处于50万至1000万token的区间内。
  • 检查向量模型的参数配置,确认defaultToken与maxToken匹配目标向量模型的官方设定。
  • 创建测试知识库并设置分块长度,验证检索返回的片段总长度不会超出对话模型的token预算。
  • 模拟更换向量模型的操作,确认系统提示需要重建现有索引后再执行后续步骤。