模型指南官方文档3 分钟阅读模型组合页

引用预算 19 万–35 万的对话模型配 jina-embeddings-v5-omni-nano / jina-clip-v2 的分段与引用口径

quoteMaxToken 是知识库引用内容的总 token 预算,限定了单次对话中可纳入上下文的所有引用内容的累计 token 上限。

这一档模型的参数意味着什么

quoteMaxToken 是知识库引用内容的总 token 预算,限定了单次对话中可纳入上下文的所有引用内容的累计 token 上限。这一档 190000–350000 tokens 的区间,能够支撑大容量的上下文召回,适配多段落、长文档的知识库场景,无需频繁截断核心信息,可满足复杂多轮对话的上下文积累需求,同时与多模态向量模型的内容索引形成匹配,支撑跨模态的知识库应用。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配向量模型默认的单段分词长度,保证基础分块与向量编码对齐
maxToken8000 tokens匹配向量模型允许的单段最大 token 上限,避免分块超出编码限制
quoteMaxToken190000–350000 tokens匹配当前对话模型档的引用预算上限,严格遵循选型范围
chunkSize512 tokens 或 8000 tokens可根据业务场景选择,对应两种分段策略的基准长度
分块重叠长度50–100 tokens保留相邻分块的语义衔接,避免关键信息被截断在分块边界
单次搜索上限与引用预算匹配的合理区间控制单次召回的总 token 不超出 quoteMaxToken 的限制

这两者互相约束的地方

当该档对话模型与 Jina 向量模型组合时,引用预算与分块长度形成双向约束。按默认每段 512 tokens 计算,一轮引用最多可容纳 371–683 段;若将分块长度调整至向量模型允许的 8000 tokens 上限,则仅可容纳约 23 段。每段越长,单段承载的语义信息越完整,但一轮可放置的段数越少;每段越短,可容纳的段数越多,但单段上下文的完整性越弱。更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与编码逻辑与原模型绑定。

容易做错的三处

  • 界面显示引用内容超出限制,原因是未按照选型档的 quoteMaxToken 设置总引用 token 预算,导致召回内容累计 token 超出对话模型的上限。
  • 部分长文本的语义连贯性缺失,原因是分块长度设置不当,未匹配向量模型的 maxToken 或 defaultToken 参数,导致关键信息被割裂。
  • 更换向量模型后索引无法正常召回,原因是未重新生成知识库索引,新向量模型的编码逻辑与原有索引不匹配。

怎么确认配好了

  • 查看对话模型的选型配置,确认 quoteMaxToken 处于 190000–350000 tokens 的区间内。
  • 核对向量模型的参数设置,确认 defaultToken 与 maxToken 匹配选型档的要求。
  • 测试分块功能,验证生成的分块长度符合预设的配置项。
  • 发起一次跨模态的知识库检索,确认图片与文本内容均可正常召回并纳入上下文。