模型指南官方文档3 分钟阅读模型组合页

引用预算 5 万–12.8 万的对话模型配 jina-embeddings-v5-omni-nano / jina-clip-v2 的分段与引用口径

本次选型的对话模型档包含AntLing系列、Baichuan系列、ChatGLM系列等共90个模型,其quoteMaxToken指单轮对话中可引用的知识库内容总token预算,50000–128000 tokens的区间覆盖了多数长上下文知识库的引用需求。

这一档模型的参数意味着什么

本次选型的对话模型档包含AntLing系列、Baichuan系列、ChatGLM系列等共90个模型,其quoteMaxToken指单轮对话中可引用的知识库内容总token预算,50000–128000 tokens的区间覆盖了多数长上下文知识库的引用需求。在知识库应用中,该预算可支撑复杂文档、长报告类内容的完整引用,无需频繁截断核心信息,适配多轮对话中需要调取大量分段知识的场景,提升回答的信息完整性与连贯性。

配 Jina 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配该Jina系列多模态向量模型默认的单段token长度,无需额外调整即可适配基础分块逻辑
maxToken8000匹配该Jina系列多模态向量模型允许的单段最大输入token上限,避免分块超出模型支持范围
quoteMaxToken50000–128000匹配当前选型的对话模型引用预算区间,确保可引用内容符合模型上下文限制
分块长度512 或 8000对应向量模型的默认token长度或单段最大上限,可根据语义完整性需求选择
重叠长度64–128保留相邻分块的语义重叠,避免关键信息被分块截断
单次搜索上限按需调整控制单次检索返回的分段数量,结合引用预算平衡召回范围与上下文长度

这两者互相约束的地方

当前选型下,按默认每段512 tokens计算,一轮引用最多可容纳97–250段;若将分块长度调整至向量模型允许的8000 tokens上限,仅可容纳约6段。分块长度越长,单段包含的语义信息越完整,但一轮可引用的分段数量越少;分块长度越短,可引用的分段数量越多,但单段上下文的完整性越弱。更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与向量模型绑定,旧索引无法适配新模型的编码逻辑。

容易做错的三处

  • 界面显示引用内容超出限制却未触发截断提示。原因:未将quoteMaxToken配置为对应对话模型的预算区间,导致系统无法正确校验引用总token数。
  • 分块后的内容无法被向量模型正常编码。原因:分块长度超出了向量模型maxToken的上限,导致输入token超限。
  • 检索结果相关性不足且未调整相关参数。原因:未根据场景设置合理的最低相关度阈值,或单次搜索上限配置过低导致召回范围不足。

怎么确认配好了

  • 查看向量模型配置页面,确认defaultToken、maxToken的取值与当前选型匹配。
  • 检查知识库集合的分块配置,确认分块长度未超出向量模型的maxToken限制。
  • 测试单轮对话,查看引用内容的总token数未触发对话模型的quoteMaxToken限制。
  • 上传包含图片的测试文档,确认可正常生成多模态向量索引。