模型指南官方文档3 分钟阅读模型组合页

引用预算 5 万–12.8 万的对话模型配 BAAI/bge-m3 的分段与引用口径

当前档位对话模型的quoteMaxToken为50000–128000 tokens,代表单轮对话中可引用的知识库内容总token预算处于中等偏长区间。

这一档模型的参数意味着什么

当前档位对话模型的quoteMaxToken为50000–128000 tokens,代表单轮对话中可引用的知识库内容总token预算处于中等偏长区间。该区间能够适配多数中大型知识库的内容引用需求,可为长文本问答、多文档关联问答提供充足的上下文空间,避免因引用预算不足导致关键信息被截断,保障回答的完整性与连贯性。

配 Siliconflow 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配BAAI/bge-m3的默认分段设置,保障检索分段的基础一致性
maxToken8000遵循BAAI/bge-m3的单段token上限,避免分段超出模型处理范围
quoteMaxToken50000–128000适配当前档位对话模型的引用预算要求,确保引用内容总token不超限
分块长度512 / 8000对应两种核心分段策略,适配不同的语义完整性与召回数量需求
重叠长度100–200 tokens避免分段截断关键语义单元,保障相邻分段的上下文连贯性
单次搜索上限对应quoteMaxToken的分段占比区间控制单次召回的分段总token,防止超出引用预算

这两者互相约束的地方

当前组合下,按默认每段512 tokens计算,一轮引用最多可放下约97–250段;若将每段调整至向量模型允许的上限8000 tokens,则仅能放下约6段起。每段越长,单段承载的语义信息越完整,但一轮可容纳的分段数量越少;每段越短,可容纳的分段数量越多,但单段的上下文连贯性越弱。更换向量模型后,已创建的知识库索引需要重新构建,因为向量维度与向量模型绑定,旧索引无法适配新模型的向量提取逻辑。

容易做错的三处

  • 界面提示引用token超限,原因是召回分段的总token超过了quoteMaxToken的设置值,未匹配对话模型的预算要求。
  • 检索返回的分段内容语义不连贯,原因是分块长度与重叠长度设置不合理,导致关键语义单元被分段截断。
  • 向量检索结果与查询关联度偏低,原因是未遵循BAAI/bge-m3的maxToken限制,分块长度超出模型单段处理上限,导致向量提取出现偏差。

怎么确认配好了

  • 查看知识库集合的分块配置,确认分块长度与向量模型的参数设置匹配。
  • 检查对话模型的引用预算参数,确认取值处于当前档位的区间范围内。
  • 发起一次测试检索,查看召回分段的总token是否符合对话模型的预算要求。
  • 查看向量模型的索引状态,确认索引已基于当前配置完成构建。