模型指南官方文档3 分钟阅读模型组合页

引用预算 50 万–1000 万的对话模型配 BAAI/bge-m3 的分段与引用口径

quoteMaxToken 是单轮对话中可注入的上下文引用内容的总token预算,限定了引用内容的整体长度上限。

这一档模型的参数意味着什么

quoteMaxToken 是单轮对话中可注入的上下文引用内容的总token预算,限定了引用内容的整体长度上限。这一档50万至1000万token的预算区间,适配多数中长上下文的知识库问答场景,能够覆盖多文档关联检索、长文本拆解分析等常规需求,无需频繁截断引用内容,保障回答的上下文连贯性与信息完整性,平衡了上下文丰富度与模型推理性能。

配 Siliconflow 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配BAAI/bge-m3的默认分段配置,无需额外调整即可兼容平台原生向量处理逻辑
maxToken8000 tokens匹配BAAI/bge-m3的单段最大输入限制,避免分段超出模型处理上限导致索引失败
quoteMaxToken500,000–10,000,000 tokens适配当前档位对话模型的引用预算区间,保障上下文引用的总长度符合模型要求
chunkSize512 tokens 或 8000 tokens可根据业务需求选择,对应两种分段策略的基准长度
分块重叠长度10%-20%的分块长度避免语义片段被截断,保障检索时的上下文连贯性
单次搜索上限按分段长度与引用预算计算的合理区间控制单次检索返回的片段数量,防止总引用内容超出token预算
最低相关度预设阈值区间过滤低相关性片段,减少无效token占用,优化上下文利用率

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可容纳约976–19,531段;若将分段长度调整至向量模型允许的8000 tokens上限,则仅可容纳约62段。分段长度直接影响上下文的完整性与可用段数:每段越长,单段语义越完整,但一轮能承载的总段数越少;每段越短,总段数越多,但单段上下文的语义完整性越弱。若更换向量模型,因向量维度与模型绑定,已创建的知识库索引需要重新构建,否则将无法正常完成检索。

容易做错的三处

  • 检索返回片段总token超出quoteMaxToken后被强制截断,原因是未根据分段长度调整单次搜索上限,导致总引用内容超出模型预算。
  • 知识库索引构建失败,原因是分段长度超出maxToken限制,未匹配向量模型的单段输入上限。
  • 检索结果中混入大量低相关性片段,原因是未设置合理的最低相关度阈值,无效片段占用了过多token预算。

怎么确认配好了

  • 进入向量模型配置界面,核对defaultToken与maxToken的当前设置。
  • 查看知识库分块管理页面,确认chunkSize的取值符合预设策略。
  • 发起模拟检索与问答,观察上下文引用的加载状态是否正常。
  • 导出检索日志,检查片段引入与token消耗的记录是否符合预期。