模型指南官方文档3 分钟阅读模型组合页

引用预算 4K–8K的对话模型配 BAAI/bge-m3 的分段与引用口径

quoteMaxToken 是系统限定的可插入引用内容的总token额度,这一档4000至8000 tokens的区间,覆盖了多数中等长度的上下文需求。

这一档模型的参数意味着什么

quoteMaxToken 是系统限定的可插入引用内容的总token额度,这一档4000至8000 tokens的区间,覆盖了多数中等长度的上下文需求。该档位包含多类主流对话模型,既可以支撑整合多段背景信息的问答场景,也能适配需要少量补充内容的日常对话,为知识库应用的引用环节划定了合理的内容体量边界,保障模型调用的稳定性与合理性。

配 Siliconflow 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens平台登记的默认分段长度,适配多数通用知识库的内容粒度
maxToken8000 tokens向量模型支持的单段文本最大token上限,匹配对话模型引用预算的下沿
quoteMaxToken4000–8000 tokens对话模型限定的引用内容总token额度,为本组合的基础约束条件
分块长度512 tokens(默认)或按需调整对应defaultToken参数,决定单段内容的基础长度
重叠长度100–200 tokens保障相邻分块的语义连贯性,避免关键信息被分割在两段末尾与开头
单次搜索上限按实际需求设置需结合引用预算与分块长度综合调整,避免单次召回内容超出总额度
最低相关度按场景需求设置过滤低相关性召回内容,减少无效token占用引用预算

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可容纳7至15段内容。当单段长度调整至向量模型允许的8000 tokens上限时,单段即可占满对话模型的引用预算。每段越长,单段承载的语义信息越完整,一轮能放下的段数越少;每段越短,单段能承载的语义越碎片化,但一轮可容纳的段数越多。更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与向量模型绑定,旧索引无法适配新模型的向量计算逻辑。

容易做错的三处

  • 界面显示引用内容超出额度的报错提示,原因是召回的总token数超过了quoteMaxToken的限定值。
  • 单段内容过长导致向量计算失败,原因是单段token数超过了向量模型maxToken的上限。
  • 更换向量模型后未重建索引,导致检索结果异常或调用报错,原因是向量维度与原模型绑定,新模型无法读取旧索引数据。

怎么确认配好了

  • 核对配置页面的defaultToken、maxToken、quoteMaxToken参数是否与本组合的要求一致。
  • 发起一次包含多段背景内容的测试对话,观察是否出现与引用额度相关的异常提示。
  • 查看知识库分块的执行日志,确认分块长度符合预设的配置规则。
  • 若曾更换过向量模型,确认已执行索引重建操作并验证检索功能正常。