模型指南官方文档3 分钟阅读模型组合页

引用预算 1.2 万–3.2 万的对话模型配 doubao-embedding-large-text-250515 / doubao-embedding-text-240715 的分段与引用口径

quoteMaxToken 是对话模型可承载的引用内容总token预算,限定了知识库召回内容的累计token上限。

这一档模型的参数意味着什么

quoteMaxToken 是对话模型可承载的引用内容总token预算,限定了知识库召回内容的累计token上限。当前档位的预算区间为12000至32000 tokens,既可以支撑中等规模的知识库召回需求,覆盖较多的相关文档片段,又能避免因预算过高导致模型处理负载超出合理范围,适配多数企业级知识库应用的上下文管理要求。

配 Doubao 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配向量模型默认分块长度,无需额外调整即可兼容基础检索场景
maxToken4096 tokens遵循向量模型单段输入上限,保证单段语义的完整性
quoteMaxToken12000–32000 tokens匹配当前对话模型档的引用预算区间,适配不同召回规模的业务需求
chunkSize512–4096 tokens可根据业务场景灵活调整,基础场景取512 tokens兼顾检索密度与语义连贯性,长文本场景取4096 tokens简化分块逻辑
分块重叠长度50–100 tokens减少分块之间的语义割裂,保证相邻片段的上下文衔接自然
单次搜索上限按引用预算测算的合理区间结合quoteMaxToken与单段token数确定,避免召回内容超出预算
最低相关度预设阈值区间过滤低相关性的召回内容,优化引用内容的整体质量

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可容纳23至62段;若将每段调整至向量模型允许的4096 tokens上限,仅可容纳约2段。每段越长,单段语义越完整,一轮能放下的段数越少;每段越短,段数越多,单段上下文越碎。同时,更换向量模型后,已创建的知识库索引需要重建,因为向量维度与向量模型绑定,旧索引无法适配新模型的向量计算逻辑,会导致检索功能异常。

容易做错的三处

  • 界面显示引用内容超出预算,召回片段被强制截断。原因是未按当前对话模型的quoteMaxToken设置调整单次搜索上限或分块长度,导致累计token超出预算。
  • 检索结果出现大量语义重复的片段。原因是分块重叠长度设置过高,导致相邻分块的内容重叠范围过大。
  • 更换向量模型后无法正常检索内容。原因是未重建已有的知识库索引,旧索引的向量维度与新选用的向量模型不匹配。

怎么确认配好了

  • 查看向量模型配置面板,确认maxToken与defaultToken的取值与当前选用的Doubao向量模型参数一致。
  • 执行分块测试操作,查看生成的文档分块长度是否符合预设的chunkSize设置。
  • 模拟对话场景,提交测试问题并验证召回内容的总token数未超出quoteMaxToken的预算范围。
  • 更换向量模型后,执行索引重建操作,确认检索功能恢复正常。