模型指南官方文档3 分钟阅读模型组合页

引用预算 50 万–1000 万的对话模型配 Embedding-V1 的分段与引用口径

quoteMaxToken是单轮对话中可引入的上下文引用内容的总token预算,限定了所有召回片段的总token数不得超过该值。

这一档模型的参数意味着什么

quoteMaxToken是单轮对话中可引入的上下文引用内容的总token预算,限定了所有召回片段的总token数不得超过该值。本次选型的引用预算区间覆盖50万至1000万tokens,适配了中长上下文的知识库应用场景,能够支持复杂的多章节、长文档检索引用,无需频繁截断上下文内容,保障对话回答的完整性与连贯性,满足多数企业级知识库的长对话交互需求。

配 Ernie 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配Embedding-V1的默认每段处理长度,符合模型原生输入规范,兼顾语义完整性与分块效率
maxToken1000 tokens符合Embedding-V1官方限定的单段最大输入token上限,避免触发模型输入超限报错
quoteMaxToken500,000–10,000,000 tokens匹配当前档对话模型的引用预算区间,适配对话模型的上下文承载能力
chunkSize512–1000 tokens可根据需求在Embedding-V1的单段上限范围内调整,默认取512 tokens平衡效果与性能
分块重叠长度100–200 tokens减少分块导致的语义断裂,保障相邻分块间的上下文衔接自然
单次搜索上限不超过当前quoteMaxToken除以最小单段token数控制单次召回的总token不超出对话模型的引用预算,避免上下文溢出

这两者互相约束的地方

当引用预算与向量模型参数结合时,会形成明确的约束关系。按默认每段512 tokens计算,一轮引用最多可放下约976–19,531段;若将每段调整至向量模型允许的上限1000 tokens,则仅能放下约500段。每段越长,单段承载的语义信息越完整,但一轮可容纳的总段数越少;每段越短,总段数越多,但单段上下文的完整性越弱,可能增加检索后的语义拼接成本。若更换向量模型,因向量维度与模型绑定,已创建的知识库索引需要重新构建,否则将无法正常匹配新的向量模型。

容易做错的三处

  • 界面提示引用内容超出限额,日志中出现token超限报错。原因是未根据对话模型的quoteMaxToken调整单次召回的总token数,导致引入的上下文总长度超出限额。
  • 检索结果出现大量语义重复的片段。原因是分块重叠长度设置不合理,或者未结合向量模型的单段上限调整分块长度,导致分块边界混乱。
  • 索引构建失败或检索匹配度异常。原因是更换向量模型后未重建知识库索引,导致向量维度不匹配。

怎么确认配好了

  • 进入模型配置页面,核对defaultToken、maxToken与所选向量模型的官方参数匹配。
  • 查看知识库集合的分块设置,确认分块长度未超出向量模型的单段token上限。
  • 检查对话模型的引用预算参数,确认已设置为当前档的对应区间。
  • 发起包含多段召回内容的测试对话,确认上下文可正常加载且无报错。