模型指南官方文档3 分钟阅读模型组合页

引用预算 19 万–35 万的对话模型配 Embedding-V1 的分段与引用口径

quoteMaxToken 是对话模型允许的单次对话中引用内容的累计token预算,限定了可带入参考文档的总token上限。

这一档模型的参数意味着什么

quoteMaxToken 是对话模型允许的单次对话中引用内容的累计token预算,限定了可带入参考文档的总token上限。本档模型的预算区间为19万至35万tokens,能够承载较多的参考文档片段,适配需要整合多段长文本的知识库应用场景,减少重复检索的次数,让对话可以基于更完整的上下文生成回应,提升内容的连贯性与信息覆盖度。

配 Ernie 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens与Embedding-V1默认分段长度匹配,无需额外调整即可适配向量模型的默认输入要求
maxToken1000 tokens匹配Embedding-V1单段输入的最大token限制,避免分段超出模型处理上限
quoteMaxToken190000–350000 tokens遵循本档对话模型的官方参数区间,确保引用内容总token不超过模型预算
chunkSize512 tokens 或 1000 tokens可根据业务场景选择,对应向量模型的默认或最大分段长度
分块重叠长度64–128 tokens保留相邻分段的重叠内容,避免关键信息被分割在两段之间
单次搜索上限匹配引用预算的合理区间确保单次检索返回的文档总token预留量不超出quoteMaxToken的可用额度

这两者互相约束的地方

本档对话模型与Embedding-V1的组合存在明确的分段约束。按默认每段512 tokens计算,一轮对话可容纳的参考段数约为371–683段;若将分段长度调整至Embedding-V1允许的上限1000 tokens,单轮可容纳的参考段数约为190段起。每段越长,单段承载的语义信息越完整,但单轮能容纳的总段数越少;每段越短,总段数越多,但单段的上下文完整性越弱。更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与向量模型绑定,不同模型的向量表示逻辑存在差异。

容易做错的三处

  • 检索返回的文档片段总token超出对话模型预算,导致对话请求失败。原因是未将单次搜索上限与quoteMaxToken的预算匹配,未预留系统提示词等其他token的占用空间。
  • 分段长度超出Embedding-V1的maxToken限制,导致向量入库失败。原因是未将chunkSize设置为不超过1000 tokens的数值,强行使用过长的分段进行索引构建。
  • 对话时引用的段数远超计算上限,导致上下文被截断。原因是未根据分段长度调整单次搜索返回的文档数量,未校验总token是否符合quoteMaxToken的要求。

怎么确认配好了

  • 进入知识库集合的配置页面,核对分块长度的设置是否符合预设方案。
  • 查看向量模型的绑定配置,确认关联的模型为Embedding-V1且参数匹配要求。
  • 检查对话模型的参数设置,确认quoteMaxToken处于本档的预算区间内。
  • 发起一轮测试对话,查看界面展示的引用文档片段数量是否符合分段逻辑。