模型指南官方文档3 分钟阅读模型组合页

引用预算 1.2 万–3.2 万的对话模型配 Embedding-V1 的分段与引用口径

quoteMaxToken 是对话模型可分配给引用内容的总token预算,本次选型的对话模型档预算区间为12000至32000 tokens。该区间可支撑包含多段长文本的知识库应用,允许召回较多数量的知识库片段,满足复杂上下文关联的问答需求,无需过度压缩召回内容以适配模型输入限制。

这一档模型的参数意味着什么

quoteMaxToken 是对话模型可分配给引用内容的总token预算,本次选型的对话模型档预算区间为12000至32000 tokens。该区间可支撑包含多段长文本的知识库应用,允许召回较多数量的知识库片段,满足复杂上下文关联的问答需求,无需过度压缩召回内容以适配模型输入限制。

配 Ernie 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens向量模型登记的默认分段长度,匹配平台基础分块逻辑,无需额外调整即可兼容默认设置
maxToken1000 tokens向量模型允许的单段输入上限,可最大化单段承载的语义信息,减少总分段数量
quoteMaxToken12000–32000 tokens匹配当前选型对话模型的预算区间,确保引用内容总token不超出模型可分配额度
chunkSize512–1000 tokens可根据语义完整性需求选择,512 tokens兼顾存储与检索效率,1000 tokens承载更完整单段语义
重叠长度100–200 tokens避免分块截断关键语义,保证相邻分块间的上下文连贯性
单次搜索上限与quoteMaxToken匹配的召回数量控制单次召回的总token不超出预算,避免触发模型输入限制

这两者互相约束的地方

按默认defaultToken为512 tokens计算,一轮引用最多可放下约23至62段知识库片段;若将分块长度调整至向量模型允许的maxToken上限1000 tokens,一轮仅可放下约12段。每段越长,单段承载的语义越完整,但一轮能容纳的总段数越少;每段越短,总段数越多,但单段上下文的完整性会受影响。更换向量模型后,由于向量维度与模型绑定,已创建的知识库索引需要重新构建,否则无法适配新的向量计算逻辑。

容易做错的三处

  • 界面弹出引用token超限的报错提示,原因是单次召回的知识库片段总token超出了quoteMaxToken预算区间。
  • 检索结果出现语义断层,原因是分块时未设置合理的重叠长度,导致关键上下文被分块截断。
  • 向量检索匹配度异常偏低,原因是更换向量模型后未重建已有的知识库索引,未适配新模型的向量维度规则。

怎么确认配好了

  • 查看知识库集合的分块配置页面,确认分块长度的设置符合选型要求。
  • 核对对话模型的引用token预算参数,确认与当前选型的区间一致。
  • 发起一次检索测试,查看返回的召回片段数量与总token占用情况。
  • 检查向量模型的绑定设置,确认与选型的向量模型完全匹配。