模型指南官方文档3 分钟阅读模型组合页

引用预算 50 万–1000 万的对话模型配 hunyuan-embedding 的分段与引用口径

quoteMaxToken 是对话模型允许的引用内容总token预算,限定了一次对话中可带入的检索结果总长度。

这一档模型的参数意味着什么

quoteMaxToken 是对话模型允许的引用内容总token预算,限定了一次对话中可带入的检索结果总长度。本档模型的预算区间为50万–1000万tokens,对应知识库应用中可整合的参考内容体量较大,能够支撑多文档关联的复杂问答场景,无需频繁截断参考片段,可更完整地传递源文档的语义信息,适配对上下文完整性有要求的知识库应用。

配 Hunyuan 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配向量模型登记的默认每段长度,无需额外调整即可适配模型原生输入要求
maxToken1024 tokens遵循向量模型登记的单段输入上限,避免因分段过长触发模型报错
quoteMaxToken500000–10000000 tokens沿用本档对话模型的官方配置,确保引用内容不超出模型允许的总预算
chunkSize512 tokens / 1024 tokens对应向量模型的默认或最大单段长度,平衡语义完整性与引用段数
重叠长度64–128 tokens避免分块截断关键语义单元,提升检索召回的连贯性
单次搜索上限匹配引用预算的分段占比防止单次检索返回过多结果超出总token预算

这两者互相约束的地方

本组合的引用段数受分段长度与引用预算双重约束。按默认每段512 tokens计算,一轮对话最多可容纳约976–19,531段参考内容;若将分段长度调整至向量模型允许的上限1024 tokens,则仅可容纳约488段。每段越长,单段承载的语义信息越完整,但一轮可引入的参考段数越少;每段越短,可引入的段数越多,但单段上下文的完整性越弱。更换向量模型后,已创建的知识库索引需要重建,因为向量维度与向量模型绑定,旧索引无法适配新模型的编码逻辑。

容易做错的三处

  • 检索返回的结果超出对话模型的token预算,触发截断或报错。原因:未根据quoteMaxToken调整单次搜索的返回条数,导致总引用token超出限制。
  • 知识库检索召回的语义片段不连贯。原因:分块长度与向量模型的单段上限不匹配,或重叠长度设置不合理。
  • 更换向量模型后,知识库无法正常检索。原因:未重建已有的向量索引,旧索引的向量维度与新模型不兼容。

怎么确认配好了

  • 核对对话模型的配置项,确认quoteMaxToken的取值符合本档区间。
  • 查看向量模型绑定设置,确认已选择hunyuan-embedding。
  • 检查知识库的分块配置,确认分段长度与向量模型的单段要求匹配。
  • 发起测试对话,验证检索结果可正常带入对话上下文。