模型指南官方文档3 分钟阅读模型组合页

引用预算 5 万–12.8 万的对话模型配 hunyuan-embedding 的分段与引用口径

quoteMaxToken指单轮对话中可引用的上下文内容总token预算,本次选型的5万至12.8万token区间,适配多数中长文本知识库的上下文需求。

这一档模型的参数意味着什么

quoteMaxToken指单轮对话中可引用的上下文内容总token预算,本次选型的5万至12.8万token区间,适配多数中长文本知识库的上下文需求。既可以覆盖长文档的分段引用,也能满足多轮对话中积累的上下文承载,无需频繁截断有效信息,为复杂查询提供充足的语义支撑空间,同时避免因预算过高导致的推理资源浪费,平衡了上下文丰富度与调用成本。

配 Hunyuan 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配hunyuan-embedding的默认单段长度配置,适配基础知识库场景
maxToken1024符合hunyuan-embedding支持的单段最大token上限,可用于需要完整语义的分块需求
quoteMaxToken50000–128000对齐本次选型的对话模型引用预算区间,保障上下文承载能力
分块长度512 或 1024与defaultToken或maxToken的配置保持一致,确保分块内容可被向量模型正常编码
重叠长度64–128衔接相邻分块的语义内容,避免关键信息被截断在分块边界
单次搜索上限适配当前预算的合理区间避免单次召回的内容总token超出quoteMaxToken的限制

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可容纳约97至250段内容;若将每段调整至向量模型允许的1024 tokens上限,则仅可容纳约48段。分块长度越长,单段承载的语义信息越完整,但单轮可引用的段落数量越少;分块长度越短,单轮可容纳的段落越多,但单段语义的完整性会下降,可能导致上下文碎片化。若更换向量模型,需重建已生成的知识库索引,因为向量维度与向量模型绑定,原有索引无法适配新模型的编码规则。

容易做错的三处

  • 单次查询后引用内容被意外截断,原因是召回内容的总token超出了quoteMaxToken的预算上限。
  • 向量编码失败或索引生成报错,原因是分块长度超过了maxToken的限制,无法被当前向量模型处理。
  • 知识库分块后语义衔接出现断层,原因是未设置合理的重叠长度,导致相邻分块之间的关键信息丢失。

怎么确认配好了

  • 查看当前对话模型的配置项,确认quoteMaxToken的取值符合选型区间。
  • 检查向量模型的绑定状态,确认已关联hunyuan-embedding。
  • 测试单段文本的编码流程,确认无报错且符合设置的分块长度要求。
  • 发起模拟查询,核对系统可正常加载所有召回的引用内容。