模型指南官方文档3 分钟阅读模型组合页

引用预算 1.2 万–3.2 万的对话模型配 hunyuan-embedding 的分段与引用口径

这一档对话模型的quoteMaxToken处于12000–32000 tokens区间,代表知识库应用可用于承载召回内容的总token预算处于该范围。该预算可支持多段长文本的上下文引用,适配需要整合较多背景信息的对话场景,无需频繁裁剪召回内容即可满足多数复杂问答的需求,同时不会因预算过高导致系统资源浪费。

这一档模型的参数意味着什么

这一档对话模型的quoteMaxToken处于12000–32000 tokens区间,代表知识库应用可用于承载召回内容的总token预算处于该范围。该预算可支持多段长文本的上下文引用,适配需要整合较多背景信息的对话场景,无需频繁裁剪召回内容即可满足多数复杂问答的需求,同时不会因预算过高导致系统资源浪费。

配 Hunyuan 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens匹配向量模型登记的默认分段长度,适配基础知识库场景
maxToken1024 tokens遵循向量模型的单段输入上限,避免内容被强制截断或编码失败
quoteMaxToken12000–32000 tokens匹配当前对话模型档的引用预算区间,保障所有召回内容的总token消耗合规
chunkSize512 tokens 或 1024 tokens对应向量模型的默认/最大分段长度,可根据语义完整性需求调整
分块重叠长度100–200 tokens避免分块切断关键语义单元,提升召回内容的连贯性
单次搜索上限与分段长度联动调整控制单次召回的片段数量,防止总token超出对话模型的引用预算

这两者互相约束的地方

当前组合下,按默认每段512 tokens计算,一轮引用最多可容纳23–62段;若将每段调整至向量模型允许的1024 tokens上限,则仅可容纳约11段。每段长度越长,单段承载的语义信息越完整,但一轮可引用的片段数量越少;每段长度越短,可引用的片段数量越多,但单段上下文的完整性越弱。更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与向量模型绑定,原有索引无法适配新模型的编码规则。

容易做错的三处

  • 界面显示引用内容超出限制却未及时拦截,原因是未正确配置quoteMaxToken参数,导致系统未校验引用总token消耗。
  • 向量编码报错或召回内容缺失,原因是分块长度超出maxToken设置,导致片段无法被向量模型正确编码。
  • 知识库索引生成失败,原因是未使用当前搭配的向量模型重新索引,直接复用了其他模型生成的索引文件。

怎么确认配好了

  • 查看对话模型的参数配置页面,确认quoteMaxToken参数处于对应区间内。
  • 检查向量模型的绑定设置,确认当前使用的是hunyuan-embedding模型。
  • 测试分块功能,查看生成的片段长度是否匹配预设的chunkSize参数。
  • 发起一次带召回内容的对话,验证系统未触发引用token超限的报错提示。