这一档模型的参数意味着什么
quoteMaxToken 是对话模型允许的引用内容总token预算,限定了一次对话中可带入的检索结果总长度。本档模型的预算区间为50万–1000万tokens,对应知识库应用中可整合的参考内容体量较大,能够支撑多文档关联的复杂问答场景,无需频繁截断参考片段,可更完整地传递源文档的语义信息,适配对上下文完整性有要求的知识库应用。
配 Hunyuan 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 tokens | 匹配向量模型登记的默认每段长度,无需额外调整即可适配模型原生输入要求 |
maxToken | 1024 tokens | 遵循向量模型登记的单段输入上限,避免因分段过长触发模型报错 |
quoteMaxToken | 500000–10000000 tokens | 沿用本档对话模型的官方配置,确保引用内容不超出模型允许的总预算 |
chunkSize | 512 tokens / 1024 tokens | 对应向量模型的默认或最大单段长度,平衡语义完整性与引用段数 |
| 重叠长度 | 64–128 tokens | 避免分块截断关键语义单元,提升检索召回的连贯性 |
| 单次搜索上限 | 匹配引用预算的分段占比 | 防止单次检索返回过多结果超出总token预算 |
这两者互相约束的地方
本组合的引用段数受分段长度与引用预算双重约束。按默认每段512 tokens计算,一轮对话最多可容纳约976–19,531段参考内容;若将分段长度调整至向量模型允许的上限1024 tokens,则仅可容纳约488段。每段越长,单段承载的语义信息越完整,但一轮可引入的参考段数越少;每段越短,可引入的段数越多,但单段上下文的完整性越弱。更换向量模型后,已创建的知识库索引需要重建,因为向量维度与向量模型绑定,旧索引无法适配新模型的编码逻辑。
容易做错的三处
- 检索返回的结果超出对话模型的token预算,触发截断或报错。原因:未根据
quoteMaxToken调整单次搜索的返回条数,导致总引用token超出限制。 - 知识库检索召回的语义片段不连贯。原因:分块长度与向量模型的单段上限不匹配,或重叠长度设置不合理。
- 更换向量模型后,知识库无法正常检索。原因:未重建已有的向量索引,旧索引的向量维度与新模型不兼容。
怎么确认配好了
- 核对对话模型的配置项,确认
quoteMaxToken的取值符合本档区间。 - 查看向量模型绑定设置,确认已选择
hunyuan-embedding。 - 检查知识库的分块配置,确认分段长度与向量模型的单段要求匹配。
- 发起测试对话,验证检索结果可正常带入对话上下文。