这一档模型的参数意味着什么
quoteMaxToken 是知识库应用中可引用内容的总token预算,限定了单次对话中注入上下文的引用内容总长度。本次选型的对话模型档预算区间为190000至350000 tokens,能够承载较大体量的知识库上下文引用,适配多文档关联问答、长文本检索等场景,为复杂查询提供充足的内容支撑,避免因上下文截断导致问答逻辑断裂。
配 Hunyuan 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 | 匹配向量模型默认的单段token长度,无需额外调整即可兼容基础场景 |
maxToken | 1024 | 匹配向量模型允许的单段最大token上限,最大化单段语义完整性 |
quoteMaxToken | 190000 至 350000 | 匹配当前选型的对话模型档预算区间,确保上下文引用不超出模型限制 |
chunkSize | 512 或 1024 | 匹配向量模型的单段token限制,平衡语义完整性与引用段数 |
| 分块重叠长度 | 64 至 128 | 避免分块截断关键语义,保证相邻分块的上下文连贯性 |
| 单次搜索上限 | 按需动态调整 | 控制单次检索返回的文档段数,避免超出总token预算 |
| 最低相关度 | 0.5 至 0.8 | 过滤低相关性内容,减少无效token占用 |
这两者互相约束的地方
本次选型中,按向量模型默认每段512 tokens计算,一轮引用最多可容纳371至683段内容;若将每段调整至向量模型允许的上限1024 tokens,则仅可容纳约185段起。单段长度越长,单段承载的语义信息越完整,但一轮可引用的总段数越少;单段长度越短,总段数越多,但单段上下文的连贯性越弱。若更换向量模型,因向量维度与模型绑定,已构建的知识库索引需要重新生成。
容易做错的三处
- 现象:检索返回的文档段数超出预期,总token触发模型截断。原因:未按对话模型的
quoteMaxToken预算控制单次引用的总token量。 - 现象:知识库索引构建失败或检索结果异常。原因:未匹配向量模型的
maxToken限制,分块长度超出允许范围。 - 现象:单段内容语义断裂,问答逻辑出现偏差。原因:分块重叠长度设置不合理,导致关键信息被分块截断且未被相邻分块覆盖。
怎么确认配好了
- 核对对话模型的配置参数,确认
quoteMaxToken处于选型区间内。 - 验证向量模型的
defaultToken和maxToken配置与选型参数一致。 - 检查知识库分块设置,确认
chunkSize匹配向量模型的单段token限制。 - 发起单次检索并查看上下文注入情况,确认引用内容未触发截断。