这一档模型的参数意味着什么
quoteMaxToken 是知识库应用中可引用内容的总token预算,限定了单轮对话中插入的检索结果合计token数。4000–8000 tokens的预算区间,适配多数中小规模知识库的检索引用需求,既能为对话模型提供足够的上下文支撑,又不会因引用内容过多挤占模型自身的对话上下文空间,保障对话响应的流畅性与合理性。该预算区间覆盖了常见的知识库问答、文档摘要等场景的基础上下文需求,为后续的检索配置提供了明确的token约束边界。
配 Gemini 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 tokens | 与Gemini向量模型登记的默认分段长度匹配,无需额外调整即可适配基础检索场景 |
maxToken | 8192 tokens | 遵循Gemini向量模型的单段token上限,保障单段文本能完整承载语义信息 |
quoteMaxToken | 4000–8000 tokens | 匹配当前对话模型档的预算区间,符合官方推荐的配置范围 |
chunkSize | 512–8192 tokens | 可根据需求调整,基础场景取512 tokens以适配默认配置,上限不超过向量模型单段token限制 |
| 分块重叠长度 | 10%–20% 的分块长度 | 避免分块断裂语义,保障相邻分块间的上下文连贯性 |
| 单次搜索上限 | 7–15条 | 匹配对话模型的引用预算,避免超出token限制 |
| 最低相关度 | 自定义阈值 | 过滤低相关性检索结果,减少无效token占用 |
这两者互相约束的地方
按默认每段512 tokens计算,一轮引用最多可放下7–15段。Gemini向量模型的单段token上限为8192 tokens,已超过当前对话模型档的引用预算下沿4000 tokens,当将分段长度调整至上限时,单段文本即可占满整轮引用预算。分段长度越长,单段承载的语义信息越完整,但一轮可容纳的分段数量越少;分段长度越短,可容纳的分段数量越多,但单段上下文的完整性越弱。更换向量模型后,已创建的知识库索引需要重建,因为向量维度与向量模型绑定。
容易做错的三处
- 检索结果超出对话模型的token预算,导致对话截断或报错。原因是未根据对话模型的
quoteMaxToken限制调整单次搜索上限或分段长度。 - 向量检索匹配结果异常。原因是更换向量模型后未重建知识库索引,新旧模型的向量维度不匹配。
- 分块过程出现失败提示。原因是未将
chunkSize设置在向量模型的maxToken范围内。
怎么确认配好了
- 查看配置页面的
quoteMaxToken、defaultToken、maxToken参数,确认其取值符合当前选型组合的要求。 - 执行模拟检索操作,查看返回的分段数量与预期范围匹配。
- 尝试创建新的知识库分块,确认分块过程无异常报错。
- 更换向量模型后,执行索引重建操作并验证检索流程正常。