模型指南官方文档3 分钟阅读模型组合页

引用预算 4K–8K的对话模型配 gemini-embedding-2 的分段与引用口径

quoteMaxToken 是知识库应用中可引用内容的总token预算,限定了单轮对话中插入的检索结果合计token数。

这一档模型的参数意味着什么

quoteMaxToken 是知识库应用中可引用内容的总token预算,限定了单轮对话中插入的检索结果合计token数。4000–8000 tokens的预算区间,适配多数中小规模知识库的检索引用需求,既能为对话模型提供足够的上下文支撑,又不会因引用内容过多挤占模型自身的对话上下文空间,保障对话响应的流畅性与合理性。该预算区间覆盖了常见的知识库问答、文档摘要等场景的基础上下文需求,为后续的检索配置提供了明确的token约束边界。

配 Gemini 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512 tokens与Gemini向量模型登记的默认分段长度匹配,无需额外调整即可适配基础检索场景
maxToken8192 tokens遵循Gemini向量模型的单段token上限,保障单段文本能完整承载语义信息
quoteMaxToken4000–8000 tokens匹配当前对话模型档的预算区间,符合官方推荐的配置范围
chunkSize512–8192 tokens可根据需求调整,基础场景取512 tokens以适配默认配置,上限不超过向量模型单段token限制
分块重叠长度10%–20% 的分块长度避免分块断裂语义,保障相邻分块间的上下文连贯性
单次搜索上限7–15条匹配对话模型的引用预算,避免超出token限制
最低相关度自定义阈值过滤低相关性检索结果,减少无效token占用

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可放下7–15段。Gemini向量模型的单段token上限为8192 tokens,已超过当前对话模型档的引用预算下沿4000 tokens,当将分段长度调整至上限时,单段文本即可占满整轮引用预算。分段长度越长,单段承载的语义信息越完整,但一轮可容纳的分段数量越少;分段长度越短,可容纳的分段数量越多,但单段上下文的完整性越弱。更换向量模型后,已创建的知识库索引需要重建,因为向量维度与向量模型绑定。

容易做错的三处

  • 检索结果超出对话模型的token预算,导致对话截断或报错。原因是未根据对话模型的quoteMaxToken限制调整单次搜索上限或分段长度。
  • 向量检索匹配结果异常。原因是更换向量模型后未重建知识库索引,新旧模型的向量维度不匹配。
  • 分块过程出现失败提示。原因是未将chunkSize设置在向量模型的maxToken范围内。

怎么确认配好了

  • 查看配置页面的quoteMaxToken、defaultToken、maxToken参数,确认其取值符合当前选型组合的要求。
  • 执行模拟检索操作,查看返回的分段数量与预期范围匹配。
  • 尝试创建新的知识库分块,确认分块过程无异常报错。
  • 更换向量模型后,执行索引重建操作并验证检索流程正常。