模型指南官方文档3 分钟阅读模型组合页

引用预算 50 万–1000 万的对话模型配 gemini-embedding-2 的分段与引用口径

quoteMaxToken 是引用内容的总token预算,限定单次对话中可传入的背景知识总量。本次选型的对话模型档预算区间为50万至1000万token,可承载较多的检索片段整合,适配需要覆盖多维度背景信息的知识库应用场景,能够在单次交互中纳入更全面的参考内容,减少因上下文截断导致的信息缺失,同时合理控制计…

这一档模型的参数意味着什么

quoteMaxToken 是引用内容的总token预算,限定单次对话中可传入的背景知识总量。本次选型的对话模型档预算区间为50万至1000万token,可承载较多的检索片段整合,适配需要覆盖多维度背景信息的知识库应用场景,能够在单次交互中纳入更全面的参考内容,减少因上下文截断导致的信息缺失,同时合理控制计算资源消耗,兼顾上下文丰富度与运行效率。

配 Gemini 向量模型要定哪些

配置项建议取法这样取的依据
defaultToken512匹配该向量模型登记的默认每段长度,无需额外调整即可适配模型原生要求
maxToken8192采用该向量模型允许的单段最大token上限,可最大化单段承载的语义信息,减少分块总数
quoteMaxToken500000-10000000匹配当前选型的对话模型档预算区间,确保引用内容总量不超出模型允许的上限
chunkSize512-8192可根据业务场景灵活调整,短长度适配细粒度检索需求,长长度提升单段语义完整性
「单次搜索上限」匹配分块长度对应的段数区间避免单次召回过多片段导致超出token预算,需结合分块长度动态调整
「重叠长度」分块长度的10%-20%减少分块间的语义断层,提升检索内容的连贯性

这两者互相约束的地方

按默认每段512 tokens计算,一轮引用最多可容纳约976至19531段内容;若将每段调整至向量模型允许的8192 tokens上限,则仅可容纳约61段。分块长度越长,单段承载的语义信息越完整,但一轮可纳入的总段数越少;分块长度越短,总段数越多,但单段语义的完整性会有所下降,可能导致上下文碎片化。更换向量模型后,已创建的知识库索引需要重建,因为向量维度与向量模型绑定,原有索引无法适配新模型的向量计算逻辑。

容易做错的三处

  • 检索召回的片段总token超出quoteMaxToken导致内容被截断,原因是未结合分块长度与召回上限同步调整quoteMaxToken的预算设置。
  • 知识库索引无法正常加载,原因是更换向量模型后未重建索引,导致向量维度不匹配。
  • 单段内容过长超出maxToken限制导致分块失败,原因是未将分块长度设置在向量模型允许的maxToken范围内。

怎么确认配好了

  • 查看向量模型的配置参数,确认defaultToken与maxToken的取值与选型要求一致。
  • 检查quoteMaxToken的设置是否落在50万至1000万token的区间内。
  • 测试分块功能,确认生成的片段长度未超出向量模型的maxToken限制。
  • 发起检索测试,确认召回的片段总token未超出quoteMaxToken的预算。