这一档模型的参数意味着什么
当前档位对话模型的quoteMaxToken为50000–128000 tokens,代表单轮对话中可引用的知识库内容总token预算处于中等偏长区间。该区间能够适配多数中大型知识库的内容引用需求,可为长文本问答、多文档关联问答提供充足的上下文空间,避免因引用预算不足导致关键信息被截断,保障回答的完整性与连贯性。
配 Siliconflow 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 | 匹配BAAI/bge-m3的默认分段设置,保障检索分段的基础一致性 |
maxToken | 8000 | 遵循BAAI/bge-m3的单段token上限,避免分段超出模型处理范围 |
quoteMaxToken | 50000–128000 | 适配当前档位对话模型的引用预算要求,确保引用内容总token不超限 |
| 分块长度 | 512 / 8000 | 对应两种核心分段策略,适配不同的语义完整性与召回数量需求 |
| 重叠长度 | 100–200 tokens | 避免分段截断关键语义单元,保障相邻分段的上下文连贯性 |
| 单次搜索上限 | 对应quoteMaxToken的分段占比区间 | 控制单次召回的分段总token,防止超出引用预算 |
这两者互相约束的地方
当前组合下,按默认每段512 tokens计算,一轮引用最多可放下约97–250段;若将每段调整至向量模型允许的上限8000 tokens,则仅能放下约6段起。每段越长,单段承载的语义信息越完整,但一轮可容纳的分段数量越少;每段越短,可容纳的分段数量越多,但单段的上下文连贯性越弱。更换向量模型后,已创建的知识库索引需要重新构建,因为向量维度与向量模型绑定,旧索引无法适配新模型的向量提取逻辑。
容易做错的三处
- 界面提示引用token超限,原因是召回分段的总token超过了
quoteMaxToken的设置值,未匹配对话模型的预算要求。 - 检索返回的分段内容语义不连贯,原因是分块长度与重叠长度设置不合理,导致关键语义单元被分段截断。
- 向量检索结果与查询关联度偏低,原因是未遵循BAAI/bge-m3的
maxToken限制,分块长度超出模型单段处理上限,导致向量提取出现偏差。
怎么确认配好了
- 查看知识库集合的分块配置,确认分块长度与向量模型的参数设置匹配。
- 检查对话模型的引用预算参数,确认取值处于当前档位的区间范围内。
- 发起一次测试检索,查看召回分段的总token是否符合对话模型的预算要求。
- 查看向量模型的索引状态,确认索引已基于当前配置完成构建。