这一档模型的参数意味着什么
quoteMaxToken是限定传入对话模型的上下文引用内容总token数的参数，本档共包含16款对话模型，其quoteMaxToken取值落在4000至8000 tokens的区间内。该预算区间适配多数企业知识库、文档问答等常规落地场景，既可以承载足够的参考文本，为模型提供充足的信息支撑以生成准确回答，又不会因预算过高导致模型推理资源占用过多，平衡了上下文信息丰富度与推理效率。
配 BAAI 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 tokens | 与bge-m3模型默认分块长度对齐，无需额外调整即可适配基础场景 |
maxToken | 8000 tokens | 匹配bge-m3模型单段最大输入token上限，避免单段文本被强制截断 |
quoteMaxToken | 4000-8000 tokens | 遵循本档对话模型的引用预算区间，严格控制上下文引用的总token数 |
chunkSize | 参考4000-8000区间调整 | 结合对话模型的引用预算，可在bge-m3的maxToken范围内灵活设置分块长度 |
| 重叠长度 | 64-128 tokens | 保持分块间的语义连贯性，避免关键信息被分割在相邻分块的两端 |
| 单次搜索上限 | 7-15条 | 匹配默认512 tokens分块下的最大可引用段数，防止超出模型token预算 |
这两者互相约束的地方
本档对话模型的引用预算与bge-m3的分块参数存在双向约束。按默认512 tokens的分块长度计算，一轮引用最多可容纳7至15段文本。当单段文本长度调至bge-m3的8000 tokens上限时，单段长度已超过本档引用预算的下限4000 tokens，此时单段即可占用全部或大部分预算，无法同时容纳多段引用。每段越长，单段语义完整性越强，但一轮可容纳的段数越少；每段越短，可容纳的段数越多，但单段上下文的完整性越弱。此外，向量模型变更后，已构建的向量索引需重新生成，因向量维度与模型绑定，旧索引无法适配新模型。
容易做错的三处
- 检索结果超出token预算导致回答被截断。原因是未控制单次搜索上限或分块长度过大，导致引用内容总token数超过模型预算。
- 向量索引无法正常加载或匹配失败。原因是变更向量模型后未重新生成索引，新旧模型的向量维度不匹配。
- 分块后关键信息断裂影响回答准确性。原因是分块长度设置不合理或重叠长度不足，导致核心语义被分割在不同分块中。
怎么确认配好了
- 查看平台的向量模型配置面板，确认已选择bge-m3并同步其参数设置。
- 核对对话模型的引用token预算，确认取值落在4000至8000 tokens的区间内。
- 检查知识库分块配置，确认分块长度与重叠长度的设置符合当前模型的约束规则。
- 发起测试问答，查看返回结果中引用内容的总长度未超出模型限制。