这一档模型的参数意味着什么
quoteMaxToken是对话模型可调用的引用内容总token预算,限定了单次对话中可注入的知识库片段总长度。本档模型的预算覆盖50万至1000万token区间,能够支撑中大型知识库的上下文注入需求,既可以满足长文档拆解后的多片段引用,也能适配复杂业务场景下的多轮对话上下文积累,为知识库应用的内容调用提供充足的token空间,适配多数知识库应用的常规调用需求。
配 Jina 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 | 匹配目标向量模型的默认分块长度,适配基础检索场景 |
maxToken | 8000 | 遵循目标向量模型支持的单段最大输入token上限,确保单段内容语义完整 |
quoteMaxToken | 500000-10000000 | 落在本档对话模型的官方预算区间内,适配不同规模的知识库调用需求 |
chunkSize | 512 或 8000 | 可根据业务场景选择,短分段适配细粒度检索,长分段适配完整语义块 |
| 单次搜索上限 | 随对话模型预算动态调整 | 避免单次检索返回过多片段导致超出token预算 |
| 最低相关度 | 自定义阈值 | 过滤低相关片段,优化token使用效率 |
这两者互相约束的地方
按默认每段512tokens计算,一轮引用最多可容纳约976–19,531段内容;若将每段调整至向量模型允许的8000tokens上限,则仅可容纳约62段。每段长度的选择存在明显约束:每段越长,单段承载的语义越完整,但一轮可容纳的片段数量越少;每段越短,可容纳的片段数量越多,但单段上下文的完整性越弱。此外,更换向量模型后,已创建的知识库索引需要重新构建,因为向量维度与向量模型绑定,不同模型的向量表示逻辑存在差异,直接复用旧索引会导致检索匹配失效。
容易做错的三处
- 检索返回的片段总token超出对话模型预算,导致对话流程中断或报错。原因:未根据对话模型的
quoteMaxToken设置单次搜索的返回片段总上限,导致注入内容超限。 - 知识库分块长度超过向量模型
maxToken,部分长片段在向量化阶段被强制截断。原因:未将分块长度设置为不超过向量模型maxToken的取值,导致内容完整性受损。 - 更换向量模型后未重建索引,检索结果出现异常匹配。原因:未意识到向量模型绑定向量维度与表示逻辑,未重建索引直接使用旧数据会导致匹配失效。
怎么确认配好了
- 核对对话模型的
quoteMaxToken配置,确认取值处于50万至1000万token的区间内。 - 检查向量模型的参数配置,确认
defaultToken与maxToken匹配目标向量模型的官方设定。 - 创建测试知识库并设置分块长度,验证检索返回的片段总长度不会超出对话模型的token预算。
- 模拟更换向量模型的操作,确认系统提示需要重建现有索引后再执行后续步骤。