这一档模型的参数意味着什么
quoteMaxToken是对话模型允许的单轮引用内容累计token上限,本档50000至128000 tokens的区间,适配中长上下文的知识库问答场景。该预算可覆盖多段落的文档片段引用,支撑跨章节、长文档的上下文整合,满足复杂查询的信息召回需求,无需频繁截断引用内容以适配模型输入限制,提升回答的完整性与连贯性。
配 Jina 向量模型要定哪些
defaultToken | 512 | 与所选向量模型登记的默认每段长度保持一致,确保分块与向量编码的匹配度 |
|---|---|---|
maxToken | 8000 | 匹配所选向量模型允许的单段最大token上限,充分利用模型的编码能力 |
quoteMaxToken | 50000–128000 | 直接沿用本档对话模型的官方参数,确保引用内容的token总量不超出模型输入限制 |
| 分块长度 | 512–8000 | 可根据业务场景调整,平衡语义完整性与引用片段数量 |
| 单次搜索上限 | 匹配引用段数上限 | 结合分块长度调整,避免超出对话模型的引用预算 |
| 最低相关度 | 自定义区间 | 基于业务需求筛选有效召回片段,平衡召回数量与相关性 |
这两者互相约束的地方
按默认每段512 tokens计算,一轮引用最多可放下约97–250段;若将每段调整至向量模型允许的上限8000 tokens,仅可放下约6段起。分块长度越长,单段包含的语义越完整,但一轮能容纳的引用片段越少;分块长度越短,单段语义颗粒度越细,可容纳的片段越多,但上下文拼接的连贯性可能受影响。更换向量模型后,因向量维度与编码逻辑绑定,已构建的知识库索引需重新生成,否则无法匹配新的向量编码规则。
容易做错的三处
- 界面弹出引用内容超限提示,原因是累计引用的token总量超出了对话模型的
quoteMaxToken预算。 - 向量检索返回的片段数量远高于预期,原因是未结合分块长度与引用预算限制单次搜索的召回上限。
- 导入文档后向量索引构建失败,原因是分块长度超出了所选向量模型的单段最大token限制。
怎么确认配好了
- 查看对话模型的参数配置页面,确认
quoteMaxToken已设置为对应档位的区间值。 - 检查向量模型的绑定设置,确认已选择jina-embeddings-v5-text-nano或jina-embeddings-v3。
- 测试不同分块长度的文档导入,验证索引构建流程可正常完成。
- 发起模拟查询,确认引用内容的拼接逻辑符合业务预期。