这一档模型的参数意味着什么
quoteMaxToken 是对话模型可承载的引用内容总token预算,本档对话模型的该参数区间覆盖12000至32000 tokens。该预算区间可支持在单次对话中整合较多的知识库检索内容,适配长上下文需求的知识库应用场景,能够在多轮对话中持续承接检索得到的上下文信息,避免频繁截断关键内容,保障回答的完整性与连贯性。
配 Jina 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 tokens | 匹配向量模型默认的单段分词长度,适配基础分块场景 |
maxToken | 8000 tokens | 遵循向量模型允许的单段最大输入限制,保障单段内容完整录入 |
quoteMaxToken | 12000-32000 tokens | 匹配对话模型的引用预算区间,适配该档模型的上下文承载能力 |
chunkSize | 512 tokens 或 8000 tokens | 对应向量模型的默认或最大单段长度,可根据语义完整性需求选择 |
| 重叠长度 | 10%-20% 分块长度 | 保障相邻分块的语义连贯性,避免关键信息被截断在分块边界 |
| 单次搜索上限 | 按对话模型引用预算测算 | 结合总token预算调整召回的知识库条目数,防止超出引用限制 |
这两者互相约束的地方
按默认每段512 tokens计算,结合对话模型12000至32000的引用预算,一轮对话最多可容纳23至62段检索到的知识库内容。若将单段长度调整至向量模型允许的上限8000 tokens,则一轮仅可容纳1段及以上内容。每段越长,单段语义完整性越强,但单次可承载的总段数越少;每段越短,总段数越多,但单段上下文的语义连贯性越弱。此外,更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与原向量模型绑定,旧索引无法适配新模型的编码逻辑。
容易做错的三处
- 检索返回的内容被自动截断。原因是未结合对话模型的
quoteMaxToken预算调整召回的知识库片段总长度。 - 知识库索引构建失败。原因是设置的分块长度超出了向量模型允许的
maxToken上限。 - 更换向量模型后检索结果匹配度大幅下降。原因是未重建索引,旧索引的向量特征与新模型的编码逻辑不匹配。
怎么确认配好了
- 进入知识库配置界面,核对
quoteMaxToken、分块长度等核心参数的取值是否与选定模型匹配。 - 提交测试检索请求,确认返回的片段总token数未超出对话模型的引用预算。
- 测试多模态内容的检索与引用,验证多模态向量模型的功能正常生效。
- 查看分块重叠长度的设置,确认相邻片段的语义衔接无明显割裂。