这一档模型的参数意味着什么
quoteMaxToken 是知识库引用内容的总 token 预算,限定了单次对话中可纳入上下文的所有引用内容的累计 token 上限。这一档 190000–350000 tokens 的区间,能够支撑大容量的上下文召回,适配多段落、长文档的知识库场景,无需频繁截断核心信息,可满足复杂多轮对话的上下文积累需求,同时与多模态向量模型的内容索引形成匹配,支撑跨模态的知识库应用。
配 Jina 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 tokens | 匹配向量模型默认的单段分词长度,保证基础分块与向量编码对齐 |
maxToken | 8000 tokens | 匹配向量模型允许的单段最大 token 上限,避免分块超出编码限制 |
quoteMaxToken | 190000–350000 tokens | 匹配当前对话模型档的引用预算上限,严格遵循选型范围 |
chunkSize | 512 tokens 或 8000 tokens | 可根据业务场景选择,对应两种分段策略的基准长度 |
| 分块重叠长度 | 50–100 tokens | 保留相邻分块的语义衔接,避免关键信息被截断在分块边界 |
| 单次搜索上限 | 与引用预算匹配的合理区间 | 控制单次召回的总 token 不超出 quoteMaxToken 的限制 |
这两者互相约束的地方
当该档对话模型与 Jina 向量模型组合时,引用预算与分块长度形成双向约束。按默认每段 512 tokens 计算,一轮引用最多可容纳 371–683 段;若将分块长度调整至向量模型允许的 8000 tokens 上限,则仅可容纳约 23 段。每段越长,单段承载的语义信息越完整,但一轮可放置的段数越少;每段越短,可容纳的段数越多,但单段上下文的完整性越弱。更换向量模型后,已构建的知识库索引需要重新生成,因为向量维度与编码逻辑与原模型绑定。
容易做错的三处
- 界面显示引用内容超出限制,原因是未按照选型档的
quoteMaxToken设置总引用 token 预算,导致召回内容累计 token 超出对话模型的上限。 - 部分长文本的语义连贯性缺失,原因是分块长度设置不当,未匹配向量模型的
maxToken或defaultToken参数,导致关键信息被割裂。 - 更换向量模型后索引无法正常召回,原因是未重新生成知识库索引,新向量模型的编码逻辑与原有索引不匹配。
怎么确认配好了
- 查看对话模型的选型配置,确认
quoteMaxToken处于 190000–350000 tokens 的区间内。 - 核对向量模型的参数设置,确认
defaultToken与maxToken匹配选型档的要求。 - 测试分块功能,验证生成的分块长度符合预设的配置项。
- 发起一次跨模态的知识库检索,确认图片与文本内容均可正常召回并纳入上下文。