这一档模型的参数意味着什么
quoteMaxToken 是对话模型可使用的引用内容总token预算,本档共16款符合该参数区间的对话模型,区间为4000至8000 tokens。在知识库应用场景中,该预算限定了单次对话可注入的检索知识库片段的总token上限,既保障模型能获取足够的背景信息支撑回复,又避免因引用内容过多超出模型上下文窗口,确保对话流程稳定合规,适配多数通用知识库的信息调用需求。
配 Doubao 向量模型要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
defaultToken | 512 tokens | 与所选Doubao向量模型的默认分段token数匹配,保障分块逻辑与模型输入要求对齐 |
maxToken | 4096 tokens | 匹配所选Doubao向量模型的单段输入token上限,避免单段内容超出模型处理能力 |
quoteMaxToken | 4000-8000 tokens | 贴合本档对话模型的引用预算区间,适配知识库应用的上下文承载需求 |
| 分块长度 | 512-4096 tokens | 参考向量模型的单段上限与对话模型引用预算,灵活调整以平衡语义完整性与引用段数 |
| 重叠长度 | 10%-20%分块长度 | 保障相邻分块间的语义连贯性,避免关键信息被分块截断 |
| 单次搜索上限 | 按引用预算与分块长度动态调整 | 控制单次检索返回的片段总数,避免总token超出quoteMaxToken |
这两者互相约束的地方
本档对话模型的引用预算与所选Doubao向量模型的参数存在双向约束。按默认每段512 tokens计算,一轮引用最多能放下约7至15段;当单段长度调至向量模型允许的4096 tokens上限时,单段即可占满对话模型的整轮引用预算。每段越长,单段语义完整性越强,但一轮可承载的引用段数越少;每段越短,段数越多,但单段上下文的语义连贯性越弱。此外,更换向量模型后,已创建的知识库索引需要重新构建,因为向量维度与向量模型绑定,原有索引无法适配新模型的向量提取逻辑。
容易做错的三处
- 出现总引用token超出
quoteMaxToken的日志提示,原因是未结合分块长度与单次搜索上限,控制单次检索返回的片段总token未符合对话模型的引用预算要求。 - 检索返回的知识库片段语义断裂,原因是分块重叠长度设置过低,相邻分块间的关键关联信息被截断。
- 更换向量模型后无法正常加载已建知识库,原因是未按照新向量模型的要求重建索引,向量维度与新模型不匹配。
怎么确认配好了
- 查看平台配置界面中对话模型的引用预算参数,确认其落在4000至8000 tokens区间内。
- 核对所选Doubao向量模型的默认分段token数与单段输入上限,确认与当前配置的分块长度等参数对齐。
- 发起一次知识库检索测试,查看返回片段的总token未超出对话模型的引用预算。
- 确认更换向量模型后,已有的知识库索引已完成重建操作。