Dify 与 FastGPT 知识库集成
在 Dify 与 FastGPT 等企业级大模型知识库与 Agent 工作流编排平台中接入 疾旋Token,一站式提供 LLM 推理、Embedding 向量化与 Rerank 重排支持。
Dify 与 FastGPT 是当前企业级应用最广泛的开源 LLM 知识库 (RAG) 与 Agent 工作流编排平台。
通过接入 疾旋Token,您可以一站式满足企业级 RAG 检索流水线中的全部算力需求:
- 大语言模型 (LLM):负责多轮对话、长文档总结与复杂 Agent 工作流编排;
- 文本嵌入模型 (Text Embedding):负责对企业文档进行高维度密集向量化切片;
- 文档重排序模型 (Rerank):负责在检索召回后进行二次语义精排,显著提升召回准确率。
🚀 第一部分:在 Dify 中添加疾旋Token 提供商
打开 Dify 模型供应商设置
- 登录您的 Dify 控制台。
- 点击右上角用户头像 -> 选择 「设置 (Settings)」 -> 在左侧菜单点击 「模型供应商 (Model Providers)」。
添加 OpenAI-API-compatible 插件并配置 LLM
在供应商列表中找到 OpenAI-API-compatible(若未显示,可在上方搜索并添加):
- 点击 「添加模型 (Add Model)」。
- 配置参数:
- 模型类型 (Model Type):选择
LLM - 模型名称 (Model Name):填写具体的模型 ID(如
GPT-5.6-sol、GPT-5.6-terra或GPT-5.6-luna) - API 域名 (API Endpoint URL):
https://token.astrumflow.com/v1(必须以/v1结尾) - API 密钥 (API Key):粘贴您的
sk-your-astrumflow-token-key
- 模型类型 (Model Type):选择
- 勾选模型支持的能力(Function Calling、Vision 等)并保存。
若需要同时使用多个模型(例如同时使用 GPT-5.6-sol 和 GPT-5.6-terra),只需重复上述步骤,在模型名称中分别填入对应 ID 即可。
添加 Embedding(向量化)模型
为了在 Dify 中构建知识库,需配置向量模型:
- 再次点击 「添加模型」。
- 模型类型:选择
Text Embedding。 - 模型名称:填入
text-embedding-3-small(或text-embedding-3-large)。 - API Endpoint URL:
https://token.astrumflow.com/v1。 - API Key:
sk-your-astrumflow-token-key。 - 点击保存完成配置。
添加 Rerank(重排序)模型(可选)
如需进一步提升知识库问答召回精度:
- 点击 「添加模型」,模型类型 选择
Rerank。 - 模型名称:填入
bge-reranker-large。 - API Endpoint URL:
https://token.astrumflow.com/v1。 - API Key:
sk-your-astrumflow-token-key。 - 点击保存。
⚡ 第二部分:在 FastGPT 中配置疾旋Token
FastGPT 支持在 可视化后台管理 或传统的 config.json 配置文件中接入模型。
方式一:新版可视化后台配置 (v4.8.20+)
- 登录 FastGPT 管理员账号,进入 「系统设置」 -> 「模型管理」。
- 点击 「添加渠道」,选择 OpenAI 兼容。
- Base URL:填写
https://token.astrumflow.com/v1。 - API Key:填写您的
sk-your-astrumflow-token-key。 - 勾选或手动添加
GPT-5.6-sol、GPT-5.6-terra、text-embedding-3-small和bge-reranker-large。
方式二:传统配置文件模式 (config.json)
在 FastGPT 的 config.json 部署配置文件中,添加疾旋Token 提供的 LLM、向量与重排模型定义:
{
"llmModels": [
{
"provider": "OpenAI",
"model": "GPT-5.6-sol",
"name": "GPT-5.6-sol 旗舰推理",
"baseURL": "https://token.astrumflow.com/v1"
},
{
"provider": "OpenAI",
"model": "GPT-5.6-terra",
"name": "GPT-5.6-terra 高性能主力",
"baseURL": "https://token.astrumflow.com/v1"
},
{
"provider": "OpenAI",
"model": "GPT-5.6-luna",
"name": "GPT-5.6-luna 极速出词",
"baseURL": "https://token.astrumflow.com/v1"
}
],
"vectorModels": [
{
"model": "text-embedding-3-small",
"name": "Text Embedding 3 Small",
"baseURL": "https://token.astrumflow.com/v1"
}
],
"reRankModels": [
{
"model": "bge-reranker-large",
"name": "BGE Reranker Large",
"baseURL": "https://token.astrumflow.com/v1"
}
]
}🎯 企业级 RAG 最佳实践架构
文档切片与密集向量化
使用 text-embedding-3-small 对企业知识库进行高维向量编码,保障检索召回的高语义覆盖率。
混合检索 + 语义重排序
初筛召回结合 bge-reranker-large 进行深度交叉注意力重排打分,剔除无关文档噪音。
大模型精准推理与溯源生成
将精排上下文交由 GPT-5.6-sol / GPT-5.6-terra 生成严谨回答,并附带可信文档引用与溯源链接。