保姆级教程：FastGPT构建个人本地知识库(Docker compose快速部署)
文章目录
- 教程概述
- 什么是知识库
- 一、Windows下部署
- 1.安装 Docker Desktop
- 2.创建目录并下载 docker-compose.yml
- 3.启动容器
- 4.访问 FastGPT
- 二、Linux 下部署
- 1.安装 Docker 和 Docker-compose
- 2.创建目录并下载 docker-compose.yml
- 3.启动容器
- 4.访问 FastGPT
- 三、配置文件
- docker-compose.yml
- config.json
- 四、搭建知识库
- 1.创建知识库
- 2.导入文本，文档数据等
- 3.测试向量搜索
- 4.创建知识库应用
- 5.与知识库进行对话
- 五、one-api 部署国内大模型
- 1.登入one api
- 2.创建渠道和令牌
- 3.修改 FastGPT 内配置文件
- 六、总结
在数字化时代，拥有一个个人知识库成为了许多技术爱好者的新追求。为了满足这一需求，我特别编写了一篇简明易懂的教程，旨在指导您如何使用 FastGPT 和 Docker Compose 来构建您自己的本地知识库。这篇“保姆级”教程，将引导您轻松完成这一任务。
教程概述
本教程的核心焦点在于简化部署过程。我们将通过 Docker Compose 这一强大工具，快速搭建 FastGPT 驱动的知识库。然而，需要注意的是，教程更多地关注于部署操作本身，而非FastGPT 的深入原理探讨。因此，如果您对 FastGPT 的工作机制和技术细节感兴趣，我强烈建议查阅官方文档进行更深入的学习。FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！
项目地址：https://doc.fastgpt.in/docs/intro/
在线体验地址：https://fastgpt.in
什么是知识库
知识库核心流程图
一、Windows下部署
1.安装 Docker Desktop
我们建议将源代码和其他数据绑定到 Linux 容器中时，将其存储在 Linux 文件系统中，而不是 Windows 文件系统中。
https://www.docker.com/products/personal/
2.创建目录并下载 docker-compose.yml
新建 FastGPT 文件夹
新建文件config.json、docker-compose.yml
3.启动容器
以管理员身份运行cmd,并进入FastGPT目录
# 在 docker-compose.yml 同级目录下执行
docker-compose pull
docker-compose up -d
4.访问 FastGPT
目前可以通过 localhost:3000 直接访问(注意防火墙)。登录用户名为 root，密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。
二、Linux 下部署
1.安装 Docker 和 Docker-compose
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
# 如失效，自行百度~
2.创建目录并下载 docker-compose.yml
# 创建目录
mkdir fastgpt
# 进入目录
cd fastgpt
# 下载文件
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
3.启动容器
# 在 docker-compose.yml 同级目录下执行
docker-compose pull
docker-compose up -d
4.访问 FastGPT
目前可以通过 localhost:3000 直接访问(注意防火墙)。登录用户名为 root，密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。
三、配置文件
docker-compose.yml
# 需要修改
# 中转地址，如果是用官方号，不需要管。务必加 /v1
OPENAI_BASE_URL=https://api.openai.com/v1
# api-key
CHAT_API_KEY=sk-xxxx
# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码，记得改数据库和项目连接参数，别只改一处~
# 该配置文件只是给快速启动，测试使用。正式使用，记得务必修改账号密码，以及调整合适的知识库参数，共享内存等。
# 如何无法访问 dockerhub 和 git，可以用阿里云（阿里云没有arm包）
version: '3.3'
services:
# db
pg:
image: pgvector/pgvector:0.7.0-pg15 # docker hub
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
container_name: pg
restart: always
ports: # 生产环境建议不要暴露
- 5432:5432
networks:
- fastgpt
environment:
# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
- POSTGRES_USER=username
- POSTGRES_PASSWORD=password
- POSTGRES_DB=postgres
volumes:
- ./pg/data:/var/lib/postgresql/data
mongo:
image: mongo:5.0.18 # dockerhub
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
# image: mongo:4.4.29 # cpu不支持AVX时候使用
container_name: mongo
restart: always
ports:
- 27017:27017
networks:
- fastgpt
command: mongod --keyFile /data/mongodb.key --replSet rs0
environment:
- MONGO_INITDB_ROOT_USERNAME=myusername
- MONGO_INITDB_ROOT_PASSWORD=mypassword
volumes:
- ./mongo/data:/data/db
entrypoint:
- bash
- -c
- |
openssl rand -base64 128 > /data/mongodb.key
chmod 400 /data/mongodb.key
chown 999:999 /data/mongodb.key
echo 'const isInited = rs.status().ok === 1
if(!isInited){
rs.initiate({
_id: "rs0",
members: [
{ _id: 0, host: "mongo:27017" }
]
})
}' > /data/initReplicaSet.js
# 启动MongoDB服务
exec docker-entrypoint.sh "$$@" &
# 等待MongoDB服务启动
until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
echo "Waiting for MongoDB to start..."
sleep 2
done
# 执行初始化副本集的脚本
mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js
# 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
wait $$!
# fastgpt
sandbox:
container_name: sandbox
image: ghcr.io/labring/fastgpt-sandbox:v4.8.4 # git
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.4 # 阿里云
networks:
- fastgpt
restart: always
fastgpt:
container_name: fastgpt
image: ghcr.io/labring/fastgpt:v4.8.4 # git
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.4 # 阿里云
ports:
- 3000:3000
networks:
- fastgpt
depends_on:
- mongo
- pg
- sandbox
restart: always
environment:
# root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
- DEFAULT_ROOT_PSW=1234
# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
- OPENAI_BASE_URL=http://oneapi:3000/v1
# AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
- CHAT_API_KEY=sk-fastgpt
# 数据库最大连接数
- DB_MAX_LINK=30
# 登录凭证密钥
- TOKEN_KEY=any
# root的密钥，常用于升级时候的初始化请求
- ROOT_KEY=root_key
# 文件阅读加密
- FILE_TOKEN_KEY=filetoken
# MongoDB 连接参数. 用户名myusername,密码mypassword。
- MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
# pg 连接参数
- PG_URL=postgresql://username:password@pg:5432/postgres
# sandbox 地址
- SANDBOX_URL=http://sandbox:3000
# 日志等级: debug, info, warn, error
- LOG_LEVEL=info
volumes:
- ./config.json:/app/data/config.json
# oneapi
mysql:
image: mysql:8.0.36
container_name: mysql
restart: always
ports:
- 3306:3306
networks:
- fastgpt
command: --default-authentication-plugin=mysql_native_password
environment:
# 默认root密码，仅首次运行有效
MYSQL_ROOT_PASSWORD: oneapimmysql
MYSQL_DATABASE: oneapi
volumes:
- ./mysql:/var/lib/mysql
oneapi:
container_name: oneapi
image: ghcr.io/songquanpeng/one-api:latest
ports:
- 3001:3000
depends_on:
- mysql
networks:
- fastgpt
restart: always
environment:
# mysql 连接参数
- SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
# 登录凭证加密密钥
- SESSION_SECRET=oneapikey
# 内存缓存
- MEMORY_CACHE_ENABLED=true
# 启动聚合更新，减少数据交互频率
- BATCH_UPDATE_ENABLED=true
# 聚合更新时长
- BATCH_UPDATE_INTERVAL=10
# 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
- INITIAL_ROOT_TOKEN=fastgpt
volumes:
- ./oneapi:/data
networks:
fastgpt:
config.json
{
"systemEnv": {
"openapiPrefix": "fastgpt",
"vectorMaxProcess": 15,
"qaMaxProcess": 15,
"pgHNSWEfSearch": 100
},
"chatModels": [
{
"model": "gpt-3.5-turbo",
"name": "GPT35",
"inputPrice": 0,
"outputPrice": 0,
"maxContext": 4000,
"maxResponse": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1.2,
"censor": false,
"vision": false,
"defaultSystemChatPrompt": ""
},
{
"model": "gpt-3.5-turbo-16k",
"name": "GPT35-16k",
"maxContext": 16000,
"maxResponse": 16000,
"inputPrice": 0,
"outputPrice": 0,
"quoteMaxToken": 8000,
"maxTemperature": 1.2,
"censor": false,
"vision": false,
"defaultSystemChatPrompt": ""
},
{
"model": "gpt-4",
"name": "GPT4-8k",
"maxContext": 8000,
"maxResponse": 8000,
"inputPrice": 0,
"outputPrice": 0,
"quoteMaxToken": 4000,
"maxTemperature": 1.2,
"censor": false,
"vision": false,
"defaultSystemChatPrompt": ""
},
{
"model": "gpt-4-vision-preview",
"name": "GPT4-Vision",
"maxContext": 128000,
"maxResponse": 4000,
"inputPrice": 0,
"outputPrice": 0,
"quoteMaxToken": 100000,
"maxTemperature": 1.2,
"censor": false,
"vision": true,
"defaultSystemChatPrompt": ""
}
],
"qaModels": [
{
"model": "gpt-3.5-turbo-16k",
"name": "GPT35-16k",
"maxContext": 16000,
"maxResponse": 16000,
"inputPrice": 0,
"outputPrice": 0
}
],
"cqModels": [
{
"model": "gpt-3.5-turbo",
"name": "GPT35",
"maxContext": 4000,
"maxResponse": 4000,
"inputPrice": 0,
"outputPrice": 0,
"toolChoice": true,
"functionPrompt": ""
},
{
"model": "gpt-4",
"name": "GPT4-8k",
"maxContext": 8000,
"maxResponse": 8000,
"inputPrice": 0,
"outputPrice": 0,
"toolChoice": true,
"functionPrompt": ""
}
],
"extractModels": [
{
"model": "gpt-3.5-turbo-1106",
"name": "GPT35-1106",
"maxContext": 16000,
"maxResponse": 4000,
"inputPrice": 0,
"outputPrice": 0,
"toolChoice": true,
"functionPrompt": ""
}
],
"qgModels": [
{
"model": "gpt-3.5-turbo-1106",
"name": "GPT35-1106",
"maxContext": 1600,
"maxResponse": 4000,
"inputPrice": 0,
"outputPrice": 0
}
],
"vectorModels": [
{
"model": "text-embedding-ada-002",
"name": "Embedding-2",
"inputPrice": 0,
"outputPrice": 0,
"defaultToken": 700,
"maxToken": 3000,
"weight": 100
}
],
"reRankModels": [],
"audioSpeechModels": [
{
"model": "tts-1",
"name": "OpenAI TTS1",
"inputPrice": 0,
"outputPrice": 0,
"voices": [
{ "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
{ "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
{ "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
{ "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
{ "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
{ "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
]
}
],
"whisperModel": {
"model": "whisper-1",
"name": "Whisper1",
"inputPrice": 0,
"outputPrice": 0
}
}
四、搭建知识库
1.创建知识库
默认使用GPT3.5的
2.导入文本，文档数据等
3.测试向量搜索
导入文档后可以对文本进行测试，0.8215代表文本和知识库的相似程度
4.创建知识库应用
选择需要关联的知识库
5.与知识库进行对话
五、one-api 部署国内大模型
项目地址：https://github.com/songquanpeng/one-api
目前 FastGPT 项目已经将 one-api 封装在 docker 内，无需配置其他内容
1.登入one api
根据设定的端口，在浏览器内输入 localhost:3001
默认账号：root
默认密码：123456
第一次登陆需要重新设置 8 位密码。
2.创建渠道和令牌
添加新的渠道
阿里云的 api-key
添加令牌
3.修改 FastGPT 内配置文件
根据自己的选择添加对应的大语言模型和向量模型，作者选择的是通义千问旗下的 “qwen-turbo” 和 “text-embedding-v1”
config.json
"llmModels": [
...
{
"model": "qwen-turbo",
"name": "通义千问",
"maxContext": 8000,
"maxResponse": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1,
"vision": false,
"defaultSystemChatPrompt": ""
}
...
]
"vectorModels":[
...
{
"model": "text-embedding-v1",
"name": "text-embedding-v1",
"avatar": "/imgs/model/openai.svg",
"charsPointsPrice": 0,
"defaultToken": 700,
"maxToken": 3000,
"weight": 100
},
...
]
docker-compose.yml
# base_url为ip地址:13000
- OPENAI_BASE_URL=http://*******:3000/v1
# api-key点击令牌复制的key
- CHAT_API_KEY=sk-7s1VO4aKfcEkfgQ3Fd35Bf10C60244799c88Ae40Ca98FdF0
修改完成后执行指令
docker-compose pull
docker-compose up -d
在应用中可以选择对应的模型
六、总结
我非常鼓励所有读者亲自实践本教程，并与我分享您的体验。如果在实践过程中遇到任何挑战，或有任何疑问，欢迎在评论区留言。在这个平台上，我们可以共同探讨，解决遇到的问题，共同成长。
构建个人知识库不仅是一个技术挑战，更是一次学习和成长的旅程。本教程旨在为您铺平这条路，帮助您轻松起步。记得，在掌握基础之后，一定要查阅官方文档，深入理解背后的技术原理，这将对您的技术成长大有裨益。
期待看到您的实践成果，并期待在技术的道路上与您携手前行！
