在上一篇 DB-GPT 0.7.0 部署教程 中，已经成功部署了 DB-GPT 0.7.0。接下来，将继续探索如何将 DB-GPT 与 DeepSeek 结合使用。

请注意：本篇教程将从已经安装完 UV 并进入项目目录后的步骤开始讲解。如果你尚未完成 UV 的安装或项目克隆，请参考上一篇教程中的相关内容。

配置文件各个参数的解释也请参考上一篇教程，这边不再做解释。

1. Proxy-OpenAI

1.1 依赖安装

• macOS and Linux:

uv sync --all-packages --frozen \
--extra "base" \
--extra "proxy_openai" \
--extra "rag" \
--extra "storage_chromadb" \
--extra "dbgpts" \
--link-mode=copy

• windows:

uv sync --all-packages --frozen --extra "base" --extra "proxy_openai" --extra "rag" --extra "storage_chromadb" --extra "dbgpts" --link-mode=copy

1.2 配置文件

编辑configs/dbgpt-proxy-deepseek.toml配置文件

1.2.1 DeepSeek官方API

# ... existing code ...
# 重点看模型配置部分
[models]
[[models.llms]]
# 请自行修改要使用的模型 deepseek-reasoner 或者 deepseek-chat
# 这边以 deepseek-reasoner 为例
name = "deepseek-reasoner"
provider = "proxy/deepseek"
api_key = "sk-xxx"
​
# embedding模型根据自己实际环境来即可
# 以下只是参考
[[models.embeddings]]
name = "BAAI/bge-large-zh-v1.5"
provider = "hf"
path = "/data/models/bge-large-zh-v1.5"

1.2.2 其他第三方转发API（满足OpenAI接口格式）

# ... existing code ...
[models]
[[models.llms]]
name = "deepseek-reasoner"
# provider需要修改成proxy/openai
provider = "proxy/openai"
# 下方填写转发API的url及apikey即可
api_base = "https://api.openai.com/v1"
api_key = "sk-xxx"
​
[[models.embeddings]]
name = "BAAI/bge-large-zh-v1.5"
provider = "hf"
path = "/data/models/bge-large-zh-v1.5"

1.3 启动项目

两种方式可以启动

• 方式一：

uv run dbgpt start webserver --config configs/dbgpt-proxy-deepseek.toml

• 方式二：

uv run python packages/dbgpt-app/src/dbgpt_app/dbgpt_server.py --config configs/dbgpt-proxy-deepseek.toml

接下来访问 http://localhost:5670/ 即可。

2. Local-hf

2.1 依赖安装

• macOS and Linux:

uv sync --all-packages --frozen \
--extra "base" \
--extra "hf" \
--extra "rag" \
--extra "storage_chromadb" \
--extra "quant_bnb" \
--extra "dbgpts" \
--link-mode=copy

• windows:

uv sync --all-packages --frozen --extra "base" --extra "hf" --extra "rag" --extra "storage_chromadb" --extra "quant_bnb" --extra "dbgpts" --link-mode=copy

2.2 模型下载

本教程以deepseek-ai/DeepSeek-R1-Distill-Qwen-14B为例

2.2.1 手动下载

mkdir models
git lfs install
# 如果是hugging face下载
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B.git
# 如果是modelscope下载
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B.git

2.2.2 自动下载

DB-GPT支持自动下载模型的方式（通过Hugging face下载），只需要在配置文件中填写好对应的模型名称即可。比如: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

即可以通过拼接url的形式能正常访问到模型仓库地址：https://huggingface.co/+deepseek-ai/DeepSeek-R1-Distill-Qwen-14B 最终是 https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

这样即可自动下载模型。

但是，不建议这么做，还是以手动下载模型为主。

2.3 配置文件

编辑configs/dbgpt-local-deepseek.toml配置文件，如果没有请自行到configs下自行创建。

# ... existing code ...
[models]
[[models.llms]]
name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-14B"
provider = "hf"
# 如果注释掉path，那么DB-GPT会自行到Hugging face进行下载模型
# 否则正常填写刚刚手动下载的模型路径即可
path = "models/DeepSeek-R1-Distill-Qwen-14B"
# ... existing code ...

2.4 启动项目

两种方式可以启动

• 方式一：

uv run dbgpt start webserver --config configs/dbgpt-local-deepseek.toml

• 方式二：

uv run python packages/dbgpt-app/src/dbgpt_app/dbgpt_server.py --config configs/dbgpt-local-deepseek.toml

接下来访问 http://localhost:5670/ 即可。

3. Local-vllm

3.1 依赖安装

• macOS and Linux:

uv sync --all-packages --frozen \
--extra "base" \
--extra "vllm" \
--extra "rag" \
--extra "storage_chromadb" \
--extra "quant_bnb" \
--extra "dbgpts" \
--link-mode=copy

• windows:

uv sync --all-packages --frozen --extra "base" --extra "vllm" --extra "rag" --extra "storage_chromadb" --extra "quant_bnb" --extra "dbgpts" --link-mode=copy

3.2 模型下载

这部分与 2.2 相同， 请看 2.2。

3.3 配置文件

编辑configs/dbgpt-local-vllm-deepseek.toml配置文件，如果没有请自行到configs下自行创建。

# ... existing code ...
[models]
[[models.llms]]
name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-14B"
provider = "vllm"
# 如果注释掉path，那么DB-GPT会自行到Hugging face进行下载模型
# 否则正常填写刚刚手动下载的模型路径即可
path = "models/DeepSeek-R1-Distill-Qwen-14B"
# ... existing code ...

3.4 启动项目

两种方式可以启动

• 方式一：

uv run dbgpt start webserver --config configs/dbgpt-local-vllm-deepseek.toml

• 方式二：

uv run python packages/dbgpt-app/src/dbgpt_app/dbgpt_server.py --config configs/dbgpt-local-vllm-deepseek.toml

接下来访问 http://localhost:5670/ 即可。

4. Local-llama-cpp

4.1 依赖安装

• macOS and Linux:

uv sync --all-packages --frozen \
--extra "base" \
--extra "llama_cpp" \
--extra "rag" \
--extra "storage_chromadb" \
--extra "quant_bnb" \
--extra "dbgpts" \
--link-mode=copy

• windows:

uv sync --all-packages --frozen --extra "base" --extra "llama_cpp" --extra "rag" --extra "storage_chromadb" --extra "quant_bnb" --extra "dbgpts" --link-mode=copy

4.2 模型下载

以DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf为例

cd models
# 以hugging face为例 其他同理
wget https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf?download=true -O DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

4.3 配置文件

编辑configs/dbgpt-local-llama-cpp-deepseek.toml配置文件，如果没有请自行到configs下自行创建。

# ... existing code ...
[models]
[[models.llms]]
name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-14B"
provider = "llama.cpp"
path = "models/DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf"
# ... existing code ...

4.4 启动项目

两种方式可以启动

• 方式一：

uv run dbgpt start webserver --config configs/dbgpt-local-llama-cpp-deepseek.toml

• 方式二：

uv run python packages/dbgpt-app/src/dbgpt_app/dbgpt_server.py --config configs/dbgpt-local-llama-cpp-deepseek.toml

接下来访问 http://localhost:5670/ 即可。