DB-GPT 0.7.0 与 Ollama 集成使用指南

详细讲解 DB-GPT 0.7.0 与 DeepSeek 集成使用指南

DB-GPT 0.7.0 源码部署教程

文章讨论了在使用DB-GPT和AWEL框架时遇到的主要问题，特别是LLM的text2sql能力不足导致的取数问题。通过system_prompt无法有效阻止LLM对SQL语句进行聚合操作，而使用gpt-4虽能避免聚合但仍存在无效取数问题。通过SQL结果拼接和引入新的prompt结合LLM判断所需字段，部分问题得到解决。此外，文章还探讨了LLM计算能力差的问题，提出了编写特定计算算子的解决方案，并建议通过构建决策字典和prompt传递给LLM来提高计算的智能性和灵活性。

VLLM的简单使用涉及前提配置、安装、部署服务和使用。前提配置要求CUDA≥11.8和torch≥2.1.2。安装可通过pip直接安装或从GitHub克隆最新版本。部署服务需启动ray服务，并可根据需求配置单卡或多卡模型。使用方式与OpenAI接口相同，可通过curl命令进行请求。常见问题包括模型路径和名称配置、CUDA版本兼容性及确保ray服务启动。

本文介绍了DB-GPT Text2SQL微调实践，详细描述了环境准备、数据处理和模型微调的步骤。环境准备包括在CentOS 7.9系统上安装CUDA 11.7和DB-GPT-Hub，并处理CUDA版本问题。数据处理部分使用Spider数据集，通过信息匹配生成法划分数据，生成训练集和评估集。模型微调部分使用单卡训练，配置LoRA微调参数，包括学习率、批量大小和训练轮数等，最终生成适配器权重文件。

本文详细介绍了在CentOS 7.9环境下，使用CUDA 11.7搭建Langchain-Chatchat的步骤。首先，通过Git拉取项目代码并创建Conda环境，安装指定版本的PyTorch和其他依赖。由于CUDA版本限制，需调整部分依赖版本。接着，初始化知识库并配置相关文件，包括模型路径、提示词和数据库设置。最后，介绍了单卡和多卡启动的方法，确保在不同硬件配置下顺利运行Langchain-Chatchat。

DB-GPT搭建需要在配备A800显卡、CUDA 11.7和Python 3.10.13的服务器环境中进行。搭建步骤包括下载DB-GPT源码、安装Python环境、复制基础环境变量、下载模型文件并按要求命名，最后运行启动脚本。模型文件需手动下载并放置在指定目录，启动后可通过web端口访问。

本文介绍了在CentOS 7.9环境下搭建和调试Langchain-Chatchat的步骤，仅支持CPU调试。首先通过Git拉取项目并安装依赖，包括FAISS向量库。接着初始化知识库和配置文件，最后启动项目。文中还提到如何配置模型路径和选择Embedding模型，如bge-large-zh-v1.5，以及支持的LLM模型如chatglm3-6b和zhipu-api。