文章讨论了在使用DB-GPT的AWEL框架时遇到的问题及其解决方案。主要问题包括LLM的text2sql能力不足，导致生成的SQL语句包含聚合函数，以及取数时获取的是全量数据而非所需字段。通过改写system_prompt和拼接SQL结果，解决了生成SQL的问题。引入新的prompt结合LLM判断所需字段，解决了取数问题。此外，文章还提到了LLM计算能力不足的问题，通过编写自定义计算算子解决了这一问题。

VLLM的安装可以通过pip直接安装，确保CUDA=12.1环境，或通过git克隆源码进行安装，但需注意cmake报错问题。部署服务时需启动ray服务，支持单卡和多卡模式。使用时，服务接口与OpenAI接口兼容，可通过curl命令进行请求。使用过程中需注意模型路径、CUDA版本及ray服务的启动。

本文介绍了在CentOS 7.9环境下，使用CUDA 11.7对DB-GPT-HUB进行Text2SQL微调的实践过程。首先，通过特定的环境配置和依赖管理确保CUDA 11.7的兼容性，避免安装不兼容的CUDA 12包。接着，使用Spider数据集进行数据处理，通过信息匹配生成法准备训练和评估数据集。最后，进行模型微调，使用LoRA方法对Qwen-7B-Chat模型进行微调，设置特定的参数以优化SQL生成任务。

本文详细介绍了在CentOS 7.9环境下使用CUDA 11.7搭建Langchain-Chatchat的步骤，包括环境设置、拉取仓库、创建和激活conda环境、安装依赖、初始化知识库和配置文件，以及启动服务。特别强调了在安装依赖时需根据CUDA版本调整torch及相关依赖的版本，并提供了多卡启动的配置方法。

DB-GPT搭建步骤包括下载源码、安装Python环境、配置环境变量、下载模型文件（如vicuna-7b-v1.5），并运行dbgpt_server.py启动服务。服务器需配置A800显卡、Driver 515.105.01、CUDA 11.7和Python 3.10.13。访问端口为0.0.0.0:5000，连接数据库需安装相应pip包。

Langchain-Chatchat在CentOS 7.9环境下成功进行本地CPU调试。通过拉取GitHub仓库并安装相关依赖，包括FAISS向量库，用户可根据需求选择其他向量库。初始化知识库和配置文件后，使用Python脚本启动应用。配置文件中可选择不同的Embedding和LLM模型，支持本地模型和在线API。