yyhhyy's blog

yyhhyy

最新文章

Doker-compose 网络互通

在迁移服务到1Panel时,遇到容器网络不互通的问题。1Panel默认使用bridge网络模式,导致one-api无法访问mysql和redis。通过修改compose文件,将one-api加入1panel-network网络,并使用容器名称代替IP地址进行连接,解决了网络互通问题。总结出不同容器通信的技巧:若容器在同一网络组中,直接使用容器名和端口;若不在同一网络组,则使用网络模式的网关和宿主机端口。
111
0
1
2024-05-02

DB-GPT AWEL 实践所遇问题

文章讨论了在使用DB-GPT和AWEL框架时遇到的主要问题,特别是LLM的text2sql能力不足导致的取数问题。通过system_prompt无法有效阻止LLM对SQL语句进行聚合操作,而使用gpt-4虽能避免聚合但仍存在无效取数问题。通过SQL结果拼接和引入新的prompt结合LLM判断所需字段,部分问题得到解决。此外,文章还探讨了LLM计算能力差的问题,提出了编写特定计算算子的解决方案,并建议通过构建决策字典和prompt传递给LLM来提高计算的智能性和灵活性。
196
0
2
2024-04-23

VLLM简单使用

VLLM的简单使用涉及前提配置、安装、部署服务和使用。前提配置要求CUDA≥11.8和torch≥2.1.2。安装可通过pip直接安装或从GitHub克隆最新版本。部署服务需启动ray服务,并可根据需求配置单卡或多卡模型。使用方式与OpenAI接口相同,可通过curl命令进行请求。常见问题包括模型路径和名称配置、CUDA版本兼容性及确保ray服务启动。
1119
0
1
2024-04-10

GOOGLE-Python风格规范

Google的Python风格规范强调了代码的简洁性和一致性,建议避免使用分号,每行代码不超过80个字符,并利用圆括号进行隐式行连接。缩进应使用4个空格,括号应谨慎使用,仅在必要时使用。序列元素尾部逗号在特定情况下推荐使用,以帮助格式化工具如YAPF。空行和空格的使用应遵循标准排版规范,顶级定义之间空两行,方法定义之间空一行。Shebang仅在直接执行的文件中使用,注释应遵循正确的风格。这些规范旨在提高代码的可读性和维护性。
97
0
0
2024-04-02

DB-GPT Text2SQL微调方法

本文介绍了DB-GPT Text2SQL微调实践,详细描述了环境准备、数据处理和模型微调的步骤。环境准备包括在CentOS 7.9系统上安装CUDA 11.7和DB-GPT-Hub,并处理CUDA版本问题。数据处理部分使用Spider数据集,通过信息匹配生成法划分数据,生成训练集和评估集。模型微调部分使用单卡训练,配置LoRA微调参数,包括学习率、批量大小和训练轮数等,最终生成适配器权重文件。
767
0
0
2024-03-07

Langchain-Chatchat搭建(GPU)

本文详细介绍了在CentOS 7.9环境下,使用CUDA 11.7搭建Langchain-Chatchat的步骤。首先,通过Git拉取项目代码并创建Conda环境,安装指定版本的PyTorch和其他依赖。由于CUDA版本限制,需调整部分依赖版本。接着,初始化知识库并配置相关文件,包括模型路径、提示词和数据库设置。最后,介绍了单卡和多卡启动的方法,确保在不同硬件配置下顺利运行Langchain-Chatchat。
533
0
0
2024-03-04

DB-GPT搭建

DB-GPT搭建需要在配备A800显卡、CUDA 11.7和Python 3.10.13的服务器环境中进行。搭建步骤包括下载DB-GPT源码、安装Python环境、复制基础环境变量、下载模型文件并按要求命名,最后运行启动脚本。模型文件需手动下载并放置在指定目录,启动后可通过web端口访问。
183
0
0
2024-02-27

Langchain-Chatchat搭建(CPU)

本文介绍了在CentOS 7.9环境下搭建和调试Langchain-Chatchat的步骤,仅支持CPU调试。首先通过Git拉取项目并安装依赖,包括FAISS向量库。接着初始化知识库和配置文件,最后启动项目。文中还提到如何配置模型路径和选择Embedding模型,如bge-large-zh-v1.5,以及支持的LLM模型如chatglm3-6b和zhipu-api。
239
0
0
2024-02-22

建立菲律宾台风损害模型

文章介绍了基于过去20年12场台风数据,开发菲律宾台风对建筑物损坏的统计模型。模型利用灾害相关指标(如风速)和社会经济指标(如贫困发生率)预测各城市受损房屋比例。数据来源于510 Global,包含1638个观测值,涵盖1034个城市和12个台风的影响。模型通过数据清洗和特征选择,剔除缺失值和异常值,最终选择有用特征进行预测。
160
0
0
2023-07-27

13-MiniWeb框架

Web框架是专门为Web服务器处理动态资源请求的应用程序,与Web服务器协同工作。Web服务器接收浏览器请求,若为动态资源请求则交由Web框架处理,处理结果返回给Web服务器后再发送给浏览器。静态资源由Web服务器直接处理,而动态资源如HTML请求则由Web框架处理。WSGI协议规定了Web服务器与框架之间的通信规则。通过Python代码示例展示了如何实现Web服务器与框架的交互,动态资源的判断基于请求路径的后缀名,如.html为动态资源请求。
93
0
0
2023-07-24