yyhhyy's blog

yyhhyy

最新文章

VLLM简单使用

VLLM的安装可以通过pip直接安装,确保CUDA=12.1环境,或通过git克隆源码进行安装,但需注意cmake报错问题。部署服务时需启动ray服务,支持单卡和多卡模式。使用时,服务接口与OpenAI接口兼容,可通过curl命令进行请求。使用过程中需注意模型路径、CUDA版本及ray服务的启动。
993
0
1
2024-04-10

GOOGLE-Python风格规范

Google Python风格规范强调代码简洁与一致性,建议每行不超过80字符,避免行尾分号,使用4空格缩进。括号应谨慎使用,主要用于行连接。序列元素推荐使用尾部逗号,顶级定义间空两行。空格使用需遵循标准排版,二元操作符两侧加空格,但关键字参数和默认值的等号两侧不加。Shebang行仅在主文件中使用。注释应保持风格一致,文档字符串需清晰描述模块、函数和方法。
74
0
0
2024-04-02

DB-GPT Text2SQL微调方法

本文介绍了在CentOS 7.9环境下,使用CUDA 11.7对DB-GPT-HUB进行Text2SQL微调的实践过程。首先,通过特定的环境配置和依赖管理确保CUDA 11.7的兼容性,避免安装不兼容的CUDA 12包。接着,使用Spider数据集进行数据处理,通过信息匹配生成法准备训练和评估数据集。最后,进行模型微调,使用LoRA方法对Qwen-7B-Chat模型进行微调,设置特定的参数以优化SQL生成任务。
656
0
0
2024-03-07

Langchain-Chatchat搭建(GPU)

本文详细介绍了在CentOS 7.9环境下使用CUDA 11.7搭建Langchain-Chatchat的步骤,包括环境设置、拉取仓库、创建和激活conda环境、安装依赖、初始化知识库和配置文件,以及启动服务。特别强调了在安装依赖时需根据CUDA版本调整torch及相关依赖的版本,并提供了多卡启动的配置方法。
428
0
0
2024-03-04

DB-GPT搭建

DB-GPT搭建步骤包括下载源码、安装Python环境、配置环境变量、下载模型文件(如vicuna-7b-v1.5),并运行dbgpt_server.py启动服务。服务器需配置A800显卡、Driver 515.105.01、CUDA 11.7和Python 3.10.13。访问端口为0.0.0.0:5000,连接数据库需安装相应pip包。
146
0
0
2024-02-27

Langchain-Chatchat搭建(CPU)

Langchain-Chatchat在CentOS 7.9环境下成功进行本地CPU调试。通过拉取GitHub仓库并安装相关依赖,包括FAISS向量库,用户可根据需求选择其他向量库。初始化知识库和配置文件后,使用Python脚本启动应用。配置文件中可选择不同的Embedding和LLM模型,支持本地模型和在线API。
179
0
0
2024-02-22

建立菲律宾台风损害模型

本文介绍了基于过去20年12场台风数据,开发菲律宾台风损害模型的过程。该模型旨在预测每个城市受损房屋的比例,结合灾害指标(如风速、降雨量)和社会经济指标(如贫困率、建筑质量)。数据集包含1,638个观测值,覆盖1,034个城市和12次台风,通过数据清洗和特征选择,模型最终用于预测城市中受损房屋的比例。
131
0
0
2023-07-27

13-MiniWeb框架

Web框架与Web服务器协同工作,专门处理动态资源请求。Web服务器接收请求后,若为动态资源(如.html文件),则交由Web框架处理,处理结果再返回给服务器,最终发送给浏览器。静态资源则由服务器直接处理。框架与服务器通过WSGI协议协同,确保动态资源的有效处理。
76
0
0
2023-07-24

12-闭包和装饰器

闭包是Python中的一种高级特性,允许内部函数使用外部函数的变量,并返回该内部函数。闭包的构成条件包括函数嵌套、内部函数使用外部函数变量、外部函数返回内部函数。闭包可以保存外部函数的变量,避免其随函数调用结束而销毁,但也可能导致内存消耗。装饰器本质上是一个闭包函数,用于在不修改原函数代码和调用方式的情况下,增加额外功能。装饰器通过语法糖@装饰器名简化使用,广泛用于函数执行时间统计和日志记录等场景。
99
0
0
2023-07-20

11-MySQL数据库的高级使用

文章介绍了如何使用SQL语句将查询结果插入到其他表中,包括创建新表、插入数据、更新表字段等操作。通过示例展示了如何使用PyMySQL库在Python中操作MySQL数据库,包括连接数据库、执行SQL语句、防止SQL注入等。
73
0
0
2023-07-18