VLLM ⽅式部署⼤语⾔模型

▶ 配置python虚拟环境

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

一路yes 加 默认

激活默认虚拟环境base

source ~/.bashrc

查看默认版本

conda --version

接受conda的协议

conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/main

conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r

▶ 安装conda创建虚拟环境

conda create -n vllm python=3.10 -y

conda activate vllm

▶ 在虚拟环境中安装vllm

pip install transformers4.47.0 tokenizers0.21.0 vllm==0.6.6

版本必须安装正确否则版本不一致 各种问题

▶ 安装魔塔社区

pip install modelscope==1.22.0

▶ 编写模型下载脚本download_models.py

from modelscope.hub.snapshot_download import snapshot_download

#指定要下载的模型ID

model_id = 'Qwen/Qwen2-7B'

#可选：指定下载目录

cache_dir = '/root/models'

model_dir = snapshot_download(model_id, cache_dir=cache_dir, revision=None)

print(model_dir)

▶ 执行模型下载脚本

python download_models.py

▶ 安装openai

pip insrall openai==1.55.0

▶ 运行模型

vllm serve /root/models/Qwen/Qwen2-7B --served-model-name Qwen2-7B --gpu-memory-utilization 0.95 --max-model-len 4096 --port 8080

说明：--served-model-name Qwen2-7B # 指定模型名字，自定义，不固定，调接口时使用

--gpu-memory-utilization 0.95 # 提升显存利用率（默认0.9，最大建议0.95）

--max-model-len 4096 # 降低最大序列长度（根据需求调整）

▶ 访问模型

curl localhost:8000/v1/models

▶ 使用模型

curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d '{
"model": "Qwen2-7B",

"prompt": "介绍一下自己",

"temperature": 0.7,

"max_tokens": 50 c

}'