请大家监督：我要开启Python之路，首要任务最简单的搭建环境

创建conda环境

conda create lmdeploy

conda activate lmdeploy

安装依赖包(注：下对应的版本要不然容易报错)

pip install pytorch==2.1.2

pip install lmdeploy[all]==0.3.0

下载模型

通过Git协议下载模型。首先安装git-lfs组件 此处使用的root权限

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt update
apt install git-lfs   
git lfs install  --system

安装好git-lfs组件后，由OpenXLab平台下载InternLM2-Chat-1.8B模型：

git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-1.8b.git

把模型放到对应的路径下如

mv /root/internlm2-chat-1.8b /root/internlm2-chat-1_8b

使用LMDeploy与模型对话

执行如下命令运行下载的1.8B模型

lmdeploy chat /root/internlm2-chat-1_8b

就可以与InternLM2-Chat-1.8B大模型对话了。比如输入“请给我讲一个小故事吧”，然后按两下回车键

也可以启动API服务器

lmdeploy serve api_server \
    /root/internlm2-chat-1_8b \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其中，model-format、quant-policy这些参数是与第三章中量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。

启动客户端调用

lmdeploy serve api_client http://localhost:23333

网页客户端连接API服务器

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

打开浏览器，访问地址http://127.0.0.1:6006