0
点赞
收藏
分享

微信扫一扫

【AI】Ubuntu系统深度学习框架的神经网络图绘制

大模型学习笔记(一):部署ChatGLM模型以及stable-diffusion模型

注册算力平台(驱动云平台)

1.平台注册

平台注册链接:
https://growthdata.virtaicloud.com/t/SA

2.查看算力

注册完成后,点击右上角:费用中心,可查看领取的算力。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.进入平台中心

https://platform.virtaicloud.com/

部署ChatGLM3-6B模型

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。
推理速度比上一代提高了很多,虽然本教程有两种启动方式,但教程作者强烈推荐使用streamlit体验,效果极佳。

1.创建项目

  • 创建好账号之后,进入自己的空间,点击右上角的创建项目。

在这里插入图片描述

  • 给项目起一个你喜欢的名称,选择添加镜像
    在这里插入图片描述
  • 镜像选择pytorch2.0.1,Conda3.9
    在这里插入图片描述
  • 选择预训练模型,点击公开,选择不要葱姜蒜上传的这个ChtaGLM3-6B模型。
    在这里插入图片描述
  • 都选完之后,点击右下角的创建,代码选择暂不上传。待会直接clone代码。
    在这里插入图片描述
  • 点击运行代码
    在这里插入图片描述
  • 资源配置选择:B1.large, 24G的显存足够加载模型了。其他的不需要设置,然后点击右下角的开始运行。
    在这里插入图片描述

2.配置环境

  • 等右边两个工具全部加载完毕之后,再点击JupyterLab进入开发环境~

在这里插入图片描述

  • 进入界面之后是这样的,然后点击这个小加号。
    在这里插入图片描述
  • 点击terminal,进入终端。
    在这里插入图片描述

设置镜像源、克隆项目

  • 升级apt,安装unzip
  • 设置镜像源,升级pip
  • 克隆项目,并进入项目目录

在这里插入图片描述

修改requirements

  • 双击左侧的requirements.txt文件,把其中的torch删掉,因为我们的环境中已经有torch了,避免重复下载浪费时间【注意:删除之后要保存文件,可以使用快捷键Ctrl+S或者点击左上角的File,再点击保存】。
    在这里插入图片描述
  • 点击左上选项卡,重新返回终端,安装依赖,依赖安装完毕后还需要安装peft

在这里插入图片描述
在这里插入图片描述

3.修改web_demo_gradio.py代码

1、修改模型目录

  • 双击basic_demo 编辑web_demo_gradio.py,将加载模型的路径修改为:/gemini/pretrain,如下图所示

在这里插入图片描述

2、修改启动代码

  • 接下来还需要修改一段启动代码,将滚动条拉到最后一行,启动代码修改为如下~

在这里插入图片描述

3、添加外部端口映射

  • 在界面的右边添加外部端口:7000
    在这里插入图片描述

4、运行gradio界面

  • 点击左上选项卡,重新返回终端,运行web_demo_gradio.py

在这里插入图片描述

  • 等待模型慢慢加载完毕,可能需要个五六分钟叭保持一点耐心 ~
    在这里插入图片描述

5、访问gradio页面

  • 加载完毕之后,复制外部访问的连接,到浏览器打打开

在这里插入图片描述

4.修改web_demo_streamlit.py代码

如果你运行了gradio,需要先杀掉这个进程,不然内存不够。
CTRL+C 可以杀掉进程~
杀掉进程之后,显存不会立刻释放,可以观察右边的GPU内存占用,查看显存释放情况。

1、修改模型目录

  • 双击basic_demo 编辑web_demo_streamlit.py,将加载模型的路径修改为:/gemini/pretrain,如下图所示~
    在这里插入图片描述

2、运行streamlit界面

  • 点击左上选项卡,重新返回终端,运行web_demo_stream.py并指定7000端口,这样就不用再次添加外部端口映射啦~

在这里插入图片描述

3、访问streamlit界面

  • 复制外部访问地址到浏览器打开,之后模型才会开始加载。等待模型记载完毕~
    在这里插入图片描述
  • 以下是模型在加载时Streamlit的画面,在工作台中看到加载完成后刷新即可正常使用。
    在这里插入图片描述
  • 加载成功后工作台后端画面

在这里插入图片描述
在这里插入图片描述

用免费GPU部署自己的stable-diffusion

1.创建项目

  1. 进入趋动云用户工作台,选择:当前空间,请确保当前所在空间是注册时系统自动生成的空间。
    注:非系统自动生成的空间,没有赠送的算力金
  2. 点击:快速创建,选择创建项目,创建新项目。
  3. 填写相关的项目信息,其中镜像选择如下。
    在这里插入图片描述
    4.数据集选择如下。
    在这里插入图片描述
    5.待项目信息完善后,镜像和数据集选择完毕之后,点击 “创建”。
    在这里插入图片描述
  4. 弹出的上传代码对话框,选择 “暂不上传”。

2. 初始化开发环境实例

之后找到最右侧 “开发”-> “初始化开发环境实例
在这里插入图片描述
按照下图进行选择

在这里插入图片描述
运行初始化中,等待约 5-10 分钟,当右侧的 网页终端 和 JupyterLab 不再是灰色时,表明工具注入成功。此时您便可在此开发环境上通过工具进行模型调优,详情可参见下一步。
在这里插入图片描述

3. 部署模型

初始化完毕,点击下图所示右侧 “网页终端
在这里插入图片描述
依次输入以下4串命令就可以啦,注意每一次命令输入之后要等它运行完毕之后再输入下一条指令,建议复制命令而不是手动输入,容易出现遗漏空格或者路径出错的情况(网页终端无法使用Ctrl+C复制和Ctrl+V粘贴,可以鼠标在页面点击右键,然后选择“复制”或者“粘贴”)。

1、解压代码及模型

2、解压配置文件到隐藏目录/root/.cache

3、拷贝frpc内网穿透文件 (注意有两行 -> 两条指令)

4、拷贝模型文件到项目目录下

在这里插入图片描述
5、更新系统httpx依赖

6、运行项目

当命令窗口出现如下两个网址时表示部署成功,可以复制右侧的外部访问网址访问webui
在这里插入图片描述
访问这个网址就可以直接使用啦
在这里插入图片描述

4. 体验自己的stable diffusion

登录进去之后输入prompt提示词

注意:体验完后,一定要停止项目运转。一定要停止项目运转。一定要停止项目运转。不然会一直消耗GPU资源。
在这里插入图片描述

参考资料:https://datawhaler.feishu.cn/docx/BwjzdQPJRonFh8xeiSOcRUI3n8b

举报

相关推荐

0 条评论