0
点赞
收藏
分享

微信扫一扫

Redis系列1:深刻理解高性能Redis的本质

杰克逊爱学习 2024-04-20 阅读 8

对于如下命令,你将完全删除环境和环境中的所有软件包

conda remove -n env_name --all 

一、VisualGLM-6B环境安装

1、硬件配置

操作系统:Ubuntu_64(ubuntu22.04.3)

GPU:4050

显存:16G

2、配置环境
建议最好自己新建一个conda环境
pip install -r requirements.txt

(ChatGLM-6B/requirements.txt at main · THUDM/ChatGLM-6B · GitHub)

VisualGLM-6B 下载地址                                                          ChatGLM3下载地址

ChatGLM2-6B  下载地址                                                                CogVLM     下载地址

   THUDM / chatglm2-6b  模型地址                        THUDM / chatglm3-6b  模型地址

   THUDM / visualglm-6b   模型地址

chatglm.cpp  下载地址

chatglm.cpp:类似 llama.cpp 的量化加速推理方案,实现笔记本上实时对话

2、配置环境
自己新建一个conda环境

conda create -n vglm python==3.8

我的cuda==11.8 python==3.8

pytorch2.0.0

conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia

接着

pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple 


 

报错(一直循环下载)

Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/b1/5b/9f85c302c60cf4988b9d87d52812e77ca8ca5f012d81d44d6c501a3ca2a8/boto3-1.34.76-py3-none-any.whl (139 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 139.3/139.3 kB 24.1 MB/s eta 0:00:00
Collecting botocore<1.35.0,>=1.34.76 (from boto3->SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/2a/f5/256c032825d33d1ce45543db46ec30db963cb68c7c45dc0d08335c3862a6/botocore-1.34.76-py3-none-any.whl (12.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 12.1/12.1 MB 14.1 MB/s eta 0:00:00
Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/06/fa/8fb0a124f9c0d22dd918e15df4c4bd42d8f846985a5331783e0a9b612553/boto3-1.34.75-py3-none-any.whl (139 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 139.3/139.3 kB 29.3 MB/s eta 0:00:00
Collecting botocore<1.35.0,>=1.34.75 (from boto3->SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/76/9f/161f74d223a8bdba465a61d9eef16a870bdea80c6c45f822ddb00a499a68/botocore-1.34.75-py3-none-any.whl (12.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 12.1/12.1 MB 14.3 MB/s eta 0:00:00
Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/fe/61/2561a979dabf221724b0de8d5ba9c6f42950fea689ebfca304e8ee943d68/boto3-1.34.74-py3-none-any.whl (139 kB)

 

找到报错的SwissArmyTransformer==0.4.4

添加#SwissArmyTransformer==0.4.4

后在单独下载SwissArmyTransformer==0.4.4

环境到此完成安装!

二、本地加载VisualGLM-6B模型

下载ChatGLM-6B模型文件 

文件可以从这里下载(点击中间的下载按钮即可):https://huggingface.co/THUDM/chatglm-6b

  从本地加载模型

  visualglm-6b模型文件

手动下载模型参数文件,并将下载的文件替换到本地的 chatglm-6b 目录下。

将模型下载到本地之后,将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径,即可从本地加载模型。

Optional 模型的实现仍然处在变动中。如果希望固定使用的模型实现以保证兼容性,可以执行

git checkout v1.1.0

注意:这里都下载在了GPT/VisualGLM-6B下,在后面执行代码的时候需要将文件中的模型文件路径改为自己的

参考:ChatGLM两代的部署/微调/实现:从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现_chatglm微调-CSDN博客

举报

相关推荐

0 条评论