通义千问-7B-Chat-Int4

        通义千问-7B-Chat-Int4      

        代码仓库地址：https://github.com/QwenLM/Qwen

安装

1. 克隆我们的仓库并跳转到相应目录

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git
cd Qwen-7B-Chat-Int4

2. 创建 conda 环境

conda create -n qwenint4 python=3.8 -y
conda activate qwenint4

conda activate qwenint4

3. 安装依赖

pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple 

pip install gradio==3.40.0 -i https://pypi.mirrors.ustc.edu.cn/simple

安装缺失

pip install optimum -i https://pypi.mirrors.ustc.edu.cn/simple

pip install auto-gptq -i https://pypi.mirrors.ustc.edu.cn/simple