0
点赞
收藏
分享

微信扫一扫

网络安全智能助手


  1. 背景本项目利用阿里云平台的英特尔G8i以及通义千问-7B大模型,更加高效,更加便捷,拥有更高的效率。
    通义千问-7B(Qwen-7B)是基于Trabsformer的大语言模型,在其基础上使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat
    阿里云第八代实例G8i采用Intel® Xeon® Emerald Rapids以及Intel® Xeon® Sapphire RapidsIntel® AMX的加持下推理和训练性能大幅提升
  2. 部署购买云服务器实例(规格为通用型G8i)

系统选择AilibabaCloud linux 存储选择 200GESSD

网络安全智能助手_语言模型


创建实例以及登录

网络安全智能助手_云平台_02


利用MobaXterm连接主机

网络安全智能助手_云平台_03


安装Docker,使用阿里云提供的Docker镜像源快速部署

网络安全智能助手_语言模型_04


运行Intel xFasterTransformer容器

网络安全智能助手_语言模型_05


安装依赖

网络安全智能助手_Docker_06


启用Git LFS创建所在目录

网络安全智能助手_Docker_07


下载Qwen-7B模型

网络安全智能助手_Docker_08


转换模型

网络安全智能助手_Docker_09


安装大模型依赖

网络安全智能助手_云平台_10


启动WebUI

OMP_NUM_THREADS=$(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') / 2)) GRADIO_SERVER_NAME="0.0.0.0" numactl -C $(seq -s, 0 2 $(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') - 2))) -m 0 python Qwen.py -t /tmp/model/qwen-7b-chat -m /tmp/model/qwen-7b-chat-xft -d bf16

  1. 应用创建

进入阿里云百炼,使用API形式进行部署

网络安全智能助手_云平台_11


效果如下

网络安全智能助手_Docker_12


举报

相关推荐

0 条评论