教程视频地址:
无需显卡!用CPU搞定大模型运行部署!【详细手把手演示】
按照上面视频进行安装配置之前需要注意,python编程环境需要大于等于python3.10,否则会运行报错。下载好GitHub上的项目代码后需要运行pip install -r requirements.txt
配置好后运行效果:
相关资料:
【ChatGLM3开源大模型仓库】:https://github.com/THUDM/ChatGLM3 【ChatGLM3-6B模型文件】:https://www.modelscope.cn/models/ZhipuAI/chatglm3-6b 【xFasterTransformer大模型推理加速引擎】:https://github.com/intel/xFasterTransformer