环境准备-显卡驱动

 nvidia-smi

环境准备-conda

conda  -V

创建conda的Xinference环境

# 使用conda创建一个  python3.10 的环境
conda create --name xinference python=3.10

# 进入conda 环境
conda activate xinference

安装指定 cupy, cudnn, cutensor, nccl 并指定 cuda 版本

conda install -c conda-forge cupy cudnn cutensor nccl cuda-version=12.4

安装 Xinference

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "xinference[all]"

验证安装(true)

 python -c "import torch; print(torch.cuda.is_available())"

问题记录

方案一：取消xinference的全部环境,只安装自己需要的

方案二：使用如下命令尝试重新安装

#非conda环境执行
sudo apt-get update
sudo apt-get install python3-dev build-essential cmake libcudart-dev gcc g++ libgomp1
#进入conda 空间执行
conda activate xinference
conda install -c conda-forge libgomp
conda install -c conda-forge gxx_linux-64
conda install -c conda-forge openmp
conda install -c nvidia cudatoolkit=12.4 cuda-version=12.4

CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python -U