C#-日志系统-CFANZ编程社区

【AI大语言模型应用】使用Ollama搭建本地大语言模型

简单介绍什么是Ollama

在这里插入图片描述

这玩意儿其实就是一个能够帮你快速启动并运行大语言模型的平台。

你可以类比于Java中的Springboot+maven

这个ollama是用go语言编写的，我对go语言了解不深，所以更细节的平台实现需要各位自行学习。

目前这个ollama支持 windows、linux、macos

下载Ollama

目前主要是两种安装方式：直接安装和docker安装

下面就直接开始了

平台：windows

下载地址：https://ollama.com/download/OllamaSetup.exe

在这里插入图片描述

很简单，直接下一步下一步就行。

平台：Linux (CentOS7)

直接命令安装：
curl -fsSL https://ollama.com/install.sh | sh

如果存在安装不了的情况，那就自己手动安装包

根据不同的平台下载压缩包手动安装

amd64 ：https://ollama.com/download/ollama-linux-amd64.tgz

AMD GPU: https://ollama.com/download/ollama-linux-amd64-rocm.tgz

ARM64: https://ollama.com/download/ollama-linux-arm64.tgz

给ollama创建一个用户和组信息

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

创建一个服务文件/etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

然后启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

平台：macOS

下载地址：https://ollama.com/download/Ollama-darwin.zip

DOCKER安装

根据平台选择下面的方式安装

# cpu或者英伟达GPU
docker pull ollama/ollama
# AMD显卡
docker pull ollama/ollama:rocm
# 使用指定版本
# CPU 或 Nvidia GPU 运行
docker pull ollama/ollama:0.3.0
# AMD 显卡运行
docker pull ollama/ollama:0.3.0-rocm

docker运行

# 默认 CPU 模式运行
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# Nvidia GPU 模式运行
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# AMD 显卡运行
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm