windows下安装的ollama为什么用CPU而不是GPU

在Windows下安装的Ollama为什么用CPU而不是GPU的问题，确实让不少用户感到困惑。经过不断的测试与调整，我整理出以下的步骤与技巧，希望能帮助到正在阅读这篇文章的你。

环境准备

在安装Ollama之前，确保系统中已安装合适版本的Python和CUDA。以下是前置依赖的详细安装步骤。

# 安装Python（以3.8为例，可以根据需要调整版本）
winget install Python.Python.3.8

# 安装CUDA，版本与您的GPU驱动程序兼容
# 请根据需要到NVIDIA官网下载CUDA Toolkit并按照说明安装

gantt
    title 环境搭建时间规划
    dateFormat  YYYY-MM-DD
    section 第一阶段
    安装Python         :2023-10-01, 1d
    安装CUDA          :2023-10-02, 1d
    section 第二阶段
    克隆Ollama代码库 :2023-10-03, 1d
    配置Ollama        :2023-10-04, 1d

分步指南

接下来，让我们一起进行基础配置，确保Ollama能正确运行。以下是我在安装过程中记录的几个重要步骤。

sequenceDiagram
    participant User
    participant System
    User->>System: 下载Ollama
    System-->>User: 提供ZIP文件
    User->>System: 解压并进入目录
    User->>System: 运行安装脚本
    System-->>User: 安装成功提示

stateDiagram
    [*] --> 下载
    下载 --> 解压
    解压 --> 安装
    安装 --> [*]

配置详解

在配置Ollama时，有一些参数需要特别注意。以下是关键参数的说明，以及如何在配置文件中进行设置。

# config.yaml 示例
gpu: true
memory_limit: "4G"
timeout: "60s"

验证测试

安装完成后，需要进行功能验收，以确定Ollama可以运行在GPU上。以下是一个简单的单元测试示例，用于验证配置是否生效。

import os

def test_ollama_running_on_gpu():
    assert os.environ.get("USE_GPU") == "true", "Ollama is not using GPU!"

test_ollama_running_on_gpu()

sankey-beta
    title 数据流向验证
    A[用户请求] -->|验证| B[系统配置]
    B -->|返回结果| C[结果反馈]

优化技巧

若想进一步提升Ollama的性能，可以通过高级调参的方式进行优化。以下是调优维度的思维导图。

mindmap
  root((优化策略))
    Sub1((参数调节))
      Sub1.1((GPU设置))
      Sub1.2((内存管理))
    Sub2((运行环境))
      Sub2.1((Docker虚拟化))
      Sub2.2((操作系统优化))

C4Context
    title 系统优化对比
    Container(a, "Ollama(当前版本)", "Python & CUDA", "运行Ollama")
    Container(b, "Ollama(优化版本)", "Python & CUDA", "运行Ollama")
    Container(c, "Docker环境", "Docker容器", "隔离运行环境")

排错指南

在使用过程中，遇到问题是不可避免的。以下是一些常见错误的排查，以及如何回退版本的示例。

Error: Unable to allocate memory for GPU
Cause: Insufficient memory allocated in the config file

gitGraph
    commit
    commit
    branch bugfix
    commit
    checkout main
    merge bugfix

希望以上步骤能够帮助你顺利地解决Ollama在Windows下只使用CPU的问题，真正发挥GPU的优势。