随着大语言模型在各个领域的广泛应用，如何在本地部署和管理大模型成为很多开发者和研究者关注的焦点。Ollama 就是一款专为本地部署大语言模型设计的工具，它借鉴了 Docker 的使用习惯，提供了类似 pull、run、list、rm 等命令，使得管理模型变得简单高效。

目录

1. 环境准备
2. 安装 Ollama
3. 配置环境变量
4. 模型管理与部署
5. 进阶使用
6. 常见问题与注意事项
7. 总结

1. 环境准备

1.1 硬件与操作系统要求

• 硬件配置： 根据模型的大小，建议配置至少 8GB RAM（运行 7B 模型）、16GB RAM（运行 13B 模型）或 32GB RAM（运行 33B 模型）；如果有 GPU 设备，推理速度会更快。
• 操作系统： Ollama 支持 macOS、Windows 与 Linux。不同系统下的安装方式略有不同，本文会分别说明。

1.2 网络要求

需要保证网络畅通（部分模型下载可能需要翻墙），同时如果希望局域网内其他设备访问服务，需要对防火墙和监听地址做相应配置。

2. 安装 Ollama

2.1 macOS 与 Windows

下载地址：

• macOS：Ollama-darwin.zip
• Windows：OllamaSetup.exe

安装步骤：

1. 下载对应的安装包并解压（macOS）或运行安装程序（Windows）。
2. 按照安装向导完成安装。安装完成后，在终端中执行以下命令验证是否安装成功：

ollama -v

出现版本号信息表示安装成功。

2.2 Linux 安装

在 Linux 环境下，推荐使用裸机部署或 Docker 部署两种方式：

裸机安装

1. 使用下面的命令一键下载安装：

   curl -fsSL https://ollama.com/install.sh | sh

2. 安装成功后，使用以下命令检查服务状态：

   systemctl status ollama
   ollama -v

3. 通过浏览器访问 http://your_server_ip:11434/，出现 “Ollama is running” 提示表示服务正常运行。

Docker 部署

如果你习惯 Docker 部署，可以使用下面的命令：

# 无 GPU 的服务器
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

# 如果有 Nvidia GPU
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

3. 配置环境变量

3.1 修改模型存储目录

默认情况下，不同系统下的模型存放目录为：

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\你的用户名\.ollama\models

若希望将模型存储在其他位置（例如避免系统盘空间不足），可以设置环境变量 OLLAMA_MODELS：

• Linux/macOS：在终端的配置文件（如 ~/.bashrc 或 ~/.zshrc）中添加：

  export OLLAMA_MODELS="/data/ollama/models"

  保存后执行 source ~/.bashrc 使配置生效。

• Windows：通过系统环境变量设置，新建变量：
  • 变量名：OLLAMA_MODELS
  • 变量值：例如 D:\OllamaModels

3.2 修改服务监听地址

默认 Ollama 仅允许本地访问（127.0.0.1），若需要局域网内其他设备访问，可设置环境变量 OLLAMA_HOST 为 0.0.0.0。例如，在 Linux 的 systemd 服务文件中修改：

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

修改后重启服务：

systemctl daemon-reload
systemctl restart ollama

4. 模型管理与部署

4.1 查看支持的模型

访问官方模型仓库：Ollama Library，在这里可以查看各种模型（如 Qwen、DeepSeek、Llama 等）的详细信息和参数要求。

4.2 下载或更新模型

使用 pull 命令可以从 Ollama 远程仓库下载模型。例如，下载 Qwen2 的 0.5B 模型：

ollama pull qwen2:0.5b

如果本地不存在该模型，则会完整下载；如果已经存在，则进行增量更新。

4.3 启动模型进行对话

使用 run 命令启动模型：

ollama run qwen2:0.5b

启动后进入终端交互界面。常用操作：

• 输入多行内容：使用三引号包裹，如

  """这是多行文本示例，
  可以用来输入长内容。"""

• 清除上下文：输入 /clear
• 退出对话：输入 /bye

4.4 查看和管理已安装模型

• 查看模型列表：

  ollama list

• 查看运行中的模型进程：

  ollama ps

• 删除模型：

  ollama rm 模型名称

• 复制模型：

  ollama cp qwen2:0.5b Qwen2-0.5B

4.5 导入自定义模型

如果你已有其他格式的模型文件（如 GGUF 格式），可以通过创建一个 Modelfile 来导入模型：

1. 在模型文件所在目录创建一个名为 Modelfile 的文件，内容例如：

   FROM /path/to/your/model/YourModel.gguf

2. 使用以下命令创建模型：

   ollama create YourModelName -f Modelfile

5. 进阶使用

5.1 部署 API 服务

Ollama 不仅提供终端交互，还可将模型部署为 API 服务。启动 REST API 服务：

ollama serve

例如，使用 curl 调用模型接口：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2:0.5b",
  "prompt": "请介绍一下Ollama是什么？",
  "stream": false
}'

5.2 WebUI 可视化界面

为了更友好的交互体验，可以使用基于 Ollama 的 WebUI 工具，例如 Open WebUI：

1. 安装 Node.js（建议版本 ≥ 16）。
2. 克隆 Open WebUI 项目并安装依赖：

   git clone https://github.com/open-webui/open-webui.git
   cd open-webui
   npm install
   npm run dev

3. 启动后，通过浏览器访问 http://localhost:3000/ 进行对话。

5.3 Docker 化部署

对于不希望直接配置环境的用户，也可选择 Docker 部署，参考前面的 Docker 命令即可。

6. 常见问题与注意事项

• 下载速度慢：部分模型文件较大，下载初期可能较快，后期速度降低。可尝试按 Ctrl+C 停止后重新执行下载命令。
• 外网访问配置：默认 Ollama 仅允许本地访问。如果需要局域网访问，请将 OLLAMA_HOST 设置为 0.0.0.0 并检查防火墙配置。
• 模型存储位置：建议将模型存储在非系统盘，以避免系统盘空间不足。Windows 用户可使用 setx OLLAMA_MODELS "D:\OllamaModels" /M 命令进行设置。
• 服务重启：修改环境变量或配置文件后，请务必重启 Ollama 服务（例如 Linux 下使用 systemctl daemon-reload && systemctl restart ollama）。
• 日志调试：开发调试时可设置 OLLAMA_DEBUG=1 输出详细日志信息，有助于排查问题。

7. 总结

本文详细介绍了如何使用 Ollama 在本地部署和管理大模型，从环境准备、安装配置、模型下载与运行，到进阶的 API 服务和 WebUI 可视化界面集成。无论你是初学者还是有一定基础的开发者，相信通过本教程都能快速上手，构建属于自己的本地大模型系统。

如果你觉得本文有帮助，欢迎点赞、评论和分享，也可以在评论区交流你在使用过程中的经验和问题！

注：文中部分命令和配置示例可能因 Ollama 版本更新而有所调整，建议参考 Ollama 官方文档 获取最新信息。