← 返回文章列表

通过 Ollama 使用本地 LLM：安装与使用

Ollama 是在电脑或服务器上本地运行大语言模型（LLM）的工具。它下载并管理模型，提供 CLI 和 HTTP API，无需云订阅，也无需将数据发送给第三方。下文介绍为何需要本地模型、如何在 Windows、macOS 和 Linux 上安装 Ollama、如何选择模型，以及如何接入各类应用。

  • 隐私 - 提示词和文档不离开本机
  • 离线 - 模型下载后可无网络运行
  • 免费 - 无按 token 计费，仅消耗硬件与电力
  • API - 兼容 OpenAI 格式，可接入 Cursor、n8n、LangChain 等工具

什么是 Ollama

Ollama 是面向本地 LLM 的开源运行时。它简化了以往需要手动配置 llama.cpp、CUDA、Python 环境与权重转换的流程：一条命令 ollama pull llama3 下载模型，ollama run llama3 启动交互式对话。

底层 Ollama 使用 llama.cpp 和自有的 Modelfile 格式 - 类似模型的 Dockerfile。您可以：

  • 运行 Ollama 模型库 中的现成模型；
  • 用 system prompt、参数和适配器创建自定义变体；
  • 通过 http://localhost:11434 的 REST API 调用模型。

Ollama 无法替代 GPT-5.6 或 Claude Fable 5 等云端旗舰模型处理复杂智能体任务，但可覆盖大量场景：草稿撰写、摘要、分类、内部文档 RAG、提示词原型开发，以及不消耗 API 额度的开发工作。

为何本地运行 LLM

维度 云端 API Ollama（本地）
隐私 数据在提供商服务器 数据留在本机
成本 按 token 付费 免费（除硬件外）
延迟 依赖网络 localhost 上极低
顶级模型质量 更高 开源权重模型较低
离线 否 是，下载权重后

本地模型尤其适用于：

  • 企业数据 - 合同、邮件、代码库不能上传 SaaS。
  • 开发 - 测试 RAG 与智能体流水线，无需 API 账单。
  • 边缘与隔离网络 - 无互联网服务器、实验室、现场部署。
  • 实验 - 快速切换模型与参数，无需更换提供商。

硬件要求

内存与 GPU 决定可舒适运行的模型规模。

模型（示例） 参数量 内存（CPU） 显存（GPU）
Llama 3.2 3B 4-8 GB 4 GB
Qwen 3 8B 8-16 GB 6-8 GB
Llama 3.1 8B 8-16 GB 6-8 GB
Mistral 7B 8-16 GB 6-8 GB
Qwen 3 32B 32+ GB 20-24 GB
Llama 3.1 70B 64+ GB 40-48 GB

纯 CPU 可用但较慢：16 GB 内存无 GPU 运行 7B 模型，每秒仅数个 token。GPU（NVIDIA CUDA 或 Apple Silicon Metal）可大幅加速。Mac M1/M2/M3/M4 上 Ollama 开箱即用 Metal；Windows 与 Linux 需配备驱动最新的 NVIDIA 显卡。

内存紧张时 - 选择量化模型（Q4、Q5）：占用更少，质量略降。

安装

Windows

  1. 从 ollama.com/download 下载安装包。
  2. 运行 .exe 并完成向导。
  3. Ollama 以后台服务启动；系统托盘会出现图标。
  4. 打开 PowerShell 或 cmd 验证：
ollama --version

macOS

brew install ollama

或从官网下载 .dmg。Apple Silicon 上 Metal 自动启用。

Linux

官方脚本：

curl -fsSL https://ollama.com/install.sh | sh

安装后启用 systemd 服务：

sudo systemctl enable ollama
sudo systemctl start ollama

Docker

需要隔离或服务器部署时：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Linux 上使用 GPU 请添加 --gpus all。

入门：CLI

下载并运行模型

ollama pull llama3.2
ollama run llama3.2

pull 将权重下载到 ~/.ollama/models（Windows 为 %USERPROFILE%\.ollama\models）。run 打开交互对话。退出：/bye 或 Ctrl+D。

常用命令

ollama list              # 已安装模型
ollama ps                # 当前运行中
ollama rm llama3.2       # 删除模型
ollama show llama3.2     # 参数与 Modelfile
ollama pull qwen3:8b     # 指定 tag

tag 定义规模与量化：llama3.1:8b、mistral:7b-instruct-q4_K_M、qwen3:32b。完整 tag 见 Ollama 库中模型页面。

单次请求（非对话）

ollama run llama3.2 "用三句话解释什么是 RAG"

HTTP API

Ollama 监听端口 11434。格式接近 OpenAI Chat Completions - 多数客户端可直接对接。

Chat（流式）

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "你好！"}],
  "stream": true
}'

Generate（简单 prompt）

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "写一首关于本地模型的俳句",
  "stream": false
}'

OpenAI 兼容端点

支持 /v1/chat/completions 的版本：

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

在 Cursor、Continue、Open WebUI 和 n8n 中设置 Base URL 为 http://localhost:11434/v1，模型名取自 ollama list。

如何选择模型

2026 年参考：

场景 模型 说明
快速对话、弱硬件 Llama 3.2 3B、Qwen 3 4B、Phi-4 mini 内存需求最低
通用平衡 Llama 3.1 8B、Mistral 7B、Qwen 3 8B 16 GB 内存甜点
代码与指令 Qwen 3 Coder、DeepSeek Coder V2、Codestral SQL、Python、diff 更强
多语言 Qwen 3、Llama 3.1 Qwen 多语言表现好
长上下文 Qwen 3、Llama 3.1 8B（128K+） RAG 与大文档
本地最高质量 Qwen 3 32B、Llama 3.1 70B、Mistral Large 需强 GPU 或大内存

建议从 Qwen 3 8B 或 Llama 3.1 8B 开始 - 在典型 16 GB 笔记本上质量可接受。生产 RAG 请用真实查询对比 2-3 个模型，网站基准不能替代您的业务域。

Modelfile：自定义模型

Modelfile 设置 system prompt、temperature、上下文与基座模型：

FROM llama3.2

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

SYSTEM """
你是技术支持助手。
请用中文简短、分步骤回答。
若不知道答案 - 请如实说明。
"""

创建并运行：

ollama create support-bot -f Modelfile
ollama run support-bot

无需修改客户端代码即可固定团队行为。

集成

Cursor 与 IDE

在模型设置中配置 OpenAI 兼容端点：http://localhost:11434/v1，API key 可留空或填 ollama。模型名来自 ollama list。本地模型适合草稿与重构；复杂智能体编程仍更适合云端 Codex 或 Claude Code。

Open WebUI

Open WebUI - 基于 Ollama 的 ChatGPT 风格 Web 界面。适合团队：对话历史、PDF 上传、内置 RAG。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

n8n、LangChain、LlamaIndex

  • n8n - Ollama Chat Model 节点或 HTTP Request 调用 /api/chat。
  • LangChain - ChatOllama(base_url="http://localhost:11434", model="qwen3:8b")。
  • LlamaIndex - Ollama 作为 LLM 与 embedding（若模型支持）。

本地 RAG

典型栈：Ollama（LLM + 通过 nomic-embed-text 或 mxbai-embed-large 做 embedding）+ ChromaDB 或 Qdrant + 您的文档。索引完成后可完全离线。

运维建议

  1. 控制内存中模型数量 - ollama ps 查看已加载；ollama stop <name> 释放内存。
  2. num_ctx - 仅在需要时增大上下文；更大上下文 = 更多内存与更慢推理。
  3. 更新 Ollama - 新版本带来加速与新模型支持。
  4. 监控 - 服务器上关注 GPU 温度与 swap；内存不足会导致 thrashing。
  5. 隐私不等于安全 - 本地模型不外传数据，但恶意 prompt 或脆弱智能体在本机仍有风险。

局限

  • 8B 开源模型在复杂推理与长智能体链上仍落后于云端旗舰。
  • 大模型（32B+）需昂贵硬件；负载不规律时云端可能更划算。
  • 多模态（图像、音频）取决于具体模型 - 请核对 tag。
  • 权重更新需自行负责；云端由提供商维护。

对许多任务，Ollama + 8B 模型 + RAG 是质量、成本与隐私的实用平衡。

总结

Ollama 将本地 LLM 门槛降至几条命令：安装、pull、run。API 兼容 OpenAI 生态，同一模型可用于 CLI、Web UI、IDE 与自动化。从 Qwen 3 8B 或 Llama 3.1 8B 起步，按场景调整 Modelfile，需要事实时接入 RAG - 无需将数据发往云端。

常见问题

Ollama 是否必须 GPU？

不必，Ollama 可 纯 CPU 运行，但推理会慢很多。7B-8B 模型舒适对话建议 GPU（NVIDIA CUDA）或 Apple Silicon Metal。16 GB 内存无 GPU 时，选 3B-4B 轻量模型或 Q4 量化。

模型下载后存在哪里？占用多大？

默认 ~/.ollama/models（Linux/macOS）或 %USERPROFILE%\.ollama\models（Windows）。7B-8B Q4 约 4-5 GB，70B 可达数十 GB。删除：ollama rm <名称>。可用 OLLAMA_MODELS 更改路径。

Windows 上 Docker 运行 Ollama 能否用 GPU？

可以，通过 WSL2 与 NVIDIA Container Toolkit：Docker Desktop 使用 WSL2 后端、安装 WSL 用 NVIDIA 驱动、镜像 ollama/ollama 加 --gpus all。无 WSL2 的原生 Docker Desktop 通常无法为 Ollama 提供 GPU。更简单的方式 - 从官网 原生安装 Windows 版 Ollama。

如何将 Ollama 接入 Cursor 或其他 OpenAI API 客户端？

Base URL 设为 http://localhost:11434/v1，API key 任意字符串（如 ollama），model 为 ollama list 中的精确名称（如 qwen3:8b）。确保 Ollama 已运行且模型已 pull。客户端在 Docker 内时使用 host.docker.internal:11434 而非 localhost。

向本地模型发送机密数据是否安全？

本地推理时数据 不会发往 Ollama Inc. 服务器 - 处理在本机完成。但应用日志、Open WebUI 对话历史与磁盘备份可能保存 prompt。严格合规需配置保留策略、磁盘加密，并关闭第三方 UI 遥测。本地化不能消除 VM 快照与共享服务器账户带来的泄露风险。

联系方式