← 記事一覧へ

Ollama でローカル LLM：インストールと使い方

Ollama は、PC やサーバー上で大規模言語モデル（LLM）をローカル実行するためのツールです。モデルのダウンロードと管理、CLI と HTTP API を提供し、クラウド契約や第三者へのデータ送信は不要です。以下では、ローカルモデルの利点、Windows / macOS / Linux での Ollama インストール、モデル選定、アプリ連携方法を説明します。

  • プライバシー - プロンプトとドキュメントが外部に出ない
  • オフライン - モデル取得後はインターネット不要
  • 無料 - トークン課金なし（ハードウェアと電力のみ）
  • API - OpenAI 互換形式で Cursor、n8n、LangChain などに接続可能

Ollama とは

Ollama はローカル LLM 向けのオープンソースランタイムです。以前は llama.cpp、CUDA、Python 環境、重み変換の手動設定が必要でしたが、ollama pull llama3 でモデル取得、ollama run llama3 で対話開始と、少数のコマンドで済みます。

内部では llama.cpp と独自の Modelfile 形式（モデル用 Dockerfile のようなもの）を使用します。次が可能です：

  • Ollama ライブラリ の既製モデルを実行
  • system prompt、パラメータ、アダプタでカスタム variant を作成
  • http://localhost:11434 の REST API でモデルを呼び出し

Ollama は GPT-5.6 や Claude Fable 5 のようなクラウド flagship を、複雑なエージェントタスクで置き換えるものではありません。ただし、下書き、要約、分類、社内ドキュメント RAG、プロンプト試作、API クレジットを消費しない開発など、多くの用途をカバーします。

なぜ LLM をローカルで動かすか

観点 クラウド API Ollama（ローカル）
プライバシー プロバイダサーバー上 自マシン内に留まる
コスト トークン課金 無料（ハード除く）
レイテンシ ネット依存 localhost で最小
トップ品質 高い open-weight は低め
オフライン 不可 重み取得後は可

ローカルモデルが特に有用な場面：

  • 企業データ - 契約、メール、コードベースを SaaS に送れない
  • 開発 - RAG / エージェント pipeline を API 請求なしで検証
  • エッジ / air-gapped - インターネットなしサーバー、ラボ、現場
  • 実験 - プロバイダ変更なしでモデルとパラメータを切替

ハードウェア要件

RAM と GPU が、快適に動かせるモデル規模を決めます。

モデル（例） パラメータ RAM（CPU） VRAM（GPU）
Llama 3.2 3B 4-8 GB 4 GB
Qwen 3 8B 8-16 GB 6-8 GB
Llama 3.1 8B 8-16 GB 6-8 GB
Mistral 7B 8-16 GB 6-8 GB
Qwen 3 32B 32+ GB 20-24 GB
Llama 3.1 70B 64+ GB 40-48 GB

CPU のみ でも動きますが遅いです：16 GB RAM・GPU なしで 7B を回すと、秒あたり数 token 程度。GPU（NVIDIA CUDA、Apple Silicon Metal）で大幅加速。Mac M1/M2/M3/M4 では Metal が標準利用。Windows / Linux では最新ドライバの NVIDIA GPU が必要です。

RAM が少ない場合 - 量子化モデル（Q4、Q5）を選択：メモリ削減、品質はわずかに低下。

インストール

Windows

  1. ollama.com/download からインストーラを取得
  2. .exe を実行しウィザードを完了
  3. Ollama はバックグラウンドサービスとして起動（トレイにアイコン）
  4. PowerShell または cmd で確認：
ollama --version

macOS

brew install ollama

またはサイトから .dmg。Apple Silicon では Metal が自動有効。

Linux

公式スクリプト：

curl -fsSL https://ollama.com/install.sh | sh

インストール後の systemd：

sudo systemctl enable ollama
sudo systemctl start ollama

Docker

分離やサーバーデプロイが必要な場合：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Linux GPU 利用時は --gpus all を追加。

最初の一歩：CLI

モデルの取得と実行

ollama pull llama3.2
ollama run llama3.2

pull は ~/.ollama/models（Windows は %USERPROFILE%\.ollama\models）に重みを保存。run で対話開始。終了は /bye または Ctrl+D。

便利なコマンド

ollama list              # インストール済みモデル
ollama ps                # 実行中
ollama rm llama3.2       # モデル削除
ollama show llama3.2     # パラメータと Modelfile
ollama pull qwen3:8b     # 特定 tag

tag はサイズと量子化を指定：llama3.1:8b、mistral:7b-instruct-q4_K_M、qwen3:32b。Ollama ライブラリのモデルページを参照。

チャットなしの単発リクエスト

ollama run llama3.2 "RAG を三文で説明して"

HTTP API

Ollama はポート 11434 で待ち受け。形式は OpenAI Chat Completions に近く、多くのクライアントがそのまま接続可能。

Chat（ストリーミング）

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "こんにちは！"}],
  "stream": true
}'

Generate（シンプル prompt）

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "ローカルモデルについて俳句を書いて",
  "stream": false
}'

OpenAI 互換エンドポイント

/v1/chat/completions をサポートする版：

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

Cursor、Continue、Open WebUI、n8n では Base URL を http://localhost:11434/v1、モデル名を ollama list から指定。

モデルの選び方

2026 年の目安：

用途 モデル コメント
高速チャット、弱い HW Llama 3.2 3B、Qwen 3 4B、Phi-4 mini 最小 RAM
汎用バランス Llama 3.1 8B、Mistral 7B、Qwen 3 8B 16 GB のスイートスポット
コード・指示 Qwen 3 Coder、DeepSeek Coder V2、Codestral SQL、Python、diff に強い
多言語 Qwen 3、Llama 3.1 Qwen は多言語が得意
長コンテキスト Qwen 3、Llama 3.1 8B（128K+） RAG と大ドキュメント
ローカル最高品質 Qwen 3 32B、Llama 3.1 70B、Mistral Large 強力 GPU または大 RAM

Qwen 3 8B または Llama 3.1 8B から始めるのが無難 - 16 GB ノート PC で許容品質。本番 RAG は実クエリで 2-3 モデルを比較（ベンチマークだけでは不十分）。

Modelfile：カスタムモデル

Modelfile で system prompt、temperature、コンテキスト、ベースモデルを定義：

FROM llama3.2

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

SYSTEM """
あなたは技術サポートアシスタントです。
日本語で簡潔に、手順を分けて答えてください。
分からない場合はその旨を伝えてください。
"""

作成と実行：

ollama create support-bot -f Modelfile
ollama run support-bot

クライアントコードを変えずにチーム向け挙動を固定できます。

連携

Cursor と IDE

モデル設定で OpenAI 互換 endpoint：http://localhost:11434/v1、API key は空または ollama。モデル名は ollama list から。ローカルモデルは下書き・リファクタ向き。複雑なエージェント coding は引き続きクラウド Codex や Claude Code が有利。

Open WebUI

Open WebUI - Ollama 上の ChatGPT 風 Web UI。チーム向け：履歴、PDF、RAG 内蔵。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

n8n、LangChain、LlamaIndex

  • n8n - Ollama Chat Model ノード、または /api/chat への HTTP Request
  • LangChain - ChatOllama(base_url="http://localhost:11434", model="qwen3:8b")
  • LlamaIndex - Ollama を LLM / embedding に（モデルが対応する場合）

ローカル RAG

典型構成：Ollama（LLM + nomic-embed-text や mxbai-embed-large で embedding）+ ChromaDB または Qdrant + 自社ドキュメント。索引後は完全オフライン可能。

運用のヒント

  1. メモリ内モデルは必要最小限 - ollama ps で確認、ollama stop <name> で RAM 解放
  2. num_ctx - 必要なときだけコンテキスト拡大。大きいほどメモリ増・ inference 遅延
  3. Ollama を更新 - 新版で高速化とモデル対応が追加
  4. 監視 - サーバーでは GPU 温度と swap。RAM 不足は thrashing の原因
  5. プライバシーはセキュリティではない - ローカルでも悪意ある prompt や脆弱なエージェントはリスク

制限

  • 8B open-weight は難しい推論・長いエージェントチェーンでクラウド flagship に劣る
  • 大モデル（32B+）は高価な HW が必要。負荷が断続的ならクラウドの方が安い場合も
  • マルチモーダル（画像・音声）はモデル依存 - tag を確認
  • 重み更新は自己責任。クラウドはプロバイダがパッチ

多くの用途では Ollama + 8B モデル + RAG が品質・コスト・プライバシーの実用的バランス。

まとめ

Ollama はローカル LLM の参入障壁を「インストール、pull、run」程度に下げます。API は OpenAI エコシステム互換で、CLI、Web UI、IDE、自動化で同一モデルを使えます。Qwen 3 8B または Llama 3.1 8B から始め、Modelfile を調整し、必要なら RAG で自社ドキュメントの事実を補完 - クラウドへデータを送らずに済みます。

よくある質問

Ollama に GPU は必須？

いいえ、CPU のみ でも動きますが inference はかなり遅くなります。7B-8B で快適なチャットには GPU（NVIDIA CUDA）または Apple Silicon Metal を推奨。16 GB RAM・GPU なしなら 3B-4B の軽量モデルか Q4 量子化を。

ダウンロードしたモデルはどこに保存？サイズは？

デフォルトは ~/.ollama/models（Linux/macOS）または %USERPROFILE%\.ollama\models（Windows）。7B-8B の Q4 はおおよそ 4-5 GB、70B は数十 GB。削除：ollama rm <名前>。パスは OLLAMA_MODELS で変更可。

Windows の Docker で Ollama に GPU は使える？

はい。WSL2 と NVIDIA Container Toolkit 経由：Docker Desktop WSL2 バックエンド、WSL 用 NVIDIA ドライバ、ollama/ollama イメージに --gpus all。WSL2 なしの Docker Desktop では GPU が使えないことが多い。より簡単なのは公式サイトからの ネイティブ Windows インストール。

Cursor など OpenAI API クライアントに Ollama を接続するには？

Base URL http://localhost:11434/v1、API key は任意の文字列（例 ollama）、model は ollama list の正確な名前（例 qwen3:8b）。Ollama 起動済みで pull 済みであること。Docker 内クライアントは localhost の代わりに host.docker.internal:11434。

機密データをローカルモデルに送っても安全？

ローカル inference ではデータは Ollama Inc. のサーバーに送られません - 処理は自マシン上。ただしアプリログ、Open WebUI 履歴、ディスクバックアップに prompt が残る可能性あり。厳格な compliance では保持ポリシー、ディスク暗号化、第三者 UI のテレメトリ無効化を。ローカル化は VM スナップショットや共有サーバーアカウントによる漏えいリスクを消しません。

お問い合わせ