← Zurück zur Übersicht

Lokale LLMs mit Ollama: Installation und Nutzung

Ollama ist ein Tool zum lokalen Betrieb großer Sprachmodelle (LLMs) auf Ihrem Computer oder Server. Es lädt Modelle herunter, verwaltet sie und stellt CLI und HTTP-API bereit - ohne Cloud-Abo und ohne Datenübermittlung an Dritte. Im Folgenden: warum lokale Modelle sinnvoll sind, Installation unter Windows, macOS und Linux, Modellauswahl und Anbindung an Anwendungen.

  • Datenschutz - Prompts und Dokumente verlassen Ihren Rechner nicht
  • Offline - nach dem Download ohne Internet nutzbar
  • Kostenlos - keine Token-Gebühren, nur Hardware und Strom
  • API - OpenAI-kompatibles Format für Cursor, n8n, LangChain und andere Tools

Was ist Ollama

Ollama ist eine Open-Source-Laufzeit für lokale LLMs. Sie vereinfacht die früher manuelle Einrichtung von llama.cpp, CUDA, Python-Umgebungen und Gewichtskonvertierung: ein Befehl ollama pull llama3 lädt ein Modell, ollama run llama3 startet einen interaktiven Chat.

Im Kern nutzt Ollama llama.cpp und das eigene Modelfile-Format - vergleichbar mit einem Dockerfile für Modelle. Sie können:

  • fertige Modelle aus der Ollama-Bibliothek ausführen;
  • eigene Varianten mit System-Prompt, Parametern und Adaptern erstellen;
  • das Modell per REST-API unter http://localhost:11434 ansprechen.

Ollama ersetzt Cloud-Flaggschiffe wie GPT-5.6 oder Claude Fable 5 bei komplexen Agentenaufgaben nicht, deckt aber viele Szenarien ab: Entwürfe, Zusammenfassungen, Klassifikation, RAG über interne Dokumente, Prompt-Prototyping und Entwicklung ohne API-Kosten.

Warum LLMs lokal betreiben

Kriterium Cloud-API Ollama (lokal)
Datenschutz Daten auf Provider-Servern Daten bleiben auf Ihrem Rechner
Kosten Bezahlung pro Token Kostenlos (außer Hardware)
Latenz Netzabhängig Minimal auf localhost
Qualität Top-Modelle Höher Bei Open-Weight-Modellen niedriger
Offline Nein Ja, nach Download der Gewichte

Lokale Modelle sind besonders nützlich für:

  • Unternehmensdaten - Verträge, E-Mail, Code, die nicht in SaaS dürfen.
  • Entwicklung - RAG- und Agenten-Pipelines ohne API-Rechnung testen.
  • Edge und air-gapped - Server ohne Internet, Labore, Feld-Einsatz.
  • Experimente - schneller Modell- und Parameterwechsel ohne Providerwechsel.

Hardware-Anforderungen

RAM und GPU bestimmen, welches Modell komfortabel läuft.

Modell (Beispiel) Parameter RAM (CPU) VRAM (GPU)
Llama 3.2 3B 4-8 GB 4 GB
Qwen 3 8B 8-16 GB 6-8 GB
Llama 3.1 8B 8-16 GB 6-8 GB
Mistral 7B 8-16 GB 6-8 GB
Qwen 3 32B 32+ GB 20-24 GB
Llama 3.1 70B 64+ GB 40-48 GB

Nur CPU funktioniert, ist aber langsam: ein 7B-Modell auf 16 GB RAM ohne GPU liefert wenige Token pro Sekunde. Eine GPU (NVIDIA mit CUDA, Apple Silicon mit Metal) beschleunigt die Generierung deutlich. Auf Mac mit M1/M2/M3/M4 nutzt Ollama Metal out of the box; unter Windows und Linux brauchen Sie eine NVIDIA-GPU mit aktuellem Treiber.

Bei wenig RAM - quantisierte Modelle (Q4, Q5) wählen: weniger Speicher bei geringem Qualitätsverlust.

Installation

Windows

  1. Installer von ollama.com/download herunterladen.
  2. .exe ausführen und Assistenten abschließen.
  3. Ollama startet als Hintergrunddienst; Symbol in der Taskleiste.
  4. PowerShell oder cmd öffnen und prüfen:
ollama --version

macOS

brew install ollama

Oder .dmg von der Website. Auf Apple Silicon ist Metal automatisch aktiv.

Linux

Offizielles Skript:

curl -fsSL https://ollama.com/install.sh | sh

Für systemd nach der Installation:

sudo systemctl enable ollama
sudo systemctl start ollama

Docker

Bei Isolation oder Server-Deployment:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Für GPU unter Linux --gpus all hinzufügen.

Erste Schritte: CLI

Modell laden und starten

ollama pull llama3.2
ollama run llama3.2

pull lädt Gewichte nach ~/.ollama/models (Windows: %USERPROFILE%\.ollama\models). run öffnet interaktiven Chat. Beenden mit /bye oder Strg+D.

Nützliche Befehle

ollama list              # installierte Modelle
ollama ps                # aktuell laufende
ollama rm llama3.2       # Modell entfernen
ollama show llama3.2     # Parameter und Modelfile
ollama pull qwen3:8b     # bestimmter Tag

Tags definieren Größe und Quantisierung: llama3.1:8b, mistral:7b-instruct-q4_K_M, qwen3:32b. Tags stehen auf der Modellseite in der Ollama-Bibliothek.

Einmalige Anfrage ohne Chat

ollama run llama3.2 "Erkläre RAG in drei Sätzen"

HTTP-API

Ollama lauscht auf Port 11434. Das Format ähnelt OpenAI Chat Completions - viele Clients verbinden sich ohne Anpassung.

Chat (Streaming)

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Hallo!"}],
  "stream": true
}'

Generate (einfacher Prompt)

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Schreibe ein Haiku über lokale Modelle",
  "stream": false
}'

OpenAI-kompatibler Endpoint

Mit Versionen, die /v1/chat/completions unterstützen:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

In Cursor, Continue, Open WebUI und n8n Base URL http://localhost:11434/v1 und Modellname aus ollama list setzen.

Welche Modelle wählen

Orientierung für 2026:

Aufgabe Modelle Hinweis
Schneller Chat, schwache Hardware Llama 3.2 3B, Qwen 3 4B, Phi-4 mini Minimales RAM
Allround-Balance Llama 3.1 8B, Mistral 7B, Qwen 3 8B Sweet Spot bei 16 GB
Code und Anweisungen Qwen 3 Coder, DeepSeek Coder V2, Codestral Besser bei SQL, Python, Diffs
Mehrsprachig Qwen 3, Llama 3.1 Qwen stark multilingual
Langer Kontext Qwen 3, Llama 3.1 8B (128K+) RAG und große Dokumente
Maximale lokale Qualität Qwen 3 32B, Llama 3.1 70B, Mistral Large Leistungsstarke GPU oder viel RAM

Starten Sie mit Qwen 3 8B oder Llama 3.1 8B - akzeptable Qualität auf einem typischen 16-GB-Laptop. Für Production-RAG 2-3 Modelle auf echten Anfragen vergleichen.

Modelfile: eigenes Modell

Ein Modelfile setzt System-Prompt, Temperatur, Kontext und Basismodell:

FROM llama3.2

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

SYSTEM """
Du bist ein technischer Support-Assistent.
Antworte kurz, Schritt für Schritt, auf Deutsch.
Wenn du die Antwort nicht weißt - sag es.
"""

Erstellen und starten:

ollama create support-bot -f Modelfile
ollama run support-bot

So fixieren Sie Verhalten für das Team ohne Client-Code-Änderung.

Integrationen

Cursor und IDEs

In den Modell-Einstellungen OpenAI-kompatiblen Endpoint: http://localhost:11434/v1, API-Key leer oder ollama. Modell - Name aus ollama list. Lokale Modelle für Entwürfe und Refactoring; komplexes agentisches Coding weiterhin Cloud Codex oder Claude Code.

Open WebUI

Open WebUI - Web-Oberfläche im ChatGPT-Stil über Ollama. Gut für Teams: Chat-Verlauf, PDF-Upload, RAG integriert.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

n8n, LangChain, LlamaIndex

  • n8n - Ollama Chat Model Node oder HTTP Request an /api/chat.
  • LangChain - ChatOllama(base_url="http://localhost:11434", model="qwen3:8b").
  • LlamaIndex - Ollama als LLM und Embedding (wenn unterstützt).

Lokales RAG

Typischer Stack: Ollama (LLM + Embeddings via nomic-embed-text oder mxbai-embed-large) + ChromaDB oder Qdrant + Ihre Dokumente. Nach Indexierung komplett offline.

Betriebshinweise

  1. Ein Modell im Speicher - ollama ps zeigt geladene; ollama stop <name> gibt RAM frei.
  2. num_ctx - Kontext nur bei Bedarf erhöhen; mehr Kontext = mehr Speicher und langsamere Inference.
  3. Ollama aktualisieren - neue Versionen bringen Speedups und Modell-Support.
  4. Monitoring - GPU-Temperatur und Swap beobachten; bei RAM-Mangel thrashing.
  5. Datenschutz ist nicht Sicherheit - lokales Modell sendet nichts nach außen, aber bösartige Prompts oder unsichere Agenten bleiben riskant.

Grenzen

  • Open-Weight-8B-Modelle hinken Top-Cloud-Flaggschiffen bei schwerem Reasoning und langen Agentenketten hinterher.
  • Große Modelle (32B+) brauchen teure Hardware; Cloud kann günstiger sein bei sporadischer Last.
  • Multimodal (Bilder, Audio) ist modellabhängig - Tag-Support prüfen.
  • Gewichts-Updates liegen bei Ihnen; Cloud-Provider patchen selbst.

Für viele Aufgaben ist Ollama + 8B-Modell + RAG ein praktischer Kompromiss aus Qualität, Kosten und Datenschutz.

Fazit

Ollama senkt die Hürde für lokale LLMs auf wenige Befehle: installieren, pull, run. Die API ist OpenAI-Ökosystem-kompatibel - dasselbe Modell in CLI, Web-UI, IDE und Automationen. Starten Sie mit Qwen 3 8B oder Llama 3.1 8B, passen Sie ein Modelfile an und ergänzen Sie RAG für Fakten aus Ihren Dokumenten - ohne Cloud-Datenübertragung.

Häufig gestellte Fragen

Brauche ich eine GPU für Ollama?

Nein, Ollama läuft auch nur mit CPU, Inference ist dann deutlich langsamer. Für komfortablen Chat mit 7B-8B-Modellen empfehlenswert: GPU (NVIDIA CUDA) oder Apple Silicon mit Metal. Bei 16 GB RAM ohne GPU: leichte 3B-4B-Modelle oder Q4-Quantisierung.

Wo werden Modelle gespeichert und wie groß sind sie?

Standard: ~/.ollama/models (Linux/macOS) oder %USERPROFILE%\.ollama\models (Windows). 7B-8B in Q4 etwa 4-5 GB, 70B zig GB. Entfernen: ollama rm <name>. Pfad über OLLAMA_MODELS änderbar.

Ollama in Docker unter Windows mit GPU?

Ja, über WSL2 und NVIDIA Container Toolkit: Docker Desktop mit WSL2, NVIDIA-Treiber für WSL, Image ollama/ollama mit --gpus all. Native Docker Desktop ohne WSL2 gibt GPU für Ollama meist nicht frei. Einfacher: native Windows-Installation von der offiziellen Website.

Ollama mit Cursor oder OpenAI-API-Client verbinden?

Base URL http://localhost:11434/v1, API key beliebiger String (z. B. ollama), model exakter Name aus ollama list (z. B. qwen3:8b). Ollama muss laufen, Modell per pull geladen. Client in Docker: host.docker.internal:11434 statt localhost.

Sind vertrauliche Daten in einem lokalen Modell sicher?

Daten gehen bei lokaler Inference nicht an Ollama Inc. - Verarbeitung auf Ihrem Rechner. Aber App-Logs, Open-WebUI-Verlauf und Backups können Prompts speichern. Für Compliance: Aufbewahrungsrichtlinien, Festplattenverschlüsselung, keine Telemetrie fremder UIs. Lokalität beseitigt keine Leaks durch VM-Snapshots und gemeinsame Server-Konten.

Kontakt