Lokale LLMs mit Ollama: Installation und Nutzung

Ollama ist ein Tool zum lokalen Betrieb großer Sprachmodelle (LLMs) auf Ihrem Computer oder Server. Es lädt Modelle herunter, verwaltet sie und stellt CLI und HTTP-API bereit - ohne Cloud-Abo und ohne Datenübermittlung an Dritte. Im Folgenden: warum lokale Modelle sinnvoll sind, Installation unter Windows, macOS und Linux, Modellauswahl und Anbindung an Anwendungen. Dieser Beitrag richtet sich sowohl an technisches Personal als auch an Unternehmer, die eine lokale Lösung gegen eine Cloud-API abwägen - bei Kosten, Datenschutz und Team-Anforderungen.

• Datenschutz - Prompts und Dokumente verlassen Ihren Rechner nicht
• Offline - nach dem Download ohne Internet nutzbar
• Kostenlos - keine Token-Gebühren, nur Hardware und Strom
• API - OpenAI-kompatibles Format für Cursor, n8n, LangChain und andere Tools

Was ist Ollama

Ollama ist eine Open-Source-Laufzeit für lokale LLMs. Sie vereinfacht die früher manuelle Einrichtung von llama.cpp, CUDA, Python-Umgebungen und Gewichtskonvertierung: ein Befehl ollama pull llama3 lädt ein Modell, ollama run llama3 startet einen interaktiven Chat.

Im Kern nutzt Ollama llama.cpp und das eigene Modelfile-Format - vergleichbar mit einem Dockerfile für Modelle. Sie können:

• fertige Modelle aus der Ollama-Bibliothek ausführen;
• eigene Varianten mit System-Prompt, Parametern und Adaptern erstellen;
• das Modell per REST-API unter http://localhost:11434 ansprechen.

Ollama ersetzt Cloud-Flaggschiffe wie GPT-5.6 oder Claude Fable 5 bei komplexen Agentenaufgaben nicht, deckt aber viele Szenarien ab: Entwürfe, Zusammenfassungen, Klassifikation, RAG über interne Dokumente, Prompt-Prototyping und Entwicklung ohne API-Kosten.

Warum LLMs lokal betreiben

Lokale Modelle sind besonders nützlich für:

• Unternehmensdaten - Verträge, E-Mail, Code, die nicht in SaaS dürfen.
• Entwicklung - RAG- und Agenten-Pipelines ohne API-Rechnung testen.
• Edge und air-gapped - Server ohne Internet, Labore, Feld-Einsatz.
• Experimente - schneller Modell- und Parameterwechsel ohne Providerwechsel.

Hardware-Anforderungen

RAM und GPU bestimmen, welches Modell komfortabel läuft.

Nur CPU funktioniert, ist aber langsam: ein 7B-Modell auf 16 GB RAM ohne GPU liefert wenige Token pro Sekunde. Eine GPU (NVIDIA mit CUDA, Apple Silicon mit Metal) beschleunigt die Generierung deutlich. Auf Mac mit M1/M2/M3/M4 nutzt Ollama Metal out of the box; unter Windows und Linux brauchen Sie eine NVIDIA-GPU mit aktuellem Treiber.

Bei wenig RAM - quantisierte Modelle (Q4, Q5) wählen: weniger Speicher bei geringem Qualitätsverlust.

Installation

Windows

1. Installer von ollama.com/download herunterladen.
2. .exe ausführen und Assistenten abschließen.
3. Ollama startet als Hintergrunddienst; Symbol in der Taskleiste.
4. PowerShell oder cmd öffnen und prüfen:

ollama --version

macOS

brew install ollama

Oder .dmg von der Website. Auf Apple Silicon ist Metal automatisch aktiv.

Linux

Offizielles Skript:

curl -fsSL https://ollama.com/install.sh | sh

Für systemd nach der Installation:

sudo systemctl enable ollama
sudo systemctl start ollama

Docker

Bei Isolation oder Server-Deployment:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Für GPU unter Linux --gpus all hinzufügen.

Erste Schritte: CLI

Modell laden und starten

ollama pull llama3.2
ollama run llama3.2

pull lädt Gewichte nach ~/.ollama/models (Windows: %USERPROFILE%\.ollama\models). run öffnet interaktiven Chat. Beenden mit /bye oder Strg+D.

Nützliche Befehle

ollama list              # installierte Modelle
ollama ps                # aktuell laufende
ollama rm llama3.2       # Modell entfernen
ollama show llama3.2     # Parameter und Modelfile
ollama pull qwen3:8b     # bestimmter Tag

Tags definieren Größe und Quantisierung: llama3.1:8b, mistral:7b-instruct-q4_K_M, qwen3:32b. Tags stehen auf der Modellseite in der Ollama-Bibliothek.

Einmalige Anfrage ohne Chat

ollama run llama3.2 "Erkläre RAG in drei Sätzen"

HTTP-API

Ollama lauscht auf Port 11434. Das Format ähnelt OpenAI Chat Completions - viele Clients verbinden sich ohne Anpassung.

Chat (Streaming)

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Hallo!"}],
  "stream": true
}'

Generate (einfacher Prompt)

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Schreibe ein Haiku über lokale Modelle",
  "stream": false
}'

OpenAI-kompatibler Endpoint

Mit Versionen, die /v1/chat/completions unterstützen:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

In Cursor, Continue, Open WebUI und n8n Base URL http://localhost:11434/v1 und Modellname aus ollama list setzen.

Welche Modelle wählen

Orientierung für 2026:

Starten Sie mit Qwen 3 8B oder Llama 3.1 8B - akzeptable Qualität auf einem typischen 16-GB-Laptop. Für Production-RAG 2-3 Modelle auf echten Anfragen vergleichen.

Modelfile: eigenes Modell

Ein Modelfile setzt System-Prompt, Temperatur, Kontext und Basismodell:

FROM llama3.2

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

SYSTEM """
Du bist ein technischer Support-Assistent.
Antworte kurz, Schritt für Schritt, auf Deutsch.
Wenn du die Antwort nicht weißt - sag es.
"""

Erstellen und starten:

ollama create support-bot -f Modelfile
ollama run support-bot

So fixieren Sie Verhalten für das Team ohne Client-Code-Änderung.

Integrationen

Cursor und IDEs

In den Modell-Einstellungen OpenAI-kompatiblen Endpoint: http://localhost:11434/v1, API-Key leer oder ollama. Modell - Name aus ollama list. Lokale Modelle für Entwürfe und Refactoring; komplexes agentisches Coding weiterhin Cloud Codex oder Claude Code.

Open WebUI

Open WebUI - Web-Oberfläche im ChatGPT-Stil über Ollama. Gut für Teams: Chat-Verlauf, PDF-Upload, RAG integriert.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

n8n, LangChain, LlamaIndex

• n8n - Ollama Chat Model Node oder HTTP Request an /api/chat.
• LangChain - ChatOllama(base_url="http://localhost:11434", model="qwen3:8b").
• LlamaIndex - Ollama als LLM und Embedding (wenn unterstützt).

Lokales RAG

Typischer Stack: Ollama (LLM + Embeddings via nomic-embed-text oder mxbai-embed-large) + ChromaDB oder Qdrant + Ihre Dokumente. Nach Indexierung komplett offline.

Betriebshinweise

1. Ein Modell im Speicher - ollama ps zeigt geladene; ollama stop <name> gibt RAM frei.
2. num_ctx - Kontext nur bei Bedarf erhöhen; mehr Kontext = mehr Speicher und langsamere Inference.
3. Ollama aktualisieren - neue Versionen bringen Speedups und Modell-Support.
4. Monitoring - GPU-Temperatur und Swap beobachten; bei RAM-Mangel thrashing.
5. Datenschutz ist nicht Sicherheit - lokales Modell sendet nichts nach außen, aber bösartige Prompts oder unsichere Agenten bleiben riskant.

Grenzen

• Open-Weight-8B-Modelle hinken Top-Cloud-Flaggschiffen bei schwerem Reasoning und langen Agentenketten hinterher.
• Große Modelle (32B+) brauchen teure Hardware; Cloud kann günstiger sein bei sporadischer Last.
• Multimodal (Bilder, Audio) ist modellabhängig - Tag-Support prüfen.
• Gewichts-Updates liegen bei Ihnen; Cloud-Provider patchen selbst.

Wann Sie besser bei der Cloud bleiben

• Im Team ist niemand da, der Serveraufbau, Updates und Monitoring übernimmt.
• Die Nutzung ist gering und unregelmäßig - eine Cloud-API-Rechnung kann günstiger sein als ungenutzte Hardware.
• Sie brauchen bestmögliche Qualität bei schwerem Reasoning oder Multimodal-Aufgaben - hier liegen lokale Modelle noch hinter Top-Cloud-Angeboten.
• Sie benötigen ein formelles SLA oder eine Anbieterzertifizierung (z. B. SOC 2, ISO) - Cloud-Provider bieten das, eine Self-Hosted-Lösung standardmäßig nicht.

Für viele Aufgaben ist Ollama + 8B-Modell + RAG ein praktischer Kompromiss aus Qualität, Kosten und Datenschutz.

Fazit

Ollama senkt die Hürde für lokale LLMs auf wenige Befehle: installieren, pull, run. Die API ist OpenAI-Ökosystem-kompatibel - dasselbe Modell in CLI, Web-UI, IDE und Automationen. Starten Sie mit Qwen 3 8B oder Llama 3.1 8B, passen Sie ein Modelfile an und ergänzen Sie RAG für Fakten aus Ihren Dokumenten - ohne Cloud-Datenübertragung.

Wenn Sie Hilfe bei Entwicklung, KI-Einführung oder Website-Betreuung für Ihr Projekt brauchen - schreiben Sie mir.

Häufig gestellte Fragen

Brauche ich eine GPU für Ollama?

Nein, Ollama läuft auch nur mit CPU, Inference ist dann deutlich langsamer. Für komfortablen Chat mit 7B-8B-Modellen empfehlenswert: GPU (NVIDIA CUDA) oder Apple Silicon mit Metal. Bei 16 GB RAM ohne GPU: leichte 3B-4B-Modelle oder Q4-Quantisierung.

Wo werden Modelle gespeichert und wie groß sind sie?

Standard: ~/.ollama/models (Linux/macOS) oder %USERPROFILE%\.ollama\models (Windows). 7B-8B in Q4 etwa 4-5 GB, 70B zig GB. Entfernen: ollama rm <name>. Pfad über OLLAMA_MODELS änderbar.

Ollama in Docker unter Windows mit GPU?

Ja, über WSL2 und NVIDIA Container Toolkit: Docker Desktop mit WSL2, NVIDIA-Treiber für WSL, Image ollama/ollama mit --gpus all. Native Docker Desktop ohne WSL2 gibt GPU für Ollama meist nicht frei. Einfacher: native Windows-Installation von der offiziellen Website.

Ollama mit Cursor oder OpenAI-API-Client verbinden?

Base URL http://localhost:11434/v1, API key beliebiger String (z. B. ollama), model exakter Name aus ollama list (z. B. qwen3:8b). Ollama muss laufen, Modell per pull geladen. Client in Docker: host.docker.internal:11434 statt localhost.

Sind vertrauliche Daten in einem lokalen Modell sicher?

Daten gehen bei lokaler Inference nicht an Ollama Inc. - Verarbeitung auf Ihrem Rechner. Aber App-Logs, Open-WebUI-Verlauf und Backups können Prompts speichern. Für Compliance: Aufbewahrungsrichtlinien, Festplattenverschlüsselung, keine Telemetrie fremder UIs. Lokalität beseitigt keine Leaks durch VM-Snapshots und gemeinsame Server-Konten.

Begriffe in diesem Artikel

Ollama — tool to run local open-weight LLMs on your machine — Tool zum lokalen Betrieb open-weight LLMs

LangChain — framework for building LLM applications — Framework für LLM-Anwendungen

n8n — open-source workflow automation platform — Open-Source-Plattform für Workflow-Automatisierung

RAG — Retrieval-Augmented Generation

air-gapped — network fully isolated from the public internet — Netz vollständig vom öffentlichen Internet getrennt

SaaS — Software as a Service

GPU — Graphics Processing Unit

endpoint — specific API URL that accepts requests — spezifische API-URL, die Anfragen entgegennimmt

LlamaIndex — framework for connecting LLMs to private data — Framework zum Anbinden von LLMs an private Daten

embedding — numeric vector that captures text meaning — numerischer Vektor, der Textbedeutung abbildet

LLM — Large Language Model

Qdrant — vector database for similarity search — Vektordatenbank für Ähnlichkeitssuche

inference — running a trained model to get predictions — Ausführung eines trainierten Modells für Vorhersagen

SLA — Service Level Agreement

API key — secret token that authenticates API callers — geheimes Token zur Authentifizierung von API-Aufrufen