← Retour à la liste

LLM locaux avec Ollama : installation et utilisation

Ollama est un outil pour exécuter des grands modèles de langage (LLM) localement sur votre ordinateur ou serveur. Il télécharge les modèles, les gère et fournit une CLI et une API HTTP sans abonnement cloud ni envoi de données à des tiers. Ci-dessous - pourquoi les modèles locaux comptent, comment installer Ollama sur Windows, macOS et Linux, quels modèles choisir et comment les connecter à vos applications.

  • Confidentialité - prompts et documents ne quittent pas votre machine
  • Hors ligne - fonctionne sans internet après le téléchargement du modèle
  • Gratuit - pas de facturation au token, seulement le matériel et l'électricité
  • API - format compatible OpenAI pour Cursor, n8n, LangChain et autres outils

Qu'est-ce qu'Ollama

Ollama est un runtime open-source pour LLM locaux. Il simplifie ce qui exigeait autrefois la configuration manuelle de llama.cpp, CUDA, environnements Python et conversion des poids : une commande ollama pull llama3 télécharge un modèle, ollama run llama3 lance un chat interactif.

En interne, Ollama utilise llama.cpp et son format Modelfile - comme un Dockerfile pour modèles. Vous pouvez :

  • exécuter des modèles prêts depuis la bibliothèque Ollama ;
  • créer des variantes avec system prompt, paramètres et adaptateurs ;
  • appeler le modèle via REST API sur http://localhost:11434.

Ollama ne remplace pas les flagship cloud comme GPT-5.6 ou Claude Fable 5 pour les tâches agentiques complexes, mais couvre de nombreux scénarios : brouillons, résumés, classification, RAG sur documents internes, prototypage de prompts et développement sans crédits API.

Pourquoi exécuter des LLM localement

Critère API cloud Ollama (local)
Confidentialité Données sur serveurs du fournisseur Données sur votre machine
Coût Paiement au token Gratuit (hors matériel)
Latence Dépend du réseau Minimale en localhost
Qualité top Supérieure Inférieure pour open-weight
Hors ligne Non Oui, après téléchargement des poids

Les modèles locaux sont surtout utiles pour :

  • Données d'entreprise - contrats, e-mails, code interdits en SaaS.
  • Développement - tester pipelines RAG et agents sans facture API.
  • Edge et air-gapped - serveurs sans internet, labos, déploiements terrain.
  • Expérimentations - changer modèle et paramètres sans changer de fournisseur.

Exigences matérielles

La RAM et le GPU déterminent quel modèle tourne confortablement.

Modèle (exemple) Paramètres RAM (CPU) VRAM (GPU)
Llama 3.2 3B 4-8 Go 4 Go
Qwen 3 8B 8-16 Go 6-8 Go
Llama 3.1 8B 8-16 Go 6-8 Go
Mistral 7B 8-16 Go 6-8 Go
Qwen 3 32B 32+ Go 20-24 Go
Llama 3.1 70B 64+ Go 40-48 Go

CPU seul fonctionne, mais lentement : un modèle 7B sur 16 Go RAM sans GPU produit quelques tokens par seconde. Un GPU (NVIDIA CUDA, Apple Silicon Metal) accélère fortement. Sur Mac M1/M2/M3/M4, Ollama utilise Metal nativement ; sous Windows et Linux, GPU NVIDIA avec pilote à jour requis.

RAM limitée - choisissez des modèles quantifiés (Q4, Q5) : moins de mémoire, légère perte de qualité.

Installation

Windows

  1. Téléchargez l'installateur sur ollama.com/download.
  2. Lancez le .exe et terminez l'assistant.
  3. Ollama démarre en service arrière-plan ; icône dans la barre des tâches.
  4. Ouvrez PowerShell ou cmd et vérifiez :
ollama --version

macOS

brew install ollama

Ou téléchargez le .dmg du site. Sur Apple Silicon, Metal s'active automatiquement.

Linux

Script officiel :

curl -fsSL https://ollama.com/install.sh | sh

Pour systemd après installation :

sudo systemctl enable ollama
sudo systemctl start ollama

Docker

Pour isolation ou déploiement serveur :

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Pour GPU sous Linux, ajoutez --gpus all.

Premiers pas : CLI

Télécharger et lancer un modèle

ollama pull llama3.2
ollama run llama3.2

pull télécharge les poids dans ~/.ollama/models (Windows : %USERPROFILE%\.ollama\models). run ouvre un chat interactif. Quitter avec /bye ou Ctrl+D.

Commandes utiles

ollama list              # modèles installés
ollama ps                # en cours d'exécution
ollama rm llama3.2       # supprimer un modèle
ollama show llama3.2     # paramètres et Modelfile
ollama pull qwen3:8b     # tag spécifique

Les tags définissent taille et quantification : llama3.1:8b, mistral:7b-instruct-q4_K_M, qwen3:32b. Voir la page du modèle dans la bibliothèque Ollama.

Requête unique sans chat

ollama run llama3.2 "Expliquez le RAG en trois phrases"

API HTTP

Ollama écoute sur le port 11434. Le format ressemble à OpenAI Chat Completions - de nombreux clients se connectent sans modification.

Chat (streaming)

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Bonjour !"}],
  "stream": true
}'

Generate (prompt simple)

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Écrivez un haiku sur les modèles locaux",
  "stream": false
}'

Endpoint compatible OpenAI

Avec versions supportant /v1/chat/completions :

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

Dans Cursor, Continue, Open WebUI et n8n, définissez Base URL http://localhost:11434/v1 et le nom du modèle depuis ollama list.

Quels modèles choisir

Repères pour 2026 :

Tâche Modèles Commentaire
Chat rapide, matériel faible Llama 3.2 3B, Qwen 3 4B, Phi-4 mini RAM minimale
Équilibre général Llama 3.1 8B, Mistral 7B, Qwen 3 8B Sweet spot à 16 Go
Code et instructions Qwen 3 Coder, DeepSeek Coder V2, Codestral Meilleur en SQL, Python, diffs
Multilingue Qwen 3, Llama 3.1 Qwen fort en multilingue
Long contexte Qwen 3, Llama 3.1 8B (128K+) RAG et gros documents
Qualité locale max Qwen 3 32B, Llama 3.1 70B, Mistral Large GPU puissant ou beaucoup de RAM

Commencez par Qwen 3 8B ou Llama 3.1 8B - qualité acceptable sur un laptop 16 Go typique. Pour RAG production, comparez 2-3 modèles sur vos requêtes réelles.

Modelfile : modèle personnalisé

Un Modelfile définit system prompt, température, contexte et modèle de base :

FROM llama3.2

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

SYSTEM """
Vous êtes un assistant support technique.
Répondez brièvement, étape par étape, en français.
Si vous ne savez pas - dites-le.
"""

Créer et lancer :

ollama create support-bot -f Modelfile
ollama run support-bot

Comportement fixé pour l'équipe sans modifier le code client.

Intégrations

Cursor et IDE

Dans les paramètres modèle, endpoint compatible OpenAI : http://localhost:11434/v1, clé API vide ou ollama. Modèle - nom depuis ollama list. Modèles locaux pour brouillons et refactoring ; coding agentique complexe reste plutôt Codex ou Claude Code cloud.

Open WebUI

Open WebUI - interface web style ChatGPT sur Ollama. Pratique en équipe : historique, PDF, RAG intégré.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

n8n, LangChain, LlamaIndex

  • n8n - nœud Ollama Chat Model ou HTTP Request vers /api/chat.
  • LangChain - ChatOllama(base_url="http://localhost:11434", model="qwen3:8b").
  • LlamaIndex - Ollama comme LLM et embedding (si supporté).

RAG local

Stack typique : Ollama (LLM + embeddings via nomic-embed-text ou mxbai-embed-large) + ChromaDB ou Qdrant + vos documents. Tout offline après indexation.

Conseils d'exploitation

  1. Un modèle en mémoire - ollama ps affiche les chargés ; ollama stop <name> libère la RAM.
  2. num_ctx - augmentez le contexte seulement si nécessaire ; plus de contexte = plus de mémoire et inference plus lente.
  3. Mettez à jour Ollama - nouvelles versions apportent vitesse et support de modèles.
  4. Monitoring - température GPU et swap sur serveur ; RAM insuffisante cause du thrashing.
  5. Confidentialité n'est pas sécurité - modèle local n'envoie rien dehors, mais prompts malveillants ou agents vulnérables restent risqués.

Limites

  • Modèles open-weight 8B derrière les flagship cloud en raisonnement difficile et longues chaînes agentiques.
  • Gros modèles (32B+) exigent matériel coûteux ; le cloud peut être moins cher si charge sporadique.
  • Multimodal (images, audio) dépend du modèle - vérifiez le tag.
  • Mises à jour des poids à votre charge ; en cloud le fournisseur patche.

Pour beaucoup de tâches, Ollama + modèle 8B + RAG équilibre qualité, coût et confidentialité.

Conclusion

Ollama abaisse la barrière aux LLM locaux à quelques commandes : installer, pull, run. L'API est compatible écosystème OpenAI - même modèle en CLI, web UI, IDE et automatisations. Commencez avec Qwen 3 8B ou Llama 3.1 8B, ajustez un Modelfile, ajoutez RAG si vous avez besoin de faits dans vos documents - sans envoyer de données au cloud.

Foire aux questions

Faut-il un GPU pour Ollama ?

Non, Ollama tourne en CPU seul, mais l'inference sera bien plus lente. Pour un chat confortable avec modèles 7B-8B, GPU (NVIDIA CUDA) ou Apple Silicon Metal recommandé. Avec 16 Go RAM sans GPU, choisissez modèles légers 3B-4B ou quantification Q4 agressive.

Où sont stockés les modèles et quelle taille ?

Par défaut dans ~/.ollama/models (Linux/macOS) ou %USERPROFILE%\.ollama\models (Windows). 7B-8B en Q4 environ 4-5 Go, 70B des dizaines de Go. Supprimer : ollama rm <nom>. Chemin via OLLAMA_MODELS.

Ollama dans Docker sous Windows avec GPU ?

Oui, via WSL2 et NVIDIA Container Toolkit : Docker Desktop backend WSL2, pilote NVIDIA pour WSL, image ollama/ollama avec --gpus all. Docker Desktop natif sans WSL2 n'expose généralement pas le GPU à Ollama. Plus simple : installation native Windows depuis le site officiel.

Connecter Ollama à Cursor ou autre client OpenAI API ?

Base URL http://localhost:11434/v1, API key toute chaîne (ex. ollama), model nom exact de ollama list (ex. qwen3:8b). Ollama doit tourner, modèle pullé. Client dans Docker : host.docker.internal:11434 au lieu de localhost.

Est-il sûr d'envoyer des données confidentielles à un modèle local ?

Les données ne vont pas aux serveurs Ollama Inc. en inference locale - traitement sur votre machine. Mais logs, historique Open WebUI et sauvegardes disque peuvent conserver les prompts. Pour compliance stricte : politiques de rétention, chiffrement disque, pas de télémétrie d'UI tierces. Le local n'élimine pas les fuites via snapshots VM et comptes serveur partagés.

Contact