← Voltar à lista

LLMs locais com Ollama: instalação e uso

Ollama é uma ferramenta para executar modelos de linguagem grandes (LLMs) localmente no seu computador ou servidor. Ela baixa modelos, gerencia-os e oferece CLI e API HTTP sem assinatura na nuvem nem envio de dados a terceiros. A seguir - por que modelos locais importam, como instalar o Ollama no Windows, macOS e Linux, quais modelos escolher e como conectá-los às suas aplicações.

  • Privacidade - prompts e documentos não saem da sua máquina
  • Offline - funciona sem internet após baixar o modelo
  • Grátis - sem pagamento por tokens, só hardware e eletricidade
  • API - formato compatível com OpenAI para Cursor, n8n, LangChain e outras ferramentas

O que é Ollama

Ollama é um runtime open-source para LLMs locais. Simplifica o que antes exigia configurar llama.cpp, CUDA, ambientes Python e conversão de pesos: um comando ollama pull llama3 baixa um modelo, ollama run llama3 inicia um chat interativo.

Por baixo dos panos, o Ollama usa llama.cpp e o formato Modelfile - como um Dockerfile para modelos. Você pode:

  • executar modelos prontos da biblioteca Ollama;
  • criar variantes com system prompt, parâmetros e adaptadores;
  • chamar o modelo via REST API em http://localhost:11434.

O Ollama não substitui flagships na nuvem como GPT-5.6 ou Claude Fable 5 em tarefas agênticas complexas, mas cobre muitos cenários: rascunhos, resumos, classificação, RAG sobre documentos internos, prototipagem de prompts e desenvolvimento sem gastar créditos de API.

Por que executar LLMs localmente

Critério API na nuvem Ollama (local)
Privacidade Dados nos servidores do provedor Dados na sua máquina
Custo Pagamento por token Grátis (exceto hardware)
Latência Depende da rede Mínima em localhost
Qualidade top Maior Menor em modelos open-weight
Offline Não Sim, após baixar os pesos

Modelos locais são especialmente úteis para:

  • Dados corporativos - contratos, e-mail, código que não pode ir para SaaS.
  • Desenvolvimento - testar pipelines RAG e agentes sem conta de API.
  • Edge e air-gapped - servidores sem internet, laboratórios, campo.
  • Experimentos - trocar modelo e parâmetros sem mudar de provedor.

Requisitos de hardware

RAM e GPU definem qual modelo você pode rodar confortavelmente.

Modelo (exemplo) Parâmetros RAM (CPU) VRAM (GPU)
Llama 3.2 3B 4-8 GB 4 GB
Qwen 3 8B 8-16 GB 6-8 GB
Llama 3.1 8B 8-16 GB 6-8 GB
Mistral 7B 8-16 GB 6-8 GB
Qwen 3 32B 32+ GB 20-24 GB
Llama 3.1 70B 64+ GB 40-48 GB

Só CPU funciona, mas devagar: um modelo 7B com 16 GB RAM sem GPU dá poucos tokens por segundo. GPU (NVIDIA com CUDA, Apple Silicon com Metal) acelera muito a geração. No Mac M1/M2/M3/M4, o Ollama usa Metal de fábrica; no Windows e Linux é preciso GPU NVIDIA com driver atualizado.

Se a RAM for pouca - escolha modelos quantizados (Q4, Q5): menos memória com pequena perda de qualidade.

Instalação

Windows

  1. Baixe o instalador em ollama.com/download.
  2. Execute o .exe e conclua o assistente.
  3. O Ollama inicia como serviço em segundo plano; ícone na bandeja do sistema.
  4. Abra PowerShell ou cmd e verifique:
ollama --version

macOS

brew install ollama

Ou baixe o .dmg do site. No Apple Silicon, Metal é ativado automaticamente.

Linux

Script oficial:

curl -fsSL https://ollama.com/install.sh | sh

Para serviço systemd após instalar:

sudo systemctl enable ollama
sudo systemctl start ollama

Docker

Se precisar de isolamento ou deploy em servidor:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Para GPU no Linux, adicione --gpus all.

Primeiros passos: CLI

Baixar e executar um modelo

ollama pull llama3.2
ollama run llama3.2

pull baixa pesos para ~/.ollama/models (Windows: %USERPROFILE%\.ollama\models). run abre chat interativo. Saída com /bye ou Ctrl+D.

Comandos úteis

ollama list              # modelos instalados
ollama ps                # em execução agora
ollama rm llama3.2       # remover modelo
ollama show llama3.2     # parâmetros e Modelfile
ollama pull qwen3:8b     # tag específica

Tags definem tamanho e quantização: llama3.1:8b, mistral:7b-instruct-q4_K_M, qwen3:32b. Veja a página do modelo na biblioteca Ollama.

Consulta única sem chat

ollama run llama3.2 "Explique o que é RAG em três frases"

API HTTP

O Ollama escuta na porta 11434. O formato é próximo ao OpenAI Chat Completions - muitos clientes conectam sem alterações.

Chat (streaming)

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Olá!"}],
  "stream": true
}'

Generate (prompt simples)

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Escreva um haiku sobre modelos locais",
  "stream": false
}'

Endpoint compatível com OpenAI

Com versões que suportam /v1/chat/completions:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

No Cursor, Continue, Open WebUI e n8n configure Base URL http://localhost:11434/v1 e o nome do modelo de ollama list.

Quais modelos escolher

Orientação para 2026:

Tarefa Modelos Comentário
Chat rápido, hardware fraco Llama 3.2 3B, Qwen 3 4B, Phi-4 mini RAM mínima
Equilíbrio geral Llama 3.1 8B, Mistral 7B, Qwen 3 8B Ponto ideal com 16 GB
Código e instruções Qwen 3 Coder, DeepSeek Coder V2, Codestral Melhor em SQL, Python, diffs
Multilíngue Qwen 3, Llama 3.1 Qwen forte em multilíngue
Contexto longo Qwen 3, Llama 3.1 8B (128K+) RAG e documentos grandes
Máxima qualidade local Qwen 3 32B, Llama 3.1 70B, Mistral Large GPU potente ou muita RAM

Comece com Qwen 3 8B ou Llama 3.1 8B - qualidade aceitável em notebook típico de 16 GB. Para RAG em produção, compare 2-3 modelos com suas consultas reais.

Modelfile: modelo personalizado

Um Modelfile define system prompt, temperatura, contexto e modelo base:

FROM llama3.2

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

SYSTEM """
Você é um assistente de suporte técnico.
Responda de forma breve, passo a passo, em português.
Se não souber a resposta - diga isso.
"""

Criar e executar:

ollama create support-bot -f Modelfile
ollama run support-bot

Assim você fixa o comportamento da equipe sem mudar o código cliente.

Integrações

Cursor e IDEs

Nas configurações do modelo, endpoint compatível OpenAI: http://localhost:11434/v1, API key vazia ou ollama. Modelo - nome de ollama list. Modelos locais servem para rascunhos e refatoração; coding agêntico complexo ainda favorece Codex ou Claude Code na nuvem.

Open WebUI

Open WebUI - interface web estilo ChatGPT sobre Ollama. Boa para equipes: histórico, upload de PDF, RAG integrado.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

n8n, LangChain, LlamaIndex

  • n8n - nó Ollama Chat Model ou HTTP Request para /api/chat.
  • LangChain - ChatOllama(base_url="http://localhost:11434", model="qwen3:8b").
  • LlamaIndex - Ollama como LLM e embedding (se o modelo suportar).

RAG local

Stack típico: Ollama (LLM + embeddings via nomic-embed-text ou mxbai-embed-large) + ChromaDB ou Qdrant + seus documentos. Tudo offline após indexar.

Dicas de operação

  1. Um modelo na memória - ollama ps mostra carregados; ollama stop <name> libera RAM.
  2. num_ctx - aumente contexto só quando necessário; mais contexto = mais memória e inference mais lenta.
  3. Atualize o Ollama - novas versões trazem velocidade e suporte a modelos.
  4. Monitoramento - temperatura da GPU e swap em servidores; pouca RAM causa thrashing.
  5. Privacidade não é segurança - modelo local não envia dados para fora, mas prompts maliciosos ou agentes vulneráveis ainda são risco.

Limitações

  • Modelos open-weight 8B ficam atrás de flagships na nuvem em raciocínio difícil e cadeias agênticas longas.
  • Modelos grandes (32B+) exigem hardware caro; a nuvem pode ser mais barata com carga esporádica.
  • Multimodal (imagens, áudio) depende do modelo - verifique o tag.
  • Atualizar pesos é sua responsabilidade; na nuvem o provedor corrige o modelo.

Para muitas tarefas, Ollama + modelo 8B + RAG equilibra qualidade, custo e privacidade.

Conclusão

O Ollama reduz a barreira para LLMs locais a poucos comandos: instalar, pull, run. A API é compatível com o ecossistema OpenAI - o mesmo modelo na CLI, web UI, IDE e automações. Comece com Qwen 3 8B ou Llama 3.1 8B, ajuste um Modelfile e adicione RAG se precisar de fatos dos seus documentos - sem enviar dados à nuvem.

Perguntas frequentes

Preciso de GPU para o Ollama?

Não, o Ollama roda só com CPU, mas a inferência será bem mais lenta. Para chat confortável com modelos 7B-8B, recomenda-se GPU (NVIDIA CUDA) ou Apple Silicon com Metal. Com 16 GB RAM sem GPU, escolha modelos leves 3B-4B ou quantização Q4 agressiva.

Onde os modelos baixados ficam armazenados e quanto ocupam?

Por padrão em ~/.ollama/models (Linux/macOS) ou %USERPROFILE%\.ollama\models (Windows). 7B-8B em Q4 cerca de 4-5 GB, 70B dezenas de GB. Remover: ollama rm <nome>. Caminho com OLLAMA_MODELS.

Dá para usar Ollama no Docker no Windows com GPU?

Sim, via WSL2 e NVIDIA Container Toolkit: Docker Desktop com backend WSL2, driver NVIDIA para WSL, imagem ollama/ollama com --gpus all. Docker Desktop nativo sem WSL2 em geral não expõe GPU ao Ollama. Alternativa mais simples - instalação nativa no Windows pelo site oficial.

Como conectar o Ollama ao Cursor ou outro cliente OpenAI API?

Base URL http://localhost:11434/v1, API key qualquer string (ex. ollama), model nome exato de ollama list (ex. qwen3:8b). Ollama em execução e modelo com pull. Cliente no Docker: host.docker.internal:11434 em vez de localhost.

É seguro enviar dados confidenciais a um modelo local?

Os dados não vão aos servidores da Ollama Inc. na inferência local - processamento na sua máquina. Mas logs, histórico do Open WebUI e backups de disco podem guardar prompts. Para compliance rigoroso: políticas de retenção, criptografia de disco, sem telemetria de UIs de terceiros. Local não elimina vazamentos por snapshots de VM e contas compartilhadas no servidor.

Contato