LLMs locais com Ollama: instalação e uso

Ollama é uma ferramenta para executar modelos de linguagem grandes (LLMs) localmente no seu computador ou servidor. Ela baixa modelos, gerencia-os e oferece CLI e API HTTP sem assinatura na nuvem nem envio de dados a terceiros. A seguir - por que modelos locais importam, como instalar o Ollama no Windows, macOS e Linux, quais modelos escolher e como conectá-los às suas aplicações. Este guia é útil tanto para a equipe técnica quanto para donos de negócio que comparam uma solução local com uma API na nuvem em custo, privacidade de dados e requisitos de equipe.

• Privacidade - prompts e documentos não saem da sua máquina
• Offline - funciona sem internet após baixar o modelo
• Grátis - sem pagamento por tokens, só hardware e eletricidade
• API - formato compatível com OpenAI para Cursor, n8n, LangChain e outras ferramentas

O que é Ollama

Ollama é um runtime open-source para LLMs locais. Simplifica o que antes exigia configurar llama.cpp, CUDA, ambientes Python e conversão de pesos: um comando ollama pull llama3 baixa um modelo, ollama run llama3 inicia um chat interativo.

Por baixo dos panos, o Ollama usa llama.cpp e o formato Modelfile - como um Dockerfile para modelos. Você pode:

• executar modelos prontos da biblioteca Ollama;
• criar variantes com system prompt, parâmetros e adaptadores;
• chamar o modelo via REST API em http://localhost:11434.

O Ollama não substitui flagships na nuvem como GPT-5.6 ou Claude Fable 5 em tarefas agênticas complexas, mas cobre muitos cenários: rascunhos, resumos, classificação, RAG sobre documentos internos, prototipagem de prompts e desenvolvimento sem gastar créditos de API.

Por que executar LLMs localmente

Modelos locais são especialmente úteis para:

• Dados corporativos - contratos, e-mail, código que não pode ir para SaaS.
• Desenvolvimento - testar pipelines RAG e agentes sem conta de API.
• Edge e air-gapped - servidores sem internet, laboratórios, campo.
• Experimentos - trocar modelo e parâmetros sem mudar de provedor.

Requisitos de hardware

RAM e GPU definem qual modelo você pode rodar confortavelmente.

Só CPU funciona, mas devagar: um modelo 7B com 16 GB RAM sem GPU dá poucos tokens por segundo. GPU (NVIDIA com CUDA, Apple Silicon com Metal) acelera muito a geração. No Mac M1/M2/M3/M4, o Ollama usa Metal de fábrica; no Windows e Linux é preciso GPU NVIDIA com driver atualizado.

Se a RAM for pouca - escolha modelos quantizados (Q4, Q5): menos memória com pequena perda de qualidade.

Instalação

Windows

1. Baixe o instalador em ollama.com/download.
2. Execute o .exe e conclua o assistente.
3. O Ollama inicia como serviço em segundo plano; ícone na bandeja do sistema.
4. Abra PowerShell ou cmd e verifique:

ollama --version

macOS

brew install ollama

Ou baixe o .dmg do site. No Apple Silicon, Metal é ativado automaticamente.

Linux

Script oficial:

curl -fsSL https://ollama.com/install.sh | sh

Para serviço systemd após instalar:

sudo systemctl enable ollama
sudo systemctl start ollama

Docker

Se precisar de isolamento ou deploy em servidor:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Para GPU no Linux, adicione --gpus all.

Primeiros passos: CLI

Baixar e executar um modelo

ollama pull llama3.2
ollama run llama3.2

pull baixa pesos para ~/.ollama/models (Windows: %USERPROFILE%\.ollama\models). run abre chat interativo. Saída com /bye ou Ctrl+D.

Comandos úteis

ollama list              # modelos instalados
ollama ps                # em execução agora
ollama rm llama3.2       # remover modelo
ollama show llama3.2     # parâmetros e Modelfile
ollama pull qwen3:8b     # tag específica

Tags definem tamanho e quantização: llama3.1:8b, mistral:7b-instruct-q4_K_M, qwen3:32b. Veja a página do modelo na biblioteca Ollama.

Consulta única sem chat

ollama run llama3.2 "Explique o que é RAG em três frases"

API HTTP

O Ollama escuta na porta 11434. O formato é próximo ao OpenAI Chat Completions - muitos clientes conectam sem alterações.

Chat (streaming)

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Olá!"}],
  "stream": true
}'

Generate (prompt simples)

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Escreva um haiku sobre modelos locais",
  "stream": false
}'

Endpoint compatível com OpenAI

Com versões que suportam /v1/chat/completions:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

No Cursor, Continue, Open WebUI e n8n configure Base URL http://localhost:11434/v1 e o nome do modelo de ollama list.

Quais modelos escolher

Orientação para 2026:

Comece com Qwen 3 8B ou Llama 3.1 8B - qualidade aceitável em notebook típico de 16 GB. Para RAG em produção, compare 2-3 modelos com suas consultas reais.

Modelfile: modelo personalizado

Um Modelfile define system prompt, temperatura, contexto e modelo base:

FROM llama3.2

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

SYSTEM """
Você é um assistente de suporte técnico.
Responda de forma breve, passo a passo, em português.
Se não souber a resposta - diga isso.
"""

Criar e executar:

ollama create support-bot -f Modelfile
ollama run support-bot

Assim você fixa o comportamento da equipe sem mudar o código cliente.

Integrações

Cursor e IDEs

Nas configurações do modelo, endpoint compatível OpenAI: http://localhost:11434/v1, API key vazia ou ollama. Modelo - nome de ollama list. Modelos locais servem para rascunhos e refatoração; coding agêntico complexo ainda favorece Codex ou Claude Code na nuvem.

Open WebUI

Open WebUI - interface web estilo ChatGPT sobre Ollama. Boa para equipes: histórico, upload de PDF, RAG integrado.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

n8n, LangChain, LlamaIndex

• n8n - nó Ollama Chat Model ou HTTP Request para /api/chat.
• LangChain - ChatOllama(base_url="http://localhost:11434", model="qwen3:8b").
• LlamaIndex - Ollama como LLM e embedding (se o modelo suportar).

RAG local

Stack típico: Ollama (LLM + embeddings via nomic-embed-text ou mxbai-embed-large) + ChromaDB ou Qdrant + seus documentos. Tudo offline após indexar.

Dicas de operação

1. Um modelo na memória - ollama ps mostra carregados; ollama stop <name> libera RAM.
2. num_ctx - aumente contexto só quando necessário; mais contexto = mais memória e inference mais lenta.
3. Atualize o Ollama - novas versões trazem velocidade e suporte a modelos.
4. Monitoramento - temperatura da GPU e swap em servidores; pouca RAM causa thrashing.
5. Privacidade não é segurança - modelo local não envia dados para fora, mas prompts maliciosos ou agentes vulneráveis ainda são risco.

Limitações

• Modelos open-weight 8B ficam atrás de flagships na nuvem em raciocínio difícil e cadeias agênticas longas.
• Modelos grandes (32B+) exigem hardware caro; a nuvem pode ser mais barata com carga esporádica.
• Multimodal (imagens, áudio) depende do modelo - verifique o tag.
• Atualizar pesos é sua responsabilidade; na nuvem o provedor corrige o modelo.

Quando é melhor continuar na nuvem

• Não há ninguém na equipe para cuidar da instalação, atualizações e monitoramento do servidor.
• O uso é pequeno e irregular - a fatura de uma API na nuvem pode sair mais barata do que hardware ocioso.
• Você precisa da melhor qualidade possível em raciocínio complexo ou tarefas multimodais, área em que os modelos locais ainda ficam atrás das principais ofertas na nuvem.
• Você precisa de um SLA formal ou certificação de fornecedor (por exemplo, SOC 2, ISO) - provedores na nuvem oferecem isso; uma solução self-hosted não, por padrão.

Para muitas tarefas, Ollama + modelo 8B + RAG equilibra qualidade, custo e privacidade.

Conclusão

O Ollama reduz a barreira para LLMs locais a poucos comandos: instalar, pull, run. A API é compatível com o ecossistema OpenAI - o mesmo modelo na CLI, web UI, IDE e automações. Comece com Qwen 3 8B ou Llama 3.1 8B, ajuste um Modelfile e adicione RAG se precisar de fatos dos seus documentos - sem enviar dados à nuvem.

Se precisar de ajuda com desenvolvimento, implementação de IA ou suporte ao site para o seu projeto - escreva-me.

Perguntas frequentes

Preciso de GPU para o Ollama?

Não, o Ollama roda só com CPU, mas a inferência será bem mais lenta. Para chat confortável com modelos 7B-8B, recomenda-se GPU (NVIDIA CUDA) ou Apple Silicon com Metal. Com 16 GB RAM sem GPU, escolha modelos leves 3B-4B ou quantização Q4 agressiva.

Onde os modelos baixados ficam armazenados e quanto ocupam?

Por padrão em ~/.ollama/models (Linux/macOS) ou %USERPROFILE%\.ollama\models (Windows). 7B-8B em Q4 cerca de 4-5 GB, 70B dezenas de GB. Remover: ollama rm <nome>. Caminho com OLLAMA_MODELS.

Dá para usar Ollama no Docker no Windows com GPU?

Sim, via WSL2 e NVIDIA Container Toolkit: Docker Desktop com backend WSL2, driver NVIDIA para WSL, imagem ollama/ollama com --gpus all. Docker Desktop nativo sem WSL2 em geral não expõe GPU ao Ollama. Alternativa mais simples - instalação nativa no Windows pelo site oficial.

Como conectar o Ollama ao Cursor ou outro cliente OpenAI API?

Base URL http://localhost:11434/v1, API key qualquer string (ex. ollama), model nome exato de ollama list (ex. qwen3:8b). Ollama em execução e modelo com pull. Cliente no Docker: host.docker.internal:11434 em vez de localhost.

É seguro enviar dados confidenciais a um modelo local?

Os dados não vão aos servidores da Ollama Inc. na inferência local - processamento na sua máquina. Mas logs, histórico do Open WebUI e backups de disco podem guardar prompts. Para compliance rigoroso: políticas de retenção, criptografia de disco, sem telemetria de UIs de terceiros. Local não elimina vazamentos por snapshots de VM e contas compartilhadas no servidor.

Termos deste artigo

Ollama — tool to run local open-weight LLMs on your machine — ferramenta para rodar LLMs open-weight no local

LangChain — framework for building LLM applications — framework para aplicações com LLM

n8n — open-source workflow automation platform — plataforma open-source de automação de workflows

open-source — software with publicly available source code — software com código-fonte público

system prompt — hidden instructions that steer the model for a task — instruções ocultas que guiam o comportamento do modelo

REST API — HTTP API that exposes resources via URLs and verbs — API HTTP que expõe recursos via URL e verbos

RAG — Retrieval-Augmented Generation — geração aumentada por recuperação

open-weight — model weights you can download and run yourself — pesos do modelo baixáveis e executáveis aí

air-gapped — network fully isolated from the public internet — rede totalmente isolada da internet pública

SaaS — Software as a Service — software como serviço

GPU — Graphics Processing Unit — unidade de processamento gráfico

endpoint — specific API URL that accepts requests — URL específica de API que aceita requisições

API key — secret token that authenticates API callers — token secreto que autentica chamadas à API

LlamaIndex — framework for connecting LLMs to private data — framework para conectar LLM a dados privados

embedding — numeric vector that captures text meaning — vetor numérico que captura o sentido do texto

LLM — Large Language Model — modelo de linguagem grande

Qdrant — vector database for similarity search — banco vetorial para busca por similaridade

inference — running a trained model to get predictions — execução do modelo treinado para obter previsões

self-hosted — software you run on your own servers — software que você roda nos seus próprios servidores

SLA — Service Level Agreement — acordo de nível de serviço

backend — server-side logic, APIs and data layer — lógica de servidor, APIs e camada de dados