Guia Prático: Rodando Ollama e Mistral com Docker
Vamos colocar a mão na massa! Com o Docker, rodar um LLM localmente se tornou incrivelmente simples. O Ollama é uma ferramenta que empacota e serve modelos de forma fácil. Usaremos ele para rodar o Mistral, um excelente modelo open-source.
Passo 1: Pré-requisitos
O único pré-requisito é ter o Docker Desktop instalado e rodando na sua máquina.
Passo 2: Iniciar o contêiner do Ollama
Abra seu terminal e execute o seguinte comando. Ele irá baixar a imagem do Ollama e iniciar um contêiner que servirá os modelos de IA.
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 \
--name ollama ollama/ollama
Passo 3: Baixar e Rodar o Mistral
Com o servidor Ollama rodando, entre no contêiner e peça para ele baixar e executar o modelo Mistral com este comando:
docker exec -it ollama ollama run mistral
Na primeira vez, o download levará alguns minutos. Ao concluir, você verá o prompt >>> Send a message. Parabéns, você está conversando com um LLM 100% local!
Passo 4: Interagindo via API (Opcional)
O grande poder do Ollama é que ele expõe uma API. Em um novo terminal, você pode enviar requisições para o modelo usando uma ferramenta como o curl.
curl http://localhost:11434/api/generate -d '{
"model": "mistral",
"prompt": "Por que o céu é azul?",
"stream": false
}'
Você receberá uma resposta em formato JSON contendo o texto gerado. A partir daqui, as possibilidades de integração são infinitas.