A solução utiliza:
- Ollama para executar o modelo de IA localmente.
- Qwen2.5-Coder 1.5B como modelo de programação.
- Continue como extensão do VS Code.
- VS Code como ambiente de desenvolvimento.
Como funciona
A arquitetura final é simples:
VS Code
│
│ Continue
▼
Ollama
http://localhost:11434
│
▼
Qwen2.5-Coder 1.5BO modelo é executado diretamente no Raspberry Pi. O Continue se comunica com o servidor Ollama através da API local, portanto não é necessário utilizar uma API key de um serviço externo ... ou pagar por isto 😏.
Requisitos
Para seguir este guia, você precisará de:
- Um Raspberry Pi 5.
- Ubuntu instalado no Raspberry Pi.
- Uma conexão com a Internet durante a instalação.
- VS Code instalado.
- Acesso ao Raspberry Pi por SSH ou através do ambiente gráfico.
- Espaço de armazenamento suficiente para o modelo.
Os comandos abaixo assumem um sistema Ubuntu/Debian executando em ARM64.
Instalando o Ollama
O primeiro passo é instalar o Ollama. No terminal do Raspberry Pi, execute:
curl -fsSL https://ollama.com/install.sh | shDepois da instalação, verifique a versão:
ollama --versionSe a instalação foi realizada corretamente, o comando deverá mostrar a versão instalada do Ollama.
Verificando o serviço do Ollama
O instalador do Ollama normalmente cria um serviço systemd. Verifique seu estado com:
sudo systemctl status ollamaO resultado deverá indicar que o serviço está ativo, por exemplo:
Active: active (running)Para garantir que o Ollama seja iniciado automaticamente sempre que o Raspberry Pi for ligado, execute:
sudo systemctl enable ollamaÉ possível verificar se o serviço está configurado para iniciar automaticamente:
sudo systemctl is-enabled ollamaO resultado esperado é:
enabledTambém podemos verificar se o servidor HTTP do Ollama está funcionando:
curl http://localhost:11434Uma resposta semelhante a:
Ollama is runningindica que o servidor está disponível.
Baixando o modelo de programação
Para este exemplo, utilizaremos o Qwen2.5-Coder 1.5B.
Execute:
ollama pull qwen2.5-coder:1.5bO modelo será baixado e armazenado localmente no Raspberry Pi.
Para verificar os modelos instalados:
ollama listVocê deverá encontrar uma entrada semelhante a:
qwen2.5-coder:1.5bO modelo de 1.5 bilhões de parâmetros foi escolhido porque modelos maiores podem exigir uma quantidade consideravelmente maior de memória e processamento, tornando-os menos adequados para execução em um Raspberry Pi.
Testando o modelo
Antes de configurar o VS Code, é recomendável verificar se o modelo está funcionando:
ollama run qwen2.5-coder:1.5bVocê pode testar com um prompt simples, por exemplo:
Write a Python function that calculates the Fibonacci sequence.Se o modelo responder, significa que o Ollama e o modelo estão funcionando corretamente.
Para sair do modelo, utilize:
/byeÉ importante observar que ollama run não precisa ficar sendo executado permanentemente. O servidor Ollama será executado como um serviço do sistema. O Continue poderá utilizar diretamente a API do Ollama.
Garantindo que o Ollama seja iniciado automaticamente
Para garantir que o serviço esteja habilitado e iniciado:
sudo systemctl enable ollama
sudo systemctl start ollamaVerifique o estado:
sudo systemctl status ollamaDepois de reiniciar o Raspberry Pi, você pode confirmar que o serviço foi iniciado automaticamente:
sudo systemctl is-active ollamaO resultado esperado é:
activeA partir deste momento, não é necessário iniciar manualmente o Ollama sempre que o Raspberry Pi for ligado.
Instalando o Continue no VS Code
O próximo passo é instalar a extensão Continue no VS Code.
Se o VS Code estiver disponível através do comando code, execute:
code --install-extension Continue.continueTambém é possível instalar a extensão diretamente através do painel de extensões do VS Code.
Configurando o Continue
O Continue utiliza um arquivo de configuração para definir quais modelos devem ser utilizados.
Primeiro, crie o diretório de configuração:
mkdir -p ~/.continueDepois abra o arquivo:
nano ~/.continue/config.yamlAdicione o seguinte conteúdo:
name: Raspberry Pi Local AI
version: 1.0.0
schema: v1
models:
- name: Qwen Coder
provider: ollama
model: qwen2.5-coder:1.5b
apiBase: http://localhost:11434
roles:
- chat
- edit
- apply
- autocompleteO parâmetro:
provider: ollamainforma ao Continue que o modelo será fornecido pelo Ollama.
Já:
apiBase: http://localhost:11434indica o endereço do servidor Ollama local.
Finalmente, o parâmetro:
model: qwen2.5-coder:1.5bdefine qual modelo instalado pelo Ollama será utilizado.
Reiniciando o VS Code
Depois de alterar a configuração do Continue, reinicie o VS Code.
Uma alternativa é utilizar o Command Palette:
Ctrl + Shift + Pe selecionar:
Developer: Reload WindowAbrindo o Continue
No VS Code, procure pelo ícone do Continue na barra lateral esquerda.
Ao abrir o Continue, o modelo configurado deverá aparecer como:
Qwen CoderA partir desse momento, é possível utilizar o modelo para interagir com o código diretamente dentro do VS Code.
Por exemplo, podemos perguntar:
Explain this function.Ou:
Add error handling to this Python function.Também é possível selecionar um trecho de código e pedir ao Continue para modificá-lo.
Testando a instalação completa
Podemos verificar cada componente da instalação.
Primeiro, confirme que o Ollama está executando:
sudo systemctl is-active ollamaO resultado esperado é:
activeDepois, verifique se o modelo está instalado:
ollama listO modelo deverá aparecer na lista:
qwen2.5-coder:1.5bTambém podemos verificar diretamente a API:
curl http://localhost:11434O resultado esperado é:
Ollama is runningPor fim, abra o VS Code, abra o Continue, selecione Qwen Coder e envie um prompt.
Problemas comuns
O Continue não consegue conectar ao Ollama
Primeiro, verifique o serviço:
sudo systemctl status ollamaSe ele não estiver executando:
sudo systemctl start ollamaDepois teste novamente a API:
curl http://localhost:11434O Continue não encontra o modelo
Verifique os modelos instalados:
ollama listO nome do modelo deve ser exatamente:
qwen2.5-coder:1.5bE o mesmo nome deve aparecer no arquivo ~/.continue/config.yaml:
model: qwen2.5-coder:1.5bSe o modelo não estiver instalado, execute:
ollama pull qwen2.5-coder:1.5bO Continue não aparece no VS Code
Verifique se a extensão está instalada:
code --list-extensions | grep -i continueO resultado esperado é:
Continue.continueSe necessário, reinstale:
code --install-extension Continue.continueComandos úteis
# Verificar o Ollama
sudo systemctl status ollama
# Iniciar o Ollama
sudo systemctl start ollama
# Parar o Ollama
sudo systemctl stop ollama
# Habilitar inicialização automática
sudo systemctl enable ollama
# Verificar inicialização automática
sudo systemctl is-enabled ollama
# Listar modelos instalados
ollama list
# Baixar um modelo
ollama pull qwen2.5-coder:1.5b
# Testar um modelo
ollama run qwen2.5-coder:1.5b
# Verificar a API do Ollama
curl http://localhost:11434Instalação completa
Para instalar tudo em um Raspberry Pi novo, a sequência principal de comandos é:
# Instalar Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Habilitar inicialização automática
sudo systemctl enable ollama
sudo systemctl start ollama
# Baixar o modelo
ollama pull qwen2.5-coder:1.5b
# Testar o Ollama
ollama run qwen2.5-coder:1.5b
# Instalar o Continue
code --install-extension Continue.continue
# Criar o diretório de configuração
mkdir -p ~/.continue
# Editar a configuração
nano ~/.continue/config.yamlDepois, coloque no arquivo ~/.continue/config.yaml:
name: Raspberry Pi Local AI
version: 1.0.0
schema: v1
models:
- name: Qwen Coder
provider: ollama
model: qwen2.5-coder:1.5b
apiBase: http://localhost:11434
roles:
- chat
- edit
- apply
- autocompleteDepois de reiniciar o VS Code e abrir o Continue, o modelo Qwen Coder estará disponível.
Considerações sobre a escolha do modelo
Este guia utiliza o qwen2.5-coder:1.5b como configuração padrão para o Raspberry Pi. Durante testes, também pode ser interessante experimentar modelos maiores. Para um Raspberry Pi 5, o modelo de 1.5B oferece uma configuração muito mais realista para executar um assistente de programação local.
Resultado final
Ao final da configuração, o Raspberry Pi estará executando o Ollama automaticamente como um serviço do sistema. O Continue, dentro do VS Code, utilizará a API local do Ollama para executar o Qwen2.5-Coder.
Assim, o Raspberry Pi pode funcionar como um assistente de programação local, sem depender de um serviço de IA externo para as tarefas suportadas pelo modelo instalado.
