Configurando um Assistente de IA Local no Raspberry Pi

Este guia explica como configurar um Raspberry Pi 5 com Raspberry para funcionar como um assistente de programação baseado em Inteligência Artificial, executando o modelo localmente.

A solução utiliza:

• Ollama para executar o modelo de IA localmente.
• Qwen2.5-Coder 1.5B como modelo de programação.
• Continue como extensão do VS Code.
• VS Code como ambiente de desenvolvimento.

Como funciona

A arquitetura final é simples:

VS Code
   │
   │ Continue
   ▼
Ollama
http://localhost:11434
   │
   ▼
Qwen2.5-Coder 1.5B

O modelo é executado diretamente no Raspberry Pi. O Continue se comunica com o servidor Ollama através da API local, portanto não é necessário utilizar uma API key de um serviço externo ... ou pagar por isto 😏.

Requisitos

Para seguir este guia, você precisará de:

• Um Raspberry Pi 5.
• Ubuntu instalado no Raspberry Pi.
• Uma conexão com a Internet durante a instalação.
• VS Code instalado.
• Acesso ao Raspberry Pi por SSH ou através do ambiente gráfico.
• Espaço de armazenamento suficiente para o modelo.

Os comandos abaixo assumem um sistema Ubuntu/Debian executando em ARM64.

Instalando o Ollama

O primeiro passo é instalar o Ollama. No terminal do Raspberry Pi, execute:

curl -fsSL https://ollama.com/install.sh | sh

Depois da instalação, verifique a versão:

ollama --version

Se a instalação foi realizada corretamente, o comando deverá mostrar a versão instalada do Ollama.

Verificando o serviço do Ollama

O instalador do Ollama normalmente cria um serviço systemd. Verifique seu estado com:

sudo systemctl status ollama

O resultado deverá indicar que o serviço está ativo, por exemplo:

Active: active (running)

Para garantir que o Ollama seja iniciado automaticamente sempre que o Raspberry Pi for ligado, execute:

sudo systemctl enable ollama

É possível verificar se o serviço está configurado para iniciar automaticamente:

sudo systemctl is-enabled ollama

O resultado esperado é:

enabled

Também podemos verificar se o servidor HTTP do Ollama está funcionando:

curl http://localhost:11434

Uma resposta semelhante a:

Ollama is running

indica que o servidor está disponível.

Baixando o modelo de programação

Para este exemplo, utilizaremos o Qwen2.5-Coder 1.5B.

Execute:

ollama pull qwen2.5-coder:1.5b

O modelo será baixado e armazenado localmente no Raspberry Pi.

Para verificar os modelos instalados:

ollama list

Você deverá encontrar uma entrada semelhante a:

qwen2.5-coder:1.5b

O modelo de 1.5 bilhões de parâmetros foi escolhido porque modelos maiores podem exigir uma quantidade consideravelmente maior de memória e processamento, tornando-os menos adequados para execução em um Raspberry Pi.

Testando o modelo

Antes de configurar o VS Code, é recomendável verificar se o modelo está funcionando:

ollama run qwen2.5-coder:1.5b

Você pode testar com um prompt simples, por exemplo:

Write a Python function that calculates the Fibonacci sequence.

Se o modelo responder, significa que o Ollama e o modelo estão funcionando corretamente.

Para sair do modelo, utilize:

/bye

É importante observar que ollama run não precisa ficar sendo executado permanentemente. O servidor Ollama será executado como um serviço do sistema. O Continue poderá utilizar diretamente a API do Ollama.

Garantindo que o Ollama seja iniciado automaticamente

Para garantir que o serviço esteja habilitado e iniciado:

sudo systemctl enable ollama
sudo systemctl start ollama

Verifique o estado:

sudo systemctl status ollama

Depois de reiniciar o Raspberry Pi, você pode confirmar que o serviço foi iniciado automaticamente:

sudo systemctl is-active ollama

O resultado esperado é:

active

A partir deste momento, não é necessário iniciar manualmente o Ollama sempre que o Raspberry Pi for ligado.

Instalando o Continue no VS Code

O próximo passo é instalar a extensão Continue no VS Code.

Se o VS Code estiver disponível através do comando code, execute:

code --install-extension Continue.continue

Também é possível instalar a extensão diretamente através do painel de extensões do VS Code.

Configurando o Continue

O Continue utiliza um arquivo de configuração para definir quais modelos devem ser utilizados.

Primeiro, crie o diretório de configuração:

mkdir -p ~/.continue

Depois abra o arquivo:

nano ~/.continue/config.yaml

Adicione o seguinte conteúdo:

name: Raspberry Pi Local AI
version: 1.0.0
schema: v1

models:
  - name: Qwen Coder
    provider: ollama
    model: qwen2.5-coder:1.5b
    apiBase: http://localhost:11434
    roles:
      - chat
      - edit
      - apply
      - autocomplete

O parâmetro:

provider: ollama

informa ao Continue que o modelo será fornecido pelo Ollama.

Já:

apiBase: http://localhost:11434

indica o endereço do servidor Ollama local.

Finalmente, o parâmetro:

model: qwen2.5-coder:1.5b

define qual modelo instalado pelo Ollama será utilizado.

Reiniciando o VS Code

Depois de alterar a configuração do Continue, reinicie o VS Code.

Uma alternativa é utilizar o Command Palette:

Ctrl + Shift + P

e selecionar:

Developer: Reload Window

Abrindo o Continue

No VS Code, procure pelo ícone do Continue na barra lateral esquerda.

Ao abrir o Continue, o modelo configurado deverá aparecer como:

Qwen Coder

A partir desse momento, é possível utilizar o modelo para interagir com o código diretamente dentro do VS Code.

Por exemplo, podemos perguntar:

Explain this function.

Ou:

Add error handling to this Python function.

Também é possível selecionar um trecho de código e pedir ao Continue para modificá-lo.

Testando a instalação completa

Podemos verificar cada componente da instalação.

Primeiro, confirme que o Ollama está executando:

sudo systemctl is-active ollama

O resultado esperado é:

active

Depois, verifique se o modelo está instalado:

ollama list

O modelo deverá aparecer na lista:

qwen2.5-coder:1.5b

Também podemos verificar diretamente a API:

curl http://localhost:11434

O resultado esperado é:

Ollama is running

Por fim, abra o VS Code, abra o Continue, selecione Qwen Coder e envie um prompt.

Problemas comuns

O Continue não consegue conectar ao Ollama

Primeiro, verifique o serviço:

sudo systemctl status ollama

Se ele não estiver executando:

sudo systemctl start ollama

Depois teste novamente a API:

curl http://localhost:11434

O Continue não encontra o modelo

Verifique os modelos instalados:

ollama list

O nome do modelo deve ser exatamente:

qwen2.5-coder:1.5b

E o mesmo nome deve aparecer no arquivo ~/.continue/config.yaml:

model: qwen2.5-coder:1.5b

Se o modelo não estiver instalado, execute:

ollama pull qwen2.5-coder:1.5b

O Continue não aparece no VS Code

Verifique se a extensão está instalada:

code --list-extensions | grep -i continue

O resultado esperado é:

Continue.continue

Se necessário, reinstale:

code --install-extension Continue.continue

Comandos úteis

# Verificar o Ollama
sudo systemctl status ollama

# Iniciar o Ollama
sudo systemctl start ollama

# Parar o Ollama
sudo systemctl stop ollama

# Habilitar inicialização automática
sudo systemctl enable ollama

# Verificar inicialização automática
sudo systemctl is-enabled ollama

# Listar modelos instalados
ollama list

# Baixar um modelo
ollama pull qwen2.5-coder:1.5b

# Testar um modelo
ollama run qwen2.5-coder:1.5b

# Verificar a API do Ollama
curl http://localhost:11434

Instalação completa

Para instalar tudo em um Raspberry Pi novo, a sequência principal de comandos é:

# Instalar Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Habilitar inicialização automática
sudo systemctl enable ollama
sudo systemctl start ollama

# Baixar o modelo
ollama pull qwen2.5-coder:1.5b

# Testar o Ollama
ollama run qwen2.5-coder:1.5b

# Instalar o Continue
code --install-extension Continue.continue

# Criar o diretório de configuração
mkdir -p ~/.continue

# Editar a configuração
nano ~/.continue/config.yaml

Depois, coloque no arquivo ~/.continue/config.yaml:

name: Raspberry Pi Local AI
version: 1.0.0
schema: v1

models:
  - name: Qwen Coder
    provider: ollama
    model: qwen2.5-coder:1.5b
    apiBase: http://localhost:11434
    roles:
      - chat
      - edit
      - apply
      - autocomplete

Depois de reiniciar o VS Code e abrir o Continue, o modelo Qwen Coder estará disponível.

Considerações sobre a escolha do modelo

Este guia utiliza o qwen2.5-coder:1.5b como configuração padrão para o Raspberry Pi. Durante testes, também pode ser interessante experimentar modelos maiores. Para um Raspberry Pi 5, o modelo de 1.5B oferece uma configuração muito mais realista para executar um assistente de programação local.

Resultado final

Ao final da configuração, o Raspberry Pi estará executando o Ollama automaticamente como um serviço do sistema. O Continue, dentro do VS Code, utilizará a API local do Ollama para executar o Qwen2.5-Coder.

Assim, o Raspberry Pi pode funcionar como um assistente de programação local, sem depender de um serviço de IA externo para as tarefas suportadas pelo modelo instalado.