Como servir um modelo de linguagem com vLLM no AIUBY Compute
vLLM + Phi-3 mini + NVIDIA L4
O template vllm-openai sobe um servidor vLLM com o Phi-3 mini da Microsoft e responde no formato da API da OpenAI. Não há imagem para construir: o arquivo usa a imagem oficial do vLLM e escolhe o modelo pelos argumentos. Este tutorial vai do template ao endpoint respondendo, pela linha de comando.
#Quem consegue seguir até o fim
Qualquer organização com o AIUBY Compute consegue copiar o template, validar, cadastrar a aplicação e ler o plano. Implantar com GPU é pago, por minuto de instância ligada: exige saldo na conta pré-paga que cubra 20 minutos da placa, além do mínimo por aplicação, e um teto mensal de Compute no workspace, como descrito em GPU à venda no AIUBY Compute, por minuto. Sem isso, o plano responde com os motivos e o pedido de implantação é recusado. Organizações habilitadas pela equipe AIUBY para a prévia do runtime implantam sem cobrança, com prazo.
O que você precisa ter:
- Node.js 20 ou mais novo e a CLI instalada (
npm install -g @aiuby-ia/cli). - O AIUBY Compute adicionado em Produtos.
- Uma chave de API com os escopos "Ler o Compute" e "Gerenciar aplicações do Compute". Para implantar, também "Implantar no Compute".
#O aiuby.toml do template
É este o arquivo que aiuby init copia, sem mudança:
name = "Inferência vLLM"
slug = "inferencia-vllm"
[config]
runtime = "container"
image = "docker.io/vllm/vllm-openai:latest"
args = ["--model", "microsoft/Phi-3-mini-4k-instruct", "--host", "0.0.0.0", "--port", "8080", "--max-model-len", "4096"]
port = 8080
[config.env]
HF_HOME = "/tmp/hf"
[config.hardware]
provider = "gcp"
cpu = 4
memoryMb = 16384
[config.hardware.gpu]
sku = "gcp-cloudrun-l4"
count = 1
[config.scaling]
minReplicas = 0
maxReplicas = 1Três pontos merecem atenção:
argssubstitui o comando padrão da imagem. É por ele que o modelo é escolhido, e a porta do servidor tem de ser a mesma deport.- O bloco de hardware é a forma exata da placa: uma NVIDIA L4 (24 GB de memória de vídeo), 4 vCPU, 16 GB e uma réplica. No Cloud Run a placa só sobe com a máquina mínima dela. Pedir 2 vCPU, 8 GB ou duas réplicas não economiza: bloqueia o plano.
HF_HOMEsó diz onde o modelo baixado fica. Variável de ambiente aqui é ajuste, não lugar de senha, chave ou token: ela fica visível a quem vê a aplicação.
#Passo a passo
Entre e copie o template
A CLI pede a chave no terminal, sem eco. Depois, copie o template para um diretório novo.
terminal aiuby login aiuby init vllm-openai meu-modelo cd meu-modeloValide o arquivo
A validação é local e não usa a rede. Se quiser, troque antes o nome e o identificador.
terminal aiuby config validateCadastre a aplicação
Cadastrar não implanta nem cria recurso de nuvem. Guarda a configuração como revisão r1.
terminal aiuby apps createPeça o plano
O plano é só leitura. Diz se a aplicação é implantável e, se não for, lista os motivos e sai com o código 4. Quem não está na prévia para aqui.
terminal aiuby deploy --dry-run inferencia-vllmImplante
A CLI pede a implantação e acompanha por até 3 minutos. Mostra a região, o endereço público e o prazo.
terminal aiuby deploy inferencia-vllmAcompanhe pelos logs
aiuby logsmostra as últimas linhas da implantação mais recente (100 por padrão, até 200), inclusive de uma que falhou.terminal aiuby apps status inferencia-vllm aiuby logs inferencia-vllmPare quando terminar
Parar apaga o serviço, e o endereço deixa de responder.
terminal aiuby stop inferencia-vllm
#A primeira subida
O serviço com GPU fica pronto rápido: nos nossos testes de 12 de novembro de 2026, uma L4 na Bélgica ficou pronta em cerca de 20 segundos. O que demora é o modelo. Na primeira subida o vLLM baixa o Phi-3 mini e carrega na placa, e isso leva perto de 10 minutos.
| O quê | Quanto |
|---|---|
| Primeira subida do template, com o download do modelo | Perto de 10 minutos |
| Tempo que a plataforma dá para a porta abrir, com GPU | Até 15 minutos |
| Tempo que a CLI acompanha a implantação | Até 3 minutos |
| Prazo da aplicação com GPU na prévia | 1 hora por padrão, no máximo 2 |
Na prática, a CLI devolve o controle com a aplicação ainda em "implantando". Não é falha: siga com aiuby apps status e aiuby logs até aparecer "em execução". Se a porta não abrir em 15 minutos, a subida falha: os logs continuam disponíveis para ver o que houve.
Atenção
#Chamar o endpoint
O vLLM serve a rota de chat da API da OpenAI em /v1/chat/completions. Troque ENDERECO pelo endereço que aiuby deploy mostrou. O nome do modelo é o mesmo passado em --model. A rota e o formato do corpo são os do vLLM: este exemplo segue a documentação dele.
curl -sS "ENDERECO/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
"model": "microsoft/Phi-3-mini-4k-instruct",
"messages": [{ "role": "user", "content": "Explique em uma frase o que é um contêiner." }],
"max_tokens": 120
}'O template limita o contexto a 4.096 tokens (--max-model-len): pergunta e resposta precisam caber nisso. Para outro modelo, troque --model por um que caiba nos 24 GB da placa e cuja licença permita o seu uso, e grave com aiuby apps update, que cria uma revisão nova.
#Limites
Limite
- Não há GPU no Brasil. A L4 fica na Bélgica: conte com a latência e com dados processados fora do país.
- O endereço é público por padrão: quem tiver o endereço chama o modelo. Com dado sensível, exija token de acesso na tela da aplicação antes de implantar.
- Uma réplica, que escala a zero quando ociosa. A requisição seguinte paga a carga do modelo de novo.
- Poucas aplicações com GPU sobem ao mesmo tempo na plataforma inteira (no máximo 3). O plano avisa quando não há vaga.
- A imagem usa a etiqueta
latest: a versão do vLLM muda quando o projeto publica outra. Para fixar, troque a etiqueta. - Não medimos vazão nem tempo de resposta do Phi-3 mini neste template. Quando medirmos, publicamos.
Os limites completos estão em Compute, na documentação. O teste de GPU que deu origem à prévia está em GPU sem servidor no Cloud Run.



