Pular para o conteúdo

Como servir um modelo de linguagem com vLLM no AIUBY Compute

Equipe AIUBYRevisado em 16 nov 2026

vLLM + Phi-3 mini + NVIDIA L4

O template vllm-openai sobe um servidor vLLM com o Phi-3 mini da Microsoft e responde no formato da API da OpenAI. Não há imagem para construir: o arquivo usa a imagem oficial do vLLM e escolhe o modelo pelos argumentos. Este tutorial vai do template ao endpoint respondendo, pela linha de comando.

#Quem consegue seguir até o fim

Qualquer organização com o AIUBY Compute consegue copiar o template, validar, cadastrar a aplicação e ler o plano. Implantar com GPU é pago, por minuto de instância ligada: exige saldo na conta pré-paga que cubra 20 minutos da placa, além do mínimo por aplicação, e um teto mensal de Compute no workspace, como descrito em GPU à venda no AIUBY Compute, por minuto. Sem isso, o plano responde com os motivos e o pedido de implantação é recusado. Organizações habilitadas pela equipe AIUBY para a prévia do runtime implantam sem cobrança, com prazo.

O que você precisa ter:

  • Node.js 20 ou mais novo e a CLI instalada (npm install -g @aiuby-ia/cli).
  • O AIUBY Compute adicionado em Produtos.
  • Uma chave de API com os escopos "Ler o Compute" e "Gerenciar aplicações do Compute". Para implantar, também "Implantar no Compute".

#O aiuby.toml do template

É este o arquivo que aiuby init copia, sem mudança:

aiuby.toml
name = "Inferência vLLM"
slug = "inferencia-vllm"

[config]
runtime = "container"
image = "docker.io/vllm/vllm-openai:latest"
args = ["--model", "microsoft/Phi-3-mini-4k-instruct", "--host", "0.0.0.0", "--port", "8080", "--max-model-len", "4096"]
port = 8080

[config.env]
HF_HOME = "/tmp/hf"

[config.hardware]
provider = "gcp"
cpu = 4
memoryMb = 16384

[config.hardware.gpu]
sku = "gcp-cloudrun-l4"
count = 1

[config.scaling]
minReplicas = 0
maxReplicas = 1

Três pontos merecem atenção:

  • args substitui o comando padrão da imagem. É por ele que o modelo é escolhido, e a porta do servidor tem de ser a mesma de port.
  • O bloco de hardware é a forma exata da placa: uma NVIDIA L4 (24 GB de memória de vídeo), 4 vCPU, 16 GB e uma réplica. No Cloud Run a placa só sobe com a máquina mínima dela. Pedir 2 vCPU, 8 GB ou duas réplicas não economiza: bloqueia o plano.
  • HF_HOME só diz onde o modelo baixado fica. Variável de ambiente aqui é ajuste, não lugar de senha, chave ou token: ela fica visível a quem vê a aplicação.

#Passo a passo

  1. Entre e copie o template

    A CLI pede a chave no terminal, sem eco. Depois, copie o template para um diretório novo.

    terminal
    aiuby login
    aiuby init vllm-openai meu-modelo
    cd meu-modelo
  2. Valide o arquivo

    A validação é local e não usa a rede. Se quiser, troque antes o nome e o identificador.

    terminal
    aiuby config validate
  3. Cadastre a aplicação

    Cadastrar não implanta nem cria recurso de nuvem. Guarda a configuração como revisão r1.

    terminal
    aiuby apps create
  4. Peça o plano

    O plano é só leitura. Diz se a aplicação é implantável e, se não for, lista os motivos e sai com o código 4. Quem não está na prévia para aqui.

    terminal
    aiuby deploy --dry-run inferencia-vllm
  5. Implante

    A CLI pede a implantação e acompanha por até 3 minutos. Mostra a região, o endereço público e o prazo.

    terminal
    aiuby deploy inferencia-vllm
  6. Acompanhe pelos logs

    aiuby logs mostra as últimas linhas da implantação mais recente (100 por padrão, até 200), inclusive de uma que falhou.

    terminal
    aiuby apps status inferencia-vllm
    aiuby logs inferencia-vllm
  7. Pare quando terminar

    Parar apaga o serviço, e o endereço deixa de responder.

    terminal
    aiuby stop inferencia-vllm

#A primeira subida

O serviço com GPU fica pronto rápido: nos nossos testes de 12 de novembro de 2026, uma L4 na Bélgica ficou pronta em cerca de 20 segundos. O que demora é o modelo. Na primeira subida o vLLM baixa o Phi-3 mini e carrega na placa, e isso leva perto de 10 minutos.

O quêQuanto
Primeira subida do template, com o download do modeloPerto de 10 minutos
Tempo que a plataforma dá para a porta abrir, com GPUAté 15 minutos
Tempo que a CLI acompanha a implantaçãoAté 3 minutos
Prazo da aplicação com GPU na prévia1 hora por padrão, no máximo 2

Na prática, a CLI devolve o controle com a aplicação ainda em "implantando". Não é falha: siga com aiuby apps status e aiuby logs até aparecer "em execução". Se a porta não abrir em 15 minutos, a subida falha: os logs continuam disponíveis para ver o que houve.

Atenção

O prazo da prévia corre desde a implantação, e reimplantar não renova. Dez minutos de subida saem da primeira hora.

#Chamar o endpoint

O vLLM serve a rota de chat da API da OpenAI em /v1/chat/completions. Troque ENDERECO pelo endereço que aiuby deploy mostrou. O nome do modelo é o mesmo passado em --model. A rota e o formato do corpo são os do vLLM: este exemplo segue a documentação dele.

terminal
curl -sS "ENDERECO/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "microsoft/Phi-3-mini-4k-instruct",
    "messages": [{ "role": "user", "content": "Explique em uma frase o que é um contêiner." }],
    "max_tokens": 120
  }'

O template limita o contexto a 4.096 tokens (--max-model-len): pergunta e resposta precisam caber nisso. Para outro modelo, troque --model por um que caiba nos 24 GB da placa e cuja licença permita o seu uso, e grave com aiuby apps update, que cria uma revisão nova.

#Limites

Limite

Fora da prévia, cada minuto iniciado de instância ligada é cobrado, e a subida do modelo conta nesse tempo. O preço por hora de cada placa está em Preços e, no valor do dia, na tela de cobrança do Compute.
  • Não há GPU no Brasil. A L4 fica na Bélgica: conte com a latência e com dados processados fora do país.
  • O endereço é público por padrão: quem tiver o endereço chama o modelo. Com dado sensível, exija token de acesso na tela da aplicação antes de implantar.
  • Uma réplica, que escala a zero quando ociosa. A requisição seguinte paga a carga do modelo de novo.
  • Poucas aplicações com GPU sobem ao mesmo tempo na plataforma inteira (no máximo 3). O plano avisa quando não há vaga.
  • A imagem usa a etiqueta latest: a versão do vLLM muda quando o projeto publica outra. Para fixar, troque a etiqueta.
  • Não medimos vazão nem tempo de resposta do Phi-3 mini neste template. Quando medirmos, publicamos.

Os limites completos estão em Compute, na documentação. O teste de GPU que deu origem à prévia está em GPU sem servidor no Cloud Run.