E2E tests
A suíte Playwright do seu repositório roda isolada e volta classificada.
O Test Automation roda a suíte Playwright que existe no seu repositório, como ela está: clone raso do ref pedido, instalação das dependências e npx playwright test, um shard por execução do executor isolado, nos navegadores escolhidos (Chromium, Firefox e WebKit). O alvo é sempre um ambiente cuja posse você comprovou, e a posse é conferida de novo antes de cada shard.
Cada falha volta classificada por regra, com o motivo ao lado: bug provável, instável, infraestrutura ou teste quebrado. O resultado da execução serve de portão no CI, pela CLI, pela API ou como um step do pipeline. Para quem não tem suíte, o produto também roda cenários declarativos: uma lista fechada de ações, sem código.
Como funciona
- Shards paralelos e repetições por execução. A execução passa só se nenhum teste falhou; teste instável conta como passou, como no Playwright.
- Triagem por regras fixas, em ordem: passou numa repetição (instável), DNS, rede ou navegador que caiu (infraestrutura), seletor que não achou o elemento ou erro no código do teste (teste quebrado), histórico que alterna nas últimas 10 execuções (instável) e o restante (bug provável).
- Artefatos das falhas conforme o seu playwright.config: captura, trace e vídeo, além de um JUnit por shard. Trace e vídeo só são baixados por quem administra.
- Portão no CI: aiuby tests run --wait sai com 0 quando passou e 6 quando algum teste falhou; o step browser_tests do pipeline roda a suíte do mesmo repositório e commit e falha o job se houver teste falho.
- Cenários declarativos: goto, click, fill, press, select, waitFor, conferências de elemento visível, texto, URL e título, e screenshot, com seletores por papel, texto, test-id ou CSS limitado, em tela de computador e de celular. A navegação fica presa à origem verificada.
- Resumo das falhas por IA, opcional e só para quem administra: vê apenas os testes que falharam, com a mensagem redigida, e devolve uma sugestão que cita os testes. Nada é reclassificado nem executado pela IA.
export AIUBY_TOKEN=... # chave com o escopo "Rodar suítes Playwright no CI" (tests:run)
aiuby tests run --suite acme/loja-e2e --target https://staging.acme.com.br \
--ref "$GITHUB_SHA" --browser chromium --browser firefox --shards 2 --waitO que não faz
- Só testa origem com posse comprovada pelo arquivo /.well-known/aiuby-test-automation.txt, e o ambiente precisa estar acessível pela internet.
- Só npm: pnpm e yarn não são aceitos. Os projetos do playwright.config precisam se chamar chromium, firefox ou webkit.
- Tetos por execução: 4 shards por padrão (máximo de 8), 600 s por shard por padrão, até 20 artefatos e 3,5 MB por shard; o que não couber fica listado como descartado. Artefatos ficam 14 dias por padrão.
- A triagem é regra, não veredito: um seletor que não achou o elemento pode ser a interface que mudou de propósito ou um elemento que sumiu por bug.