Pular para o conteúdo

Saber o que cai antes de cair

Resilience Testing · Análise de risco, caos, carga e recuperação

Começa por uma leitura que não altera nada: réplicas, limites, probes e pontos únicos de falha de cada serviço, com nota e evidência, e o mesmo olhar sobre cada PR de infraestrutura, no CI. Depois vêm o caos e a carga gerados pelo agente no seu cluster, com sondas, reversão e aprovação, e os exercícios de recuperação com RTO e RPO medidos.

O problema

O que este produto resolve

Plano de recuperação que nunca foi testado é suposição.

O risco de disponibilidade costuma entrar por um PR pequeno: uma réplica a menos, uma probe removida, um banco sem backup.

Ferramentas de caos assustam com razão: um experimento sem limite, sem aborto ou sem reversão vira o próprio incidente.

atualizado em

Quem usa e para quê

Perfis típicos, sem nomes de clientes. Cada uso leva o status da funcionalidade que o atende.

  • Time de plataforma de um banco digitalBarrar no PR o serviço com réplica única, sem probe ou com banco sem backup.Resilience risk scan
  • Time de SREDar a cada serviço uma nota de risco com a evidência de cada ponto.Resilience risk scan
  • Liderança técnicaProvar com exercício medido que o serviço volta dentro do RTO e do RPO combinados.Disaster recovery drills

Funcionalidades

O que o produto faz

Contratação pela conta, em autoatendimento.

  • Resilience risk scan

    Leitura de réplicas, limites, probes e pontos únicos de falha, e check de PR: os riscos novos que o PR introduz em Dockerfile, compose, Kubernetes e Terraform simples, com nota, supressão com prazo e portão no CI pela CLI. Leitura textual dos arquivos: Helm, Kustomize e módulos Terraform não são resolvidos.

  • Chaos experiments

    Caos no seu cluster Kubernetes pelo agente pull da entrega: apagar pods, escalar réplicas, isolar a rede do Deployment e apertar CPU ou memória, com sondas que abortam e dão o veredito, reversão garantida, aprovação de outra pessoa em produção, ChaosHub, agendamento, GameDays e relatório de resiliência. Só em Deployments da entrega e com as falhas que o cluster permite.

  • Load testing

    Carga gerada pelo agente no seu cluster contra um alvo com posse verificada, com fases, até cinco cenários ao mesmo tempo, veredito por p95 e taxa de erro, série por segundo e comparação com a execução anterior; dispara pela tela, pela API v1, por um passo do pipeline ou por uma Action do GitHub. Só GET e HEAD, com tetos de vazão e duração no agente.

  • Disaster recovery drills

    Plano de recuperação com RTO e RPO sobre um alvo com posse verificada e exercício medido pela sonda de saúde: a restauração só conta depois da queda e de três respostas saudáveis seguidas, e a idade do dado é conferida contra o RPO. O desastre e a restauração são feitos pelo seu time.

  • Resilience insights

    Experimento de caos proposto por IA a partir dos riscos do serviço e dos dependentes, aprovado por quem administra antes de virar experimento, análise do resultado contra a hipótese e ciclo de vida do risco (aberto, aceito com prazo, resolvido, reaberto) com dono avisado quando o risco reabre.

Como funciona

Do começo ao registro

  1. Leitura

    O que a plataforma registra do serviço é lido, sem alterar nada: Compute, dependências, SLOs, incidentes e achados.

  2. Nota

    Cada risco com evidência, criticidade e alcance de impacto; regra sem dado aparece na cobertura.

  3. Check de PR

    Os riscos novos que o PR introduz em Dockerfile, compose, Kubernetes e Terraform simples, com portão no CI.

  4. Supressão

    Risco aceito ganha justificativa e prazo; sai da nota e continua listado.

  5. Experimento

    O agente no seu cluster aplica a falha permitida, as sondas vigiam e a reversão é garantida; em produção, outra pessoa aprova.

  6. Carga

    Cenários com fases e metas de p95 e erro, disparados pela tela, pela API v1 ou pelo pipeline.

  7. Prova

    O exercício de recuperação mede o tempo até a volta e a idade do dado contra o RTO e o RPO.

Funcionalidades

Funcionalidade por funcionalidade

O que cada uma faz, como funciona, um exemplo tirado da documentação e o que ela não faz. O selo de cada bloco vem do catálogo.

Resilience risk scan

O risco de disponibilidade aparece no PR, com nota e evidência

A leitura de risco avalia cada serviço com o que a plataforma registra dele: aplicações do Compute, grafo de dependências e donos, SLOs, incidentes dos últimos 30 dias e achados de configuração. Cada regra termina em um de quatro estados (falhou, passou, sem dado, não se aplica), e o resultado é uma nota, a cobertura e o alcance de impacto pelos serviços que dependem dele.

O check de PR faz a mesma pergunta antes do merge: lê Dockerfile, docker compose, manifestos Kubernetes e Terraform simples do PR e aponta só os riscos novos que ele introduz. Abaixo da nota mínima do workspace, o check bloqueia o pipeline.

Como funciona

  • Riscos lidos no PR: uma réplica, falta de probes, falta de limite de memória, imagem sem versão fixa, banco sem Multi-AZ, sem backup ou sem proteção contra exclusão.
  • Nota = max(0, 100 − soma dos pesos), com crítica 25, alta 15, média 8 e baixa 3; na leitura por serviço, o peso cresce com a criticidade e com os dependentes.
  • Só os riscos novos contam: o que estava na base (mesma regra, mesmo recurso) é listado à parte e não desconta.
  • Supressão por regra e caminho, com justificativa e prazo de até 90 dias; o risco suprimido sai da nota e continua listado.
  • Nota mínima do workspace com padrão 60; zero nunca bloqueia, e só quem administra muda.
  • A resposta traz regra, arquivo e linha, recurso e recomendação de cada risco novo.
No pipeline, pela CLI Código de saída 0 quando liberado e 6 quando bloqueado pela nota mínima.
export AIUBY_TOKEN=...   # chave com resilience:check
aiuby resilience check --repo acme/checkout --ref "$GITHUB_HEAD_REF" --base main
aiuby resilience check Dockerfile k8s/app.yaml --base origin/main   # arquivos locais; base via git show

O que não faz

  • A leitura é textual: Helm, Kustomize e módulos Terraform não são resolvidos.
  • Tipo de arquivo não reconhecido vira nota na resposta, nunca "aprovado".
  • Regra sem dado não desconta nem conta como aprovada: nota alta com cobertura baixa quer dizer que pouco foi verificado.
  • Não chama a sua nuvem, não injeta falha e não gera carga; o check aceita até 50 arquivos por chamada.

Chaos experiments

Derrubar pods no seu cluster, com reversão garantida e sonda vigiando

Os experimentos de caos rodam no seu cluster Kubernetes pelo mesmo agente pull da entrega, sem canal novo e sem binário de terceiros. A plataforma manda ao agente só a falha da etapa atual de uma execução aprovada, assinada e presa ao namespace e ao digest; o agente só aplica as falhas que a lista local do cluster permite, com um Role próprio, e só em Deployments que a entrega marcou como seus.

As falhas são apagar pods, escalar réplicas (inclusive a zero), isolar a rede do Deployment por NetworkPolicy e apertar o limite de CPU ou de memória. O valor original fica anotado no recurso, e a reversão acontece no ciclo seguinte do agente quando a etapa termina, quando alguém aborta, quando o prazo vence ou quando o agente perde contato com a plataforma.

Como funciona

  • Sondas de Deployment pronto e de HTTP no namespace acompanham a execução, abortam quando falham e dão o veredito e a nota do experimento.
  • Produção só roda com aprovação de outra pessoa que administra o workspace, presa ao digest e válida por 24 horas; a política de cada ambiente pode recusar.
  • Congelamento de implantação recusa e aborta no meio; rollout em andamento recusa; um botão para tudo de uma vez.
  • ChaosHub com experimentos prontos (metade dos pods, serviço a zero, isolamento de rede, CPU e memória apertadas) e modelos de ação do workspace.
  • Agendamento a cada N horas e GameDays que disparam vários experimentos e abrem um incidente de exercício, fora do DORA e sem chamar o plantão.
  • Relatório de resiliência com execuções, aprovação pelas sondas e a nota do workspace, média da última nota de cada experimento.

Exemplo de uso

O time de SRE quer saber se o checkout volta sozinho quando perde metade dos pods. Ele importa o experimento pronto do ChaosHub, escolhe o Deployment e põe uma sonda HTTP no caminho de saúde. Em homologação, quem administra dispara direto; para produção, outra pessoa aprova a mesma versão do experimento. O agente apaga os pods, a sonda falha por tempo demais, o experimento é abortado, o agente devolve o estado anotado e o relatório registra o veredito e a nota.

O que não faz

  • Só atua em Deployments com o rótulo de posse da entrega, no namespace do ambiente; não mexe em nós, na rede da nuvem nem injeta latência.
  • Sem a lista local de falhas e o Role do caos aplicados no cluster, o agente não executa nada.
  • Cada etapa dura de 30 a 900 segundos, nunca acima do teto local do agente (padrão de 600); o experimento soma até 30 minutos e 5 etapas.
  • Agendamento em produção continua esperando a aprovação de outra pessoa.

Load testing

Carga gerada no seu cluster, com veredito por p95 e erro

O teste de carga sai do agente pull que você roda no seu cluster: a plataforma envia uma ação assinada com os cenários, e o agente gera as requisições contra um alvo cuja posse a organização provou, respeitando os tetos configurados localmente. Cada cenário tem método, caminho, vazão, duração e metas de p95 e de taxa de erro, e pode ter fases de aquecimento, platô, pico e descida.

A execução pode compor até cinco cenários ao mesmo tempo. No fim, cada cenário passa se ficou dentro do p95, da taxa de erro e entregou pelo menos 90% das requisições planejadas; a execução passa se todos passarem. A série por segundo, o resumo por fase e a comparação com a execução anterior ficam na tela.

Como funciona

  • A mesma execução sai pela tela e pela API v1, com escopo próprio de chave, para virar etapa do pipeline.
  • Um passo de carga no pipeline e uma Action do GitHub (aiuby-load-test) disparam os cenários e usam o veredito como portão do job.
  • Comparação com a execução anterior por cenário: diferença de p95, de taxa de erro e de vazão.
  • Tetos no agente, que a plataforma não sobe: por padrão 20 requisições por segundo e 60 segundos por cenário, configuráveis até 50 e 300.
  • Execução composta com vazão somada limitada a 50 requisições por segundo.

Exemplo de uso

Antes de liberar uma versão do catálogo de produtos, o pipeline chama a Action com dois cenários: a listagem com fase de pico e a busca em platô. O agente no cluster gera a carga contra a homologação, a busca passa do p95 combinado, o job falha com o veredito e a tela mostra a fase em que a latência subiu e a diferença para a execução da semana anterior.

O que não faz

  • Gera só requisições GET e HEAD, sem corpo nem script livre.
  • Só mira alvo com posse verificada; endereço de terceiros é recusado.
  • Não é ferramenta de teste de estresse em grande volume: os tetos ficam no agente do seu lado.

Disaster recovery drills

RTO e RPO medidos num exercício, não declarados numa planilha

O plano de recuperação liga um alvo com posse verificada a um caminho de saúde, ao status esperado, ao RTO e, se quiser, ao RPO, com o procedimento em texto. No exercício, o relógio começa quando alguém inicia; a plataforma sonda a saúde a cada 15 segundos e só dá a restauração como verificada depois de ver a queda e três respostas saudáveis seguidas.

O tempo até a recuperação é comparado ao RTO. Quando a resposta de saúde traz um campo de data, a idade do dado restaurado é comparada ao RPO. Cada sondagem fica como evidência do exercício, e o resultado entra na auditoria.

Como funciona

  • Exercício aprovado só se recuperou dentro do RTO e, com RPO definido, com dado novo o bastante.
  • Sem ver a queda, o exercício não conta como recuperação: três respostas boas desde o início não provam nada.
  • Passado o RTO mais uma hora de folga sem recuperação, o exercício reprova sozinho.
  • Um exercício por plano de cada vez, com aborto a qualquer momento.

Exemplo de uso

O time de banco de dados precisa mostrar que restaura o serviço de pedidos em até 30 minutos com no máximo 15 minutos de dado perdido. Ele cadastra o plano com o caminho de saúde que devolve a data do último pedido, inicia o exercício e executa o procedimento de restauração. A plataforma registra a queda, as três respostas saudáveis e a idade do dado, e o exercício fecha aprovado com o tempo medido.

O que não faz

  • Não derruba o serviço nem executa a restauração: quem faz o desastre e a volta é o seu time, pelo procedimento.
  • Mede só pelo caminho de saúde HTTP do alvo; o RPO depende de a resposta trazer o campo de data.

Resilience insights

Do risco encontrado ao experimento proposto e ao risco com dono

A partir da última avaliação do serviço, com as regras que falharam e os serviços que dependem dele, a IA propõe um experimento de caos com hipótese e plano. A sugestão fica pendente até alguém que administra o workspace aprovar, escolhendo ambiente e Deployment; aí vira um experimento comum, que também passa pela aprovação de execução. Depois do experimento, o veredito das sondas decide se a hipótese se sustentou, e a IA só escreve o resumo.

Cada risco da avaliação (serviço e regra) tem ciclo de vida: aberto, aceito com motivo e prazo, resolvido ou reaberto. Resolvido que volta a falhar numa avaliação posterior, ou aceite vencido, volta como reaberto, e o dono do risco recebe o aviso.

Como funciona

  • O plano proposto lista os serviços dependentes para observar durante o experimento.
  • Sem IA disponível, vale um mapa fixo de regra para falha; nada roda sozinho.
  • Reabertura conferida a cada avaliação nova do serviço, com um aviso por avaliação.
  • O dono do risco é uma pessoa da organização, escolhida por quem administra.

Exemplo de uso

A avaliação do serviço de pagamentos aponta réplica única e três serviços dependentes. A IA propõe escalar a zero com a hipótese de que o fallback mantém o checkout de pé, citando os dependentes. A líder do time aprova a sugestão para homologação, o experimento roda, a sonda segura o veredito e o resumo explica o resultado. O risco é marcado como aceito por 30 dias, com a líder como dona; ao vencer com a regra falhando, ele reabre e ela é avisada.

O que não faz

  • A IA não aprova, não escolhe o alvo e não executa experimento.
  • O veredito vem das sondas, não do texto da IA.
  • A sugestão parte só das regras que falharam na última avaliação do serviço.

IA e limites

O que a IA faz aqui, e o que nunca faz sozinha

Faz

  • Propõe um experimento de caos com hipótese a partir das regras que falharam na avaliação do serviço e dos serviços que dependem dele.
  • Escreve o resumo do resultado do experimento, contra a hipótese proposta.

Não faz

  • Não aprova nem executa experimento: a sugestão espera quem administra o workspace, e a execução passa pela aprovação do caos.
  • Não decide o veredito: quem decide são as sondas do experimento.
  • Não escolhe ambiente nem Deployment alvo.

Governança e segurança

Regras que o código impõe

  • A leitura de risco não escreve nada, não chama a nuvem do cliente e não injeta falha.
  • Regra sem dado nunca conta como aprovada: ela aparece na cobertura.
  • A nota mínima que bloqueia o PR é do workspace, e só quem administra muda.
  • Supressão exige regra, caminho, justificativa e prazo de até 90 dias; é revogável e fica na auditoria.
  • O check de PR usa uma chave com escopo próprio, separado da leitura da engenharia.
  • Caos e carga só saem pelo agente que você instala, com a lista de falhas, o Role e os tetos definidos no seu cluster; a plataforma não sobe esses limites.
  • Cada ação enviada ao agente é assinada e presa ao namespace e ao digest; caos só atua em Deployments com o rótulo de posse da entrega.
  • Caos em produção exige aprovação de outra pessoa que administra, válida por 24 horas; congelamento de implantação recusa e aborta.
  • Sugestão de experimento por IA só vira experimento depois da aprovação de quem administra o workspace.

Integrações

Com o que se conecta

Só integrações que existem no código. Cada uma leva o status da funcionalidade que a usa.

  • GitHubLeitura dos arquivos do PR de um repositório do catálogo de engenharia.Resilience risk scan
  • Dockerfile e docker composeImagem sem versão fixa, falta de healthcheck, de restart e de limite de memória.Resilience risk scan
  • KubernetesManifestos com uma réplica, sem probes, sem limite de memória ou com imagem latest.Resilience risk scan
  • TerraformArquivos simples: banco sem Multi-AZ, sem backup ou sem proteção contra exclusão.Resilience risk scan
  • CLI aiuby no CIO comando de check devolve um código de saída que o pipeline usa como portão.API, CLI & keys
  • Agente pull da entrega (Kubernetes)Aplica e reverte as falhas de caos e gera a carga dentro do seu cluster.Chaos experiments
  • GitHub ActionsAction aiuby-load-test: dispara os cenários de carga e usa o veredito como portão do job.Load testing

Perguntas frequentes

Respostas diretas

O que já dá para usar hoje?

Disponível: Resilience risk scan, Chaos experiments, Load testing, Disaster recovery drills, Resilience insights. Contratação pela conta, em autoatendimento.

Vai rodar caos em produção?

Disponível: Chaos experiments, Resilience risk scan. Só se você quiser e outra pessoa aprovar. Em produção, cada experimento precisa da aprovação de outra pessoa que administra o workspace, presa àquela versão do experimento e válida por 24 horas, e a política do ambiente pode recusar. O agente só aplica as falhas que o seu cluster permite e reverte quando a etapa termina, quando alguém aborta ou quando perde contato com a plataforma. A leitura de risco e o check de PR não executam nada: só leem.

Que falhas o caos injeta?

Disponível: Chaos experiments. Apagar pods, escalar réplicas (inclusive a zero), isolar a rede do Deployment por NetworkPolicy e apertar o limite de CPU ou de memória, sempre em Deployments marcados pela entrega. Não derruba nós, não injeta latência e não mexe na rede ou nos serviços da nuvem.

Como funciona o teste de carga?

Disponível: Load testing. O agente no seu cluster gera requisições GET e HEAD contra um alvo com posse verificada, dentro dos tetos que você define nele. Cada cenário tem metas de p95 e de taxa de erro, e a execução passa ou reprova por elas. Dá para disparar pela tela, pela API v1, por um passo do pipeline ou pela Action do GitHub, e usar o veredito como portão.

Como a nota é calculada?

Disponível: Resilience risk scan. Por fórmula publicada: nota = max(0, arredonda(100 − Σ peso(severidade) × exposição)) sobre as regras com risco; pesos: crítica 25, alta 15, média 8, baixa 3; exposição = (serviço crítico ? 1,5 : 1) × (1 + 0,05 × min(dependentes transitivos, 10)); cobertura = avaliadas ÷ (avaliadas + sem dado); regra sem dado não desconta nem conta como aprovada; abaixo de 60: risco. São 16 regras na leitura por serviço; o check de PR tem um conjunto próprio de regras para os arquivos de infraestrutura.

Nota alta quer dizer serviço resiliente?

Disponível: Resilience risk scan. Não necessariamente. Regra sem dado não desconta nem aprova; ela aparece na cobertura. Nota alta com cobertura baixa quer dizer que pouco foi verificado.

O check de PR bloqueia o merge?

Disponível: Resilience risk scan. Ele bloqueia o pipeline quando a nota do PR fica abaixo da nota mínima do workspace, que tem padrão 60 e nunca bloqueia quando é zero. Só os riscos novos contam; o que estava na base é listado à parte. Pela CLI, o bloqueio sai como código 6, e é o seu CI que decide o que fazer com ele.

Quanto custa?

Disponível: Resilience risk scan, Chaos experiments, Load testing, Disaster recovery drills, Resilience insights. Não há preço próprio publicado para este produto. As funcionalidades dependem do contrato Cortex, o mesmo do Engineering Intelligence, e são liberadas por organização pela equipe AIUBY.

Funciona junto com

  • Security TestingOs achados de configuração dos scanners do serviço contam na nota de risco.
  • Software DeliveryAs aplicações do Compute são lidas para conferir réplicas, probes e limites, e o check roda no pipeline do PR.
  • Developer PortalO grafo de serviços, donos e dependências dá a criticidade e o alcance de impacto de cada risco.

Resilience Testing

Contratação pela conta, em autoatendimento.