MEDIÇÃO
Como se sabe se funcionou
Sucesso não é ferramenta instalada nem agente criado. É capacidade de engenharia que mudou de patamar — e isso tem indicador. Abaixo estão os que passam a ser acompanhados, com a forma de cálculo de cada um.
atualizado em
Antes de qualquer número
Toda métrica precisa de baseline antes de significar alguma coisa. O baseline é levantado no diagnóstico, com a janela e a fórmula registradas junto — sem isso, qualquer variação posterior é interpretação. Onde não houver dado histórico confiável, a métrica entra declarada como não medida, e não estimada.
Por isso esta página não publica ganho médio, percentual de melhoria nem comparação com mercado. A AIUBY ainda não tem amostra suficiente para publicar agregado com metodologia, e número sem metodologia é o tipo de prova que não sobrevive a uma pergunta. Quando houver amostra, os critérios entram junto — como já acontece na metodologia do diagnóstico.
Velocidade de entrega
As quatro métricas DORA, medidas do jeito padrão para que sejam comparáveis fora da empresa.
- Lead time de desenvolvimento
- do primeiro commit ao deploy em produção
- Deployment frequency
- deploys em produção por semana, por serviço
- Change failure rate
- percentual de deploys que exigem correção ou rollback
- Tempo médio de recuperação
- do início do incidente à normalização do serviço
Qualidade e revisão
O que indica se a velocidade veio acompanhada de controle — ou no lugar dele.
- Tempo médio de revisão de pull request
- da abertura ao primeiro parecer humano
- Cobertura de testes
- linhas e branches, por repositório em escopo
- Incidência de regressões
- bugs reabertos ou reintroduzidos por trimestre
- Consistência arquitetural
- violações de regra detectadas por ciclo de revisão
- Redução de retrabalho
- proporção de código reescrito dentro de 30 dias
Conhecimento e onboarding
Mede a dependência de pessoas específicas — o custo que só aparece quando alguém sai.
- Tempo de onboarding
- da entrada ao primeiro pull request aceito em produção
- Tempo para localizar informação
- medido em sessões observadas, por tipo de pergunta
- Documentação atualizada
- proporção de domínios com documentação revisada no trimestre
Uso de IA
Mede adoção real, não licenças ativas. Ferramenta instalada e não usada não é adoção.
- Tarefas apoiadas por IA
- percentual das tarefas do ciclo com participação de agente
- Aceitação de sugestões geradas
- proporção aceita sem reescrita significativa
- Custo por fluxo de IA
- custo de modelo por tarefa concluída
- Economia de tempo por atividade
- comparação com o baseline levantado no diagnóstico
- Satisfação dos desenvolvedores
- pesquisa curta e recorrente com o time
O que não conta como sucesso
As quatro linhas abaixo aparecem com frequência em relatório de adoção de IA. Nenhuma delas diz se a engenharia melhorou — todas dizem apenas que algo foi comprado ou configurado.
- quantidade de ferramentas instaladas
- número de licenças ativas
- linhas de código geradas por IA
- quantidade de agentes criados
Onde essas métricas entram
O baseline é levantado no AI-Ready Engineering Assessment. A instrumentação começa na última etapa descrita em como trabalhamos, e a leitura periódica é parte do Advisory. Clientes ativos acompanham a evolução semanal na área do cliente.