Inteligência
AI Engineering
Agentes, fluxos, prompts, bases de conhecimento, modelos, avaliações, skills e traces: onde cada parte está documentada e as rotas v1 por chave.
#O que faz
Agentes, fluxos, bases de conhecimento, avaliações e modelos com versão, permissão, custo e auditoria.
| Funcionalidade | O que faz | Na área logada |
|---|---|---|
| Agent Management | Agentes com versão, ferramentas permitidas, aprovação humana e escrita simulada. | /plataforma/agentes |
| Specialist & worker agents | Agentes especialistas que só leem e workers que só propõem, com política, tetos e revisão humana. | /plataforma/agentes/catalogo |
| Agent governance | Autonomia por agente (observar, propor, executar com aprovação, executar dentro da política com orçamento), nível de confiança com revisão em quatro olhos, política de rede por agente e kill switch por agente e por organização, com cada decisão na trilha. | /plataforma/agentes/governanca |
| Agent operations | Anotação humana das execuções com taxonomia própria, execução real virando caso de avaliação e dataset JSONL com máscara de dados pessoais, sessões com custo por ticket, ambientes com promoção e autonomia por ambiente e por time, AI-BOM em CycloneDX, ingestão OpenTelemetry de agentes externos, avaliações pela API v1 e pelo MCP, busca de código com acesso por repositório e fluxo que chama fluxo. | /plataforma/agentes/operacao |
| Workflows | Fluxos com etapas, condições, aprovação e agenda. | /plataforma/fluxos |
| Evals | Casos de teste, juiz por modelo, portão de publicação e comparação de versões. | /plataforma/agentes |
| Prompt & config registry | Prompts versionados, publicação e comparação. | /plataforma/prompts |
| Knowledge bases | Busca com fonte e permissão por documento. | /plataforma/conhecimento |
| Models & Gateway | API de modelos com provedores, roteamento e modelos liberados por papel. | /plataforma/gateway |
| Skills registry | Catálogo de skills versionadas para agentes de código: manifesto com permissões declaradas, SKILL.md com sha256, publicação só depois da revisão de outra pessoa, download pela API v1 e pelo MCP. A plataforma não executa skills. | /plataforma/agentes/skills |
| Execution traces | Passos de cada execução com custo e latência, sessões por chave livre com custo somado, recebimento de spans OpenTelemetry (OTLP/HTTP JSON) de agentes externos com redação na entrada, AI-BOM em CycloneDX e o Assistente lendo a execução aberta. | /plataforma/agentes/operacao |
#Como ativar
- Cada parte pede o seu produto da plataforma: Agents (agentes, fluxos, prompts, avaliações, traces), Knowledge, Models e Cortex (skills). O dono adiciona em Produtos.
- Avaliações e traces pela API v1 pedem o Agents ativo; skills, o Cortex. Produto não ativo responde
404; sem conta de faturamento válida,402.
#Onde está cada parte
| Parte | Página | Escopo da chave |
|---|---|---|
| Modelos e Gateway | Models | Chamar modelos pelo Gateway gateway:invoke |
| Bases de conhecimento | Knowledge | Buscar no Knowledge knowledge:read, knowledge:write |
| Agentes, prompts e fluxos | Agents | agents:run, prompts:run, flows:run |
| Traces de agentes externos | Traces por OTLP | Traces de agentes externos (OpenTelemetry) agents:trace |
| Avaliações | Esta página | Avaliações de agentes (SDK e MCP) agents:eval |
| Skills | Esta página | Baixar skills publicadas skills:read |
#Avaliações pela API
Até 20 casos por agente. Rodar a suíte executa o agente uma vez por caso, com custo de modelo cobrado; nenhuma escrita é executada. Uma avaliação por agente por vez.
curl -X POST "https://aiuby.com/api/v1/agents/$AGENT_ID/eval-cases" \
-H "Authorization: Bearer $AIUBY_TOKEN" -H "Content-Type: application/json" \
-d '{"name":"responde o prazo","input":"Qual o prazo de entrega para SP?","expectContains":["dias úteis"],"forbidTools":["enviar_email"]}'
curl -X POST "https://aiuby.com/api/v1/agents/$AGENT_ID/evaluations" \
-H "Authorization: Bearer $AIUBY_TOKEN" -H "Content-Type: application/json" -d '{"version":3}'
aiuby evals run $AGENT_ID --version 3 --wait # 0 passou, 6 reprovou, 7 ainda rodando{
"data": {
"id": "…", "version": 3, "status": "failed",
"results": [{ "caseId": "…", "name": "responde o prazo", "runId": "…", "passed": false,
"reasons": ["…"], "judgeStatus": null, "judgeReason": null }]
},
"error": null,
"meta": {}
}#Skills
Skills publicadas da organização, para agentes de código. O SKILL.md vem com o sha256: confira antes de instalar. A AIUBY não executa skills.
curl https://aiuby.com/api/v1/skills -H "Authorization: Bearer $AIUBY_TOKEN"
aiuby skills list
aiuby skills get revisor-de-pr > SKILL.md#Rotas da API
| Rota | Escopo | Para quê | CLI |
|---|---|---|---|
GET /api/v1/skills | Baixar skills publicadas skills:read | Skills publicadas | aiuby skills list |
GET /api/v1/skills/{name} | Baixar skills publicadas skills:read | Baixar uma skill | aiuby skills get <nome> |
GET /api/v1/agents/{id}/eval-cases | Avaliações de agentes (SDK e MCP) agents:eval | Casos da suíte de avaliação de um agente | aiuby evals cases <agente> |
POST /api/v1/agents/{id}/eval-cases | Avaliações de agentes (SDK e MCP) agents:eval | Criar caso de avaliação | aiuby evals add-case <agente> |
GET /api/v1/agents/{id}/evaluations | Avaliações de agentes (SDK e MCP) agents:eval | Última avaliação do agente | aiuby evals latest <agente> |
POST /api/v1/agents/{id}/evaluations | Avaliações de agentes (SDK e MCP) agents:eval | Rodar a suíte de avaliação | aiuby evals run <agente> |
GET /api/v1/evaluations/{id} | Avaliações de agentes (SDK e MCP) agents:eval | Resultado de uma avaliação | aiuby evals get <id> |
POST /api/v1/otel/v1/traces | Traces de agentes externos (OpenTelemetry) agents:trace | Ingestão OpenTelemetry (OTLP/HTTP JSON) | — |
#O que ainda não existe
- Criar, versionar ou publicar agente, prompt, fluxo ou skill por chave de API: só na tela, com revisão de outra pessoa onde a política pede.
- OTLP em protobuf: só JSON.
- Custo de span externo: a AIUBY soma custo só do que passou pelo Gateway.