6. MLOps e AB Testing

Objetivo

Publicar modelos com seguranca, monitorar runtime e comparar variantes com AB testing.

Criar deployment

  1. Abrir MLOps > Deployments.

  2. Selecionar versao de modelo.

  3. Configurar: - Ambiente. - Perfil de replicas/compute. - Estrategia de rollback.

  4. Publicar e aguardar status active.

Monitorar deployment

  1. Validar indicadores de saude: - Uptime/health. - Error rate. - Latencia.

  2. Executar inferencia de teste e validar resposta.

  3. Revisar logs recentes para excecoes.

Executar AB test

  1. Abrir MLOps > A/B Tests.

  2. Criar teste com: - Modelo baseline (A). - Modelo candidato (B). - Split de trafego. - Metrica principal. - Amostra minima/duracao.

  3. Iniciar teste e monitorar alocacao.

  4. Avaliar vencedor quando criterio for atingido.

Checklist de validacao funcional

  1. Deployment ativo responde sem downtime.

  2. Saude e metricas atualizam em tempo operacional.

  3. Split AB aparece no volume real de requests.

  4. Vencedor reportado respeita metrica configurada.

  5. Rollback disponivel em caso de degradacao.

Resultado esperado

  1. Rota produtiva estavel e observavel.

  2. Promocao de modelos baseada em dados.

Erros comuns e recuperacao

  1. Deployment preso em pending: - Verificar capacidade e artifact do modelo.

  2. Error rate alto apos release: - Executar rollback imediato.

  3. AB test inconclusivo: - Aumentar duracao ou amostra.

Imagens

Operacao e monitoramento em MLOps

Lista de deployments e status runtime.

Configuracao e acompanhamento de AB tests

Configuracao e comparacao no AB testing.