DevOps · tema 26 de 40
CI/CD para dados e dashboards
30 min · 2 vídeos · 11 cards · 1 drill
Por que cai
Na sabatina de Analytics a pergunta chega assim: 'como você garante que uma mudança no modelo não derruba o painel da diretoria?'. Quem responde 'testo antes' perde; quem descreve o que roda no pipeline de verificação, em que ambiente, e o que acontece quando falha, mostra que já quebrou produção antes.
Pré-teste · 1 de 2
responda antes de verO que uma verificação automática de um projeto de transformação deve fazer antes de aprovar uma mudança?
Vídeo · português · 23 min
Em uma frase
Mudança em modelo de dados é mudança em produção: precisa ser construída isolada, testada no código e no dado, promovida com o mesmo artefato e ter caminho de volta — que em dados significa reprocessar, não só reverter.
O que roda antes de aprovar
- 1Construir os modelos num esquema isolado daquela mudança, com dado de amostra. Ninguém consome; falha não atinge consumidor.
- 2Rodar os testes de dados: unicidade de chave, não nulo, conjunto de valores aceito, integridade entre modelos.
- 3Rodar pelo menos um teste de negócio: o total do modelo bate com o total da origem.
- 4Revisão por par, porque erro de regra de negócio nenhuma automação pega.
- 5Quando o modelo alimenta um indicador, aprovação do dono daquele indicador.
Promover entre ambientes
O mesmo artefato versionado avança: desenvolvimento, homologação, produção. Cada ambiente com o próprio dado e as próprias credenciais. Não se reescreve nada no caminho — reescrever é perder a garantia de que o que foi testado é o que subiu.
O dashboard faz parte do fluxo
Renomear uma coluna passa em todos os testes do modelo e quebra o painel que referenciava o nome antigo. Por isso o fluxo inclui:
- Linhagem para descobrir quem consome antes de mudar.
- Publicação em paralelo com prazo, quando a mudança é incompatível, em vez de renomear em cima.
- Aviso aos donos dos painéis afetados, que a linhagem identificou.
É a mesma lógica dos contratos de dados, aplicada ao consumo final.
Voltar atrás em dados
Reverter o código não conserta a tabela: o resultado errado já está gravado. O caminho de volta em dados tem duas partes, e as duas precisam existir antes de subir:
- Versionamento da transformação, para saber ao que voltar.
- Capacidade de reprocessar a partir da origem, para regravar o certo.
É por isso que preservar o dado cru na camada de entrada não é preciosismo: é o que torna o rollback possível.
Como responder isso em voz alta
Estruture pelo caminho da mudança: impacto (linhagem), verificação (isolado, testes de código e de dado, teste de negócio), aprovação (par e dono do indicador), promoção (mesmo artefato), compatibilidade (paralelo com prazo) e volta (reprocessar). Quem cita o reprocessamento mostra que já viu dado errado publicado.
Se quiser outro ângulo1 vídeo
Como cai na sabatina
“Você mudou um modelo que alimenta três dashboards. Como essa mudança chega à produção?”
Erros comuns
- Achar que CI para dados é só rodar o pipeline. A verificação útil roda em ambiente isolado, com dado de amostra, e falha antes de tocar em produção.
- Testar só o código e não o dado. Transformação correta sobre dado que mudou de formato continua quebrando o relatório; teste de dado é parte do pipeline.
- Promover mudança direto em produção porque 'é só um SQL'. Modelo que alimenta painel é produção, com consumidor e horário crítico.
- Esquecer o dashboard no fluxo. Renomear uma coluna passa no teste do modelo e quebra o painel que referenciava o nome antigo.
- Não ter caminho de volta. Sem versionamento do modelo e sem capacidade de reprocessar, o rollback vira restauração de backup no meio do expediente.
- Tratar ambiente de desenvolvimento com dado de produção sem mascaramento. Cópia de produção para desenvolver é o vazamento mais comum em times de dados.
Flashcards
Card 1 de 11
0 certos · 0 a reverDrill
O que detecta esse problema?
Para cada falha, diga o mecanismo que a pegaria antes de chegar ao consumidor.
1.A origem passou a mandar a coluna de valor com nulos.
2.A mudança geraria tabelas incompletas visíveis para quem consome.
3.Preciso saber quais painéis usam a coluna que vou renomear.
4.A regra de negócio da transformação está errada, embora o SQL rode.
5.A tabela já foi publicada com o cálculo errado ontem.
Quiz · 1 de 2
Qual afirmação sobre CI/CD aplicado a dados é mais defensável?
Explique para um gerente
Explique em um minuto por que uma mudança em SQL merece o mesmo cuidado que uma mudança em código de aplicação.
Se travar numa palavra técnica, é sinal de que ainda não entendeu essa parte.
Prefiro falar em voz alta
00:00
Toque para gravar, ou responda em voz alta sem gravar
Perguntas de sabatina deste tema2
- · Você precisa mudar um modelo que alimenta três dashboards da diretoria. Descreva como essa mudança chega à produção.
- · Um relatório quebrou e todos os testes de código estavam passando. Como você investiga?