Qualidade de dados
Folha de revisão · 2 temas · Engenharia de Dados
Feita para a véspera. Imprimir esta página tira o menu e as abas.
Governança de dados
A banca usa governança para separar quem só constrói pipeline de quem entende que dado é ativo com dono. Em banco, cada resposta esbarra em LGPD, auditoria e regulador, e o entrevistador quer ver você citar papel e processo, não só ferramenta.
Como cai: Quem responde por um dado errado no relatório da diretoria?
Erros comuns
- Confundir governança com segurança da informação. Segurança protege o dado de quem não deve ver; governança define quem deve ver, para quê, por quanto tempo e quem responde pelo significado do dado.
- Dizer que o dono do dado é o time de engenharia. Engenharia é custodiante: opera o pipeline e o armazenamento. O dono é da área de negócio que define a regra e responde pelo número.
- Tratar catálogo como inventário técnico de tabelas. Sem dono, definição de negócio, classificação e linhagem, o catálogo vira lista de nomes e ninguém usa.
- Achar que linhagem serve só para bonito no diagrama. Linhagem é o que responde 'o que quebra se eu mudar esta coluna' e 'de onde veio este número' numa auditoria.
- Prometer governança centralizada num banco grande. Um comitê único vira gargalo; o padrão que escala é federado, com política central e execução no domínio.
- Falar de LGPD só como consentimento. Consentimento é uma das bases legais; em banco a maior parte do tratamento se apoia em obrigação legal, execução de contrato ou legítimo interesse.
Vocabulário
- catálogo de dados
- — Inventário pesquisável de conjuntos de dados com dono, definição de negócio, classificação de sensibilidade, linhagem e forma de pedir acesso.
Qualidade de dados
Toda banca de engenharia de dados pergunta como você garante qualidade, porque é onde se separa quem escreve pipeline de quem opera pipeline em produção. Em banco, dado ruim vira número errado para o regulador, e o entrevistador quer ouvir teste, limiar e decisão de falha.
Como cai: Como você garantiria qualidade num pipeline diário de transações?
Erros comuns
- Listar as dimensões sem dizer como se mede cada uma. Citar 'acurácia' não vale ponto; dizer que se mede confrontando uma amostra com o sistema de origem, vale.
- Achar que todo teste que falha deve derrubar o pipeline. Derrubar tudo por um domínio inesperado numa coluna secundária custa mais que quarentenar a linha.
- Confundir completude com acurácia. Campo preenchido com valor errado é completo e impreciso; campo vazio é incompleto e pode até ser correto.
- Ignorar frescor. Dado certo que chega depois da decisão é dado inútil, e é a dimensão que mais gera reclamação em painel de diretoria.
- Medir qualidade só na camada final. Quanto mais tarde o teste, mais caro o reprocessamento; teste na ingestão pega o problema antes de ele se espalhar.
- Tratar SLA de dados como promessa verbal. Sem número, janela e consequência acordada, não existe SLA, existe expectativa.
Vocabulário
- SLO de dados
- — Meta interna e mensurável sobre um dado: por exemplo, a tabela de transações fica pronta até 6h em 99% dos dias úteis.