Camada de dados

As zonas de um Data Lake

É o tema que testa se você pensa em governança, e não só em pipeline. A banca usa as zonas para puxar retenção, controle de acesso e LGPD na mesma pergunta. Quem sabe só os nomes das camadas trava na primeira repergunta.

Como cai: Dado pessoal pode ficar na zona raw do lake?

Erros comuns

• ×Decorar os nomes das zonas sem saber o que cada uma garante. A banca não quer a lista; quer saber que contrato a zona oferece a quem lê dela.
• ×Tratar zona como pasta. Zona é pasta mais retenção, mais permissão, mais schema esperado, mais dono. Sem isso é só um diretório com nome bonito.
• ×Dizer que dado pessoal não pode entrar na raw. Pode, e normalmente entra, porque a raw é cópia fiel da origem; o que muda é criptografia, restrição de acesso e prazo de retenção.
• ×Transformar dado na raw. Se você limpa na raw, perde a capacidade de reprocessar quando descobrir que a regra de limpeza estava errada.
• ×Achar que medalhão e zonas são coisas diferentes e incompatíveis. São vocabulários distintos para o mesmo escalonamento de confiança; saber traduzir um no outro é o que a banca cobra.
• ×Deixar a refined virar depósito de tabela de projeto. Sem dono e sem contrato, a camada de consumo vira o novo pântano.

Vocabulário

tokenização

— Substituição do valor sensível por um substituto sem significado, reversível apenas por quem tem acesso ao cofre de tokens.