Data Mesh
Folha de revisão · 3 temas · Engenharia de Analytics
Feita para a véspera. Imprimir esta página tira o menu e as abas.
Arquiteturas de dados
Arquitetura é onde a banca mede senioridade. Qualquer pessoa lista nomes; o que separa é dizer o que cada escolha custa e em que condição você mudaria de ideia. A pergunta sobre fonte da verdade é a que mais expõe quem nunca conciliou número com área de negócio.
Como cai: O saldo no core diverge do saldo no relatório. Qual é a fonte da verdade?
Erros comuns
- Descrever Lambda e Kappa como opções equivalentes. Lambda cobra caro em manter a mesma regra escrita duas vezes; Kappa cobra em reprocessamento de histórico pelo próprio stream. Sem citar esse custo, a resposta vira lista.
- Tratar Lakehouse como marketing de Data Lake. O que muda é concreto: formato de tabela com transação, evolução de schema e time travel sobre armazenamento de objetos.
- Dizer que Data Mesh é arquitetura técnica. Os quatro princípios são organizacionais antes de tudo; sem times de domínio com dono, o Mesh vira lake bagunçado com nome novo.
- Confundir Source of Record com Source of Truth. SoR é onde o dado nasce; SoT é a visão consolidada e governada usada para decidir. Podem ser sistemas diferentes sem que ninguém esteja errado.
- Responder que a fonte da verdade é sempre o core bancário. Para saldo em tempo real, sim; para o número do relatório regulatório de fechamento, a verdade é a visão consolidada e datada, não a tela do momento.
- Propor Data Mesh para uma empresa com um time de dados de oito pessoas. Governança federada e plataforma self-serve exigem escala organizacional; abaixo dela, é overhead.
Vocabulário
- Source of Record
- — O sistema onde o dado nasce e que é autoritativo sobre o fato original.
- Source of Truth
- — A visão consolidada, tratada e governada que a organização usa para decidir.
Data Mesh: os quatro princípios
A banca usa Data Mesh para separar quem leu o resumo de quem entendeu o problema. Quase todo candidato recita os quatro princípios; poucos conseguem dizer qual dor cada um resolve e o que a empresa precisa ter antes de tentar. A repergunta favorita é 'quando Mesh é má ideia'.
Como cai: A empresa tem um time central de dados que virou gargalo. Data Mesh resolve? O que precisaria acontecer antes?
Erros comuns
- Tratar Data Mesh como ferramenta ou produto. É um conjunto de princípios de organização; nenhuma compra implementa Mesh.
- Achar que Mesh elimina a plataforma central. Ela muda de papel: deixa de construir pipelines para todo mundo e passa a oferecer a plataforma self-serve que os domínios usam.
- Confundir descentralizar com abandonar. Sem governança federada e padrões comuns, o resultado não é Mesh, é um silo por área com nomes diferentes para a mesma coisa.
- Propor Mesh para empresa pequena ou com poucos domínios. O custo de plataforma e governança só se paga quando o time central realmente virou gargalo para muitas áreas.
- Esquecer que o domínio precisa ter gente. Propriedade por domínio exige alguém no domínio capaz de manter o produto de dados; sem isso, a responsabilidade é nominal e o dado apodrece.
- Dizer que Mesh substitui o data lake. O armazenamento continua existindo; o que muda é quem é dono do que está nele e como aquilo é publicado.
Vocabulário
- produto de dados
- — Conjunto de dados publicado por um domínio com dono nomeado, documentação, contrato de esquema e semântica, acordo de nível de serviço, versionamento e presença no catálogo.
Contratos de dados e plataforma self-serve
É a pergunta de execução depois da pergunta de conceito. A banca costuma dizer 'entendi os princípios, agora me diga como você impede que um domínio quebre o outro'. A resposta é contrato com versionamento e verificação automática na plataforma, e quem não sabe isso fica preso em 'a gente combina'.
Como cai: Um domínio mudou uma coluna e quebrou três dashboards de outra área. Como você evita que isso se repita?
Erros comuns
- Tratar o contrato como documento. Contrato que não é verificado na entrega é combinado, e combinado quebra na primeira pressa.
- Achar que versionar é renomear a tabela para v2. Versionamento útil mantém a versão anterior viva durante um prazo declarado, para o consumidor migrar.
- Confundir contrato com esquema. Esquema é tipo e nome de coluna; contrato inclui semântica, granularidade, atualização, qualidade esperada e quem responde.
- Deixar a plataforma virar um novo gargalo. Ela entrega capacidade em autoatendimento; se cada uso precisar de um chamado, voltamos ao time central.
- Esquecer a linhagem entre domínios. Sem ela, ninguém consegue responder de onde veio o número quando dois produtos discordam.
- Publicar produto sem consumidor conhecido. Produto de dados sem consumidor declarado é custo de manutenção sem retorno; o Mesh não pede que tudo vire produto.
Vocabulário
- contrato de dados
- — Acordo explícito e versionado entre quem publica e quem consome, declarando esquema, significado de cada campo, granularidade, janela de atualização, garantias de qualidade e quem responde quando algo falha.