Big Data · tema 12 de 17
Source of Record vs Source of Truth
30 min · 1 vídeo · 12 cards · 1 drill
Por que cai
É o tema que separa a sabatina de Analytics da de Dados. A banca não quer saber se você conhece o termo; quer ver se, diante de dois números diferentes para o mesmo KPI, você sabe qual é o oficial, por que os dois existem e como reconciliar sem inventar um terceiro.
Pré-teste · 1 de 2
responda antes de verO relatório de inadimplência da diretoria mostra 4,1%; o sistema de crédito, consultado direto, mostra 3,8% para a mesma data. Qual é a primeira hipótese a investigar?
Vídeo · português · 17 min
Em uma frase
Source of Record é o sistema onde o dado nasce e que responde pelo fato original; Source of Truth é a visão consolidada e governada que a organização declara como oficial para decidir. Quase nunca são o mesmo lugar, e isso é por desenho.
O problema que este tema resolve
Toda instituição grande vive a mesma reunião: duas áreas trazem números diferentes para o mesmo indicador, cada uma jura pelo seu relatório, e a discussão termina sem ninguém saber qual usar. O sintoma parece técnico, mas a causa é de governança. Não há regra escrita de qual fonte vale para qual pergunta.
Este tema dá o vocabulário para transformar essa reunião numa investigação de dez minutos. E é o que a banca de Analytics cobra: não a definição dos termos, mas o que você faz diante da divergência.
Os dois papéis
Source of Record— O sistema autoritativo sobre o fato no momento em que ele acontece: o core bancário para a transação, o CRM para o cadastro, o sistema de crédito para o contrato.O Source of Record é otimizado para registrar. Ele precisa aceitar a transação em milissegundos, garantir consistência naquele instante e nunca perder um lançamento. Ele não foi feito para responder "qual é a inadimplência da carteira": essa pergunta exige juntar contratos, aplicar uma definição de atraso, excluir renegociações e olhar para um fechamento.
Source of Truth— A visão consolidada, tratada e governada que a organização usa para decidir: a tabela certificada de onde sai o KPI, com dono, definição escrita e regra de cálculo.O Source of Truth é otimizado para responder. Ele nasce da origem, mas passa por transformação, consolidação e regra de negócio. Num lake com zonas, é a refined ou a gold. Num MDM, é o golden record do cliente.
| Source of Record | Source of Truth | |
|---|---|---|
| Autoritativo sobre | O fato bruto, no instante | A versão consolidada, para a decisão |
| Otimizado para | Registrar transação | Responder pergunta de negócio |
| Exemplo no banco | Core, CRM, sistema de crédito | Tabela certificada de inadimplência; golden record de cliente |
| Onde mora no lake | Fora dele; a raw é só uma cópia | Refined ou gold |
| Quantos existem | Um por sistema de origem | Um por domínio ou por KPI |
| Quem responde por ele | O time do sistema | Um dono de negócio, com definição escrita |
Por que separar é desejável
A tentação é juntar: "se o dashboard ler direto do core, acaba a divergência". Acaba a defasagem e nasce um problema maior. Cada consumidor passa a aplicar a própria regra sobre o dado cru, e a divergência volta multiplicada, agora sem ninguém conseguir explicar.
Separar é o que permite:
- Aplicar a regra uma vez. A definição de inadimplência vive num lugar e todo relatório herda a mesma.
- Governar. Dono, catálogo, controle de acesso e mascaramento de dado sensível acontecem na camada consolidada, não em cada consulta.
- Reprocessar. Quando a regra muda, a raw preserva a origem e a consolidação é refeita. Se o dashboard lesse o core, a história se perderia.
Como reconciliar dois números
reconciliação— O processo que compara a origem com a visão consolidada, explica cada diferença e prova que o número oficial fecha com o fato.A ordem importa, porque cada passo descarta a causa mais barata antes da mais cara:
- 1Comparar no mesmo carimbo de corte. A maioria das divergências é tempo: o core já processou, o lote da noite ainda não chegou. Sem o mesmo corte, os números são incomparáveis, não errados.
- 2Confrontar a regra de cálculo. O que cada lado chama de saldo, de ativo, de inadimplente. Aqui aparecem as renegociações que um exclui e o outro não.
- 3Percorrer a linhagem do número oficial de volta ao Source of Record. Só quando corte e regra não explicam a diferença é que existe erro de pipeline, e a linhagem diz em qual passo.
- 4Registrar a causa e criar um teste. Diferença explicada vira documentação; erro corrigido vira teste de dados, para não voltar.
O que fica de fora da lista é escolher o número que agrada. Conservadorismo não é critério de reconciliação.
Vários Sources of Truth é o normal
Uma instituição não tem um Source of Truth, tem um por domínio: cliente, contrato, transação, produto. Tentar reduzir tudo a um banco único é o sonho que gera o pântano.
O que precisa ser único é a regra de precedência e o que a sustenta:
- chave compartilhada entre domínios, para o cliente do MDM e o contrato do crédito apontarem para a mesma pessoa;
- linhagem que atravessa as fronteiras, para o KPI de carteira voltar até o core;
- catálogo que diz qual tabela é a certificada para cada entidade.
Em Data Mesh isso fica explícito: cada domínio publica o próprio produto de dados como verdade daquele domínio, e a governança federada cuida de os produtos conversarem.
Como responder isso em voz alta
Quando vier o cenário dos dois números, estruture assim: os dois podem estar certos (Record e Truth respondem a perguntas diferentes); comparo no mesmo corte (defasagem); comparo a regra (definição); sigo a linhagem (erro real); e recuso ler da origem no dashboard, com o motivo. Quem dá essa resposta em ordem mostra que já viveu a reunião, não que decorou o termo.
Como cai na sabatina
“O saldo do cliente aparece diferente no core bancário e no dashboard da diretoria. Qual está certo, e o que você faz?”
Erros comuns
- Achar que Source of Truth é 'o sistema mais importante'. Não é hierarquia de prestígio: é a fonte declarada como oficial para uma decisão específica, e ela pode mudar de um KPI para outro.
- Tratar os dois como sinônimos. O Source of Record é autoritativo sobre o fato bruto no momento em que ele aconteceu; o Source of Truth é autoritativo sobre a versão consolidada, tratada e governada. Um extrato do core e o saldo no DW são coisas diferentes por desenho.
- Resolver a divergência escolhendo o número que agrada. Sem regra de precedência escrita, cada área elege o próprio relatório como verdade e a reunião vira disputa.
- Copiar o Source of Record para o Source of Truth sem transformar nada. Se o DW é uma cópia crua do core, ele herda toda inconsistência de origem e não acrescenta governança nenhuma; virou só um backup caro.
- Ignorar o tempo. Boa parte das divergências é defasagem: o core já processou a transação e o lake só recebe o lote à noite. Sem carimbo de corte, os números são incomparáveis, não errados.
- Prometer um único Source of Truth para tudo. Sistemas grandes têm vários, um por domínio: cliente, contrato, transação. O que precisa ser único é a regra de qual vale para cada pergunta.
Flashcards
Card 1 de 12
0 certos · 0 a reverDrill
Record ou Truth?
Para cada item, diga se ele é Source of Record, Source of Truth ou nenhum dos dois.
1.O core bancário que registra a autorização do cartão no instante da compra.
2.A tabela certificada de inadimplência que alimenta o painel da diretoria.
3.A planilha que um analista mantém no próprio computador com os números 'ajustados'.
4.O cadastro de clientes no CRM, de onde outros sistemas copiam nome e endereço.
5.O golden record de cliente produzido pelo MDM, unificando CRM, core e canais.
6.A cópia diária do core na zona raw do lake.
Quiz · 1 de 2
Qual definição de Source of Truth é a mais defensável numa sabatina?
Explique para um gerente
Explique em um minuto para alguém de negócio por que 'o sistema onde o dado nasce' e 'o número em que a empresa confia' quase nunca são o mesmo lugar, e por que isso é desejável.
Se travar numa palavra técnica, é sinal de que ainda não entendeu essa parte.
Prefiro falar em voz alta
00:00
Toque para gravar, ou responda em voz alta sem gravar
Perguntas de sabatina deste tema3
- · O saldo de um cliente aparece diferente no core bancário e no dashboard da diretoria. Qual está certo, e o que você faz?
- · Uma área de negócio diz que não confia nos números do DW e quer manter a própria planilha como referência. Como você conduz isso?
- · Uma instituição tem vários Sources of Truth: um para cliente, um para contrato, um para transação. Isso é um problema?