Pular para o conteúdo

Tema

Big Data · tema 12 de 17

Source of Record vs Source of Truth

30 min · 1 vídeo · 12 cards · 1 drill

Por que cai

É o tema que separa a sabatina de Analytics da de Dados. A banca não quer saber se você conhece o termo; quer ver se, diante de dois números diferentes para o mesmo KPI, você sabe qual é o oficial, por que os dois existem e como reconciliar sem inventar um terceiro.

Pré-teste · 1 de 2

responda antes de ver

O relatório de inadimplência da diretoria mostra 4,1%; o sistema de crédito, consultado direto, mostra 3,8% para a mesma data. Qual é a primeira hipótese a investigar?

Quanta certeza você tem?

Vídeo · português · 17 min

Apresenta o problema pelo sintoma que a banca descreve: duas telas do mesmo sistema com informações diferentes. Assista atento à diferença entre 'ter uma fonte' e 'ter uma regra de qual fonte vale', que é o que separa a resposta boa da decorada.

Em uma frase

Source of Record é o sistema onde o dado nasce e que responde pelo fato original; Source of Truth é a visão consolidada e governada que a organização declara como oficial para decidir. Quase nunca são o mesmo lugar, e isso é por desenho.

O problema que este tema resolve

Toda instituição grande vive a mesma reunião: duas áreas trazem números diferentes para o mesmo indicador, cada uma jura pelo seu relatório, e a discussão termina sem ninguém saber qual usar. O sintoma parece técnico, mas a causa é de governança. Não há regra escrita de qual fonte vale para qual pergunta.

Este tema dá o vocabulário para transformar essa reunião numa investigação de dez minutos. E é o que a banca de Analytics cobra: não a definição dos termos, mas o que você faz diante da divergência.

Os dois papéis

Source of RecordO sistema autoritativo sobre o fato no momento em que ele acontece: o core bancário para a transação, o CRM para o cadastro, o sistema de crédito para o contrato.

O Source of Record é otimizado para registrar. Ele precisa aceitar a transação em milissegundos, garantir consistência naquele instante e nunca perder um lançamento. Ele não foi feito para responder "qual é a inadimplência da carteira": essa pergunta exige juntar contratos, aplicar uma definição de atraso, excluir renegociações e olhar para um fechamento.

Source of TruthA visão consolidada, tratada e governada que a organização usa para decidir: a tabela certificada de onde sai o KPI, com dono, definição escrita e regra de cálculo.

O Source of Truth é otimizado para responder. Ele nasce da origem, mas passa por transformação, consolidação e regra de negócio. Num lake com zonas, é a refined ou a gold. Num MDM, é o golden record do cliente.

Source of RecordSource of Truth
Autoritativo sobreO fato bruto, no instanteA versão consolidada, para a decisão
Otimizado paraRegistrar transaçãoResponder pergunta de negócio
Exemplo no bancoCore, CRM, sistema de créditoTabela certificada de inadimplência; golden record de cliente
Onde mora no lakeFora dele; a raw é só uma cópiaRefined ou gold
Quantos existemUm por sistema de origemUm por domínio ou por KPI
Quem responde por eleO time do sistemaUm dono de negócio, com definição escrita

Por que separar é desejável

A tentação é juntar: "se o dashboard ler direto do core, acaba a divergência". Acaba a defasagem e nasce um problema maior. Cada consumidor passa a aplicar a própria regra sobre o dado cru, e a divergência volta multiplicada, agora sem ninguém conseguir explicar.

Separar é o que permite:

  • Aplicar a regra uma vez. A definição de inadimplência vive num lugar e todo relatório herda a mesma.
  • Governar. Dono, catálogo, controle de acesso e mascaramento de dado sensível acontecem na camada consolidada, não em cada consulta.
  • Reprocessar. Quando a regra muda, a raw preserva a origem e a consolidação é refeita. Se o dashboard lesse o core, a história se perderia.

Como reconciliar dois números

reconciliaçãoO processo que compara a origem com a visão consolidada, explica cada diferença e prova que o número oficial fecha com o fato.

A ordem importa, porque cada passo descarta a causa mais barata antes da mais cara:

  1. 1Comparar no mesmo carimbo de corte. A maioria das divergências é tempo: o core já processou, o lote da noite ainda não chegou. Sem o mesmo corte, os números são incomparáveis, não errados.
  2. 2Confrontar a regra de cálculo. O que cada lado chama de saldo, de ativo, de inadimplente. Aqui aparecem as renegociações que um exclui e o outro não.
  3. 3Percorrer a linhagem do número oficial de volta ao Source of Record. Só quando corte e regra não explicam a diferença é que existe erro de pipeline, e a linhagem diz em qual passo.
  4. 4Registrar a causa e criar um teste. Diferença explicada vira documentação; erro corrigido vira teste de dados, para não voltar.

O que fica de fora da lista é escolher o número que agrada. Conservadorismo não é critério de reconciliação.

Vários Sources of Truth é o normal

Uma instituição não tem um Source of Truth, tem um por domínio: cliente, contrato, transação, produto. Tentar reduzir tudo a um banco único é o sonho que gera o pântano.

O que precisa ser único é a regra de precedência e o que a sustenta:

  • chave compartilhada entre domínios, para o cliente do MDM e o contrato do crédito apontarem para a mesma pessoa;
  • linhagem que atravessa as fronteiras, para o KPI de carteira voltar até o core;
  • catálogo que diz qual tabela é a certificada para cada entidade.

Em Data Mesh isso fica explícito: cada domínio publica o próprio produto de dados como verdade daquele domínio, e a governança federada cuida de os produtos conversarem.

Como responder isso em voz alta

Quando vier o cenário dos dois números, estruture assim: os dois podem estar certos (Record e Truth respondem a perguntas diferentes); comparo no mesmo corte (defasagem); comparo a regra (definição); sigo a linhagem (erro real); e recuso ler da origem no dashboard, com o motivo. Quem dá essa resposta em ordem mostra que já viveu a reunião, não que decorou o termo.

Como cai na sabatina

O saldo do cliente aparece diferente no core bancário e no dashboard da diretoria. Qual está certo, e o que você faz?

Erros comuns

  • Achar que Source of Truth é 'o sistema mais importante'. Não é hierarquia de prestígio: é a fonte declarada como oficial para uma decisão específica, e ela pode mudar de um KPI para outro.
  • Tratar os dois como sinônimos. O Source of Record é autoritativo sobre o fato bruto no momento em que ele aconteceu; o Source of Truth é autoritativo sobre a versão consolidada, tratada e governada. Um extrato do core e o saldo no DW são coisas diferentes por desenho.
  • Resolver a divergência escolhendo o número que agrada. Sem regra de precedência escrita, cada área elege o próprio relatório como verdade e a reunião vira disputa.
  • Copiar o Source of Record para o Source of Truth sem transformar nada. Se o DW é uma cópia crua do core, ele herda toda inconsistência de origem e não acrescenta governança nenhuma; virou só um backup caro.
  • Ignorar o tempo. Boa parte das divergências é defasagem: o core já processou a transação e o lake só recebe o lote à noite. Sem carimbo de corte, os números são incomparáveis, não errados.
  • Prometer um único Source of Truth para tudo. Sistemas grandes têm vários, um por domínio: cliente, contrato, transação. O que precisa ser único é a regra de qual vale para cada pergunta.

Flashcards

Card 1 de 12

0 certos · 0 a rever

Drill

Record ou Truth?

Para cada item, diga se ele é Source of Record, Source of Truth ou nenhum dos dois.

  1. 1.O core bancário que registra a autorização do cartão no instante da compra.

  2. 2.A tabela certificada de inadimplência que alimenta o painel da diretoria.

  3. 3.A planilha que um analista mantém no próprio computador com os números 'ajustados'.

  4. 4.O cadastro de clientes no CRM, de onde outros sistemas copiam nome e endereço.

  5. 5.O golden record de cliente produzido pelo MDM, unificando CRM, core e canais.

  6. 6.A cópia diária do core na zona raw do lake.

Quiz · 1 de 2

Qual definição de Source of Truth é a mais defensável numa sabatina?

Explique para um gerente

Explique em um minuto para alguém de negócio por que 'o sistema onde o dado nasce' e 'o número em que a empresa confia' quase nunca são o mesmo lugar, e por que isso é desejável.

Se travar numa palavra técnica, é sinal de que ainda não entendeu essa parte.

Prefiro falar em voz alta

00:00

Toque para gravar, ou responda em voz alta sem gravar

Perguntas de sabatina deste tema3
  • · O saldo de um cliente aparece diferente no core bancário e no dashboard da diretoria. Qual está certo, e o que você faz?
  • · Uma área de negócio diz que não confia nos números do DW e quer manter a própria planilha como referência. Como você conduz isso?
  • · Uma instituição tem vários Sources of Truth: um para cliente, um para contrato, um para transação. Isso é um problema?
Responder no simulado
Para ir além3 artigos