Como você armazenaria e consultaria um dado semiestruturado, como o JSON de eventos de autorização de cartão?

Eu separaria em duas decisões. Na entrada, gravo o JSON cru na raw, sem tocar em nada, porque é a evidência do que o produtor mandou e é o que me permite reprocessar quando o schema mudar. Na leitura, eu declaro o schema explicitamente em vez de deixar o Spark inferir: inferência lê um pedaço do arquivo, custa tempo e, pior, muda o resultado quando a amostra muda. Na trusted, eu achato o que o negócio consulta de fato, usando explode para os arrays de parcela, e materializo em tabela Delta colunar particionada por data. O que é genuinamente variável eu mantenho num campo de mapa ou string, para não quebrar o contrato a cada campo novo. Assim o consumidor consulta tabela colunar barata, e eu ainda tenho o cru para voltar atrás. Guardar JSON cru na camada analítica é o erro que eu evitaria: custa mais para ler e não aproveita estatística nem poda de partição.

Por que a classificação de um campo muda o que você pode fazer com ele? Dê exemplos de um cadastro bancário.

Porque o tipo do banco de dados só diz como o valor é guardado, e a classificação diz o que o valor significa. CPF e código de agência são armazenados como número ou texto, mas são qualitativos nominais: só contagem, frequência e unicidade fazem sentido; média de agência é uma conta válida e uma informação vazia. Rating de crédito de A a E é ordinal: tem ordem, mas a distância entre níveis não é comparável, então eu uso mediana e distribuição, não média. Saldo e valor de transação são contínuos, e aí soma, média e percentil valem. Isso não é preciosismo estatístico: erra-se em produção quando alguém agrega código de produto achando que é medida e o indicador sai errado. A classificação também decide armazenamento: nominal de baixa cardinalidade vira boa chave de partição, contínuo não. E, no banco, ainda tem o eixo de sensibilidade, que decide zona, mascaramento e retenção.

Tipos de dados

Tipos de dados · tema 14 de 30

Classificação de tipos de dados

28 min · 2 vídeos · 14 cards · 2 drill

Por que cai

É pergunta de abertura fácil de responder mal. Quem lista os três tipos e para aí perde a repergunta, que é sempre 'e o que muda na prática?'. A resposta forte liga classificação a armazenamento, modelagem, cálculo permitido e controle de acesso.

Pré-teste · 1 de 2

responda antes de ver

Como classificar o campo 'número da agência' de um cadastro bancário?

Confiança:

Vídeo · português · 8 min

Fecha a ponte entre tipo de dado e escolha de armazenamento, que é exatamente a repergunta que derruba quem só decorou a lista. Anote os exemplos e troque-os por equivalentes bancários.

Em uma frase

Classificar dado é decidir, antes de escrever qualquer código, onde ele vai morar, como será modelado, que conta pode ser feita com ele e quem pode vê-lo.

Três eixos, não um

Quase todo candidato conhece o primeiro eixo e para nele. A resposta completa usa três:

Eixo	Categorias	Decide
Estrutura	Estruturado, semiestruturado, não estruturado	Formato de armazenamento e estratégia de ingestão
Natureza da variável	Qualitativo (nominal, ordinal) e quantitativo (discreto, contínuo)	Que cálculo e que modelagem fazem sentido
Sensibilidade	Pública, interna, confidencial, restrita; e dado pessoal	Zona, criptografia, mascaramento, acesso e retenção

Eixo 1: estrutura

Tipo	O que define	Exemplo no banco	Onde armazenar
Estruturado	Schema fixo, definido antes da escrita	Lançamentos do core, cadastro relacional, saldo diário	Tabela Delta colunar ou relacional
Semiestruturado	Estrutura auto-descrita e hierárquica, sem tabela fixa	JSON de autorização de cartão, XML de nota fiscal, log de app	Cru na raw; achatado e colunar na trusted
Não estruturado	Sem estrutura interna consultável por campo	Áudio de call center, imagem de documento, contrato em PDF	Object storage, com metadado catalogado à parte

Eixo 2: natureza da variável

Aqui está a diferença entre o tipo do banco de dados e o significado do dado. O banco diz INT; a classificação diz se aquele inteiro mede ou identifica.

Categoria	Definição	Exemplo bancário	Estatística válida
Nominal	Categoria sem ordem	CPF, código de agência, bandeira do cartão	Contagem, frequência, moda
Ordinal	Categoria com ordem, sem distância comparável	Rating de A a E, faixa de renda	Mediana, percentil, frequência
Discreto	Contagem inteira	Número de transações no mês, parcelas	Soma, média, distribuição
Contínuo	Medida em escala	Valor da transação, saldo, taxa, latência	Média, desvio, percentis

Somar CPF é possível e inútil. Tirar média de código de agência devolve um número que não corresponde a agência nenhuma. O motor não vai te avisar: quem avisa é a classificação.

O que muda no projeto

1Armazenamento: colunar para estruturado, aninhado na entrada para semiestruturado, object storage para não estruturado.
2Modelagem: nominal de baixa cardinalidade é boa dimensão e às vezes boa chave de partição; contínuo é fato, nunca chave.
3Cálculo: definir a estatística válida antes de o indicador ir para o painel evita indicador errado com aparência de certo.
4Contrato: declarar tipo e domínio na trusted é o que permite ao motor validar e ao consumidor confiar.

Eixo 3: sensibilidade, a ponte para governança

Em banco, o eixo que mais muda o desenho não é o estatístico. Um campo pode ser um inocente varchar e ainda assim exigir criptografia, mascaramento e prazo de expurgo, porque é dado pessoal.

A LGPD ainda separa um subconjunto mais protegido, o dado pessoal sensível— Dado sobre origem racial ou étnica, convicção religiosa, opinião política, filiação sindical ou a organização religiosa, filosófica ou política, saúde, vida sexual, além de dado genético ou biométrico ligado a uma pessoa natural. Saber apontar isso num campo de cadastro é o que transforma a resposta de classificação em resposta de arquitetura.

Se quiser outro ângulo

Cobre o eixo qualitativo e quantitativo, que engenheiro de dados costuma pular e a banca costuma cobrar. Assista pensando em que campo do cadastro cai em cada categoria.

Como cai na sabatina

“Como você armazenaria e consultaria um dado semiestruturado?”

Erros comuns

Chamar JSON e XML de dados não estruturados. Eles são semiestruturados: não têm tabela fixa, mas carregam a própria estrutura em tags e chaves, e é justamente isso que permite consultá-los.
Confundir tipo de dado do banco com natureza da variável. CPF é armazenado como texto ou número, mas é qualitativo nominal: somar, tirar média ou ordenar não produz informação.
Achar que dado não estruturado não pode ser analisado. Pode, depois de virar representação estruturada: transcrição de áudio, texto extraído de PDF, embedding de imagem.
Ignorar a classificação por sensibilidade. Em banco, saber que um campo é dado pessoal muda zona, criptografia, mascaramento e retenção; sem isso o desenho técnico está incompleto.
Tratar ordinal como quantitativo. Rating de crédito de A a E tem ordem, mas a distância entre A e B não é comparável à distância entre D e E, então média não significa nada.
Guardar tudo como texto para 'não dar problema'. Perde-se validação, compressão colunar, poda de partição e a chance de o motor pular arquivos pela estatística.

Flashcards

Card 1 de 14

0 certos · 0 a rever

Drill

Classifique os campos de um cadastro bancário

Para cada campo, diga a natureza da variável. Depois, em voz alta, diga que estatística faz sentido para ele — é essa segunda parte que a banca cobra.

1.CPF do titular
2.Código da agência
3.Rating interno de crédito, de A a E
4.Saldo em conta corrente
5.Quantidade de transações no mês
6.Faixa etária declarada (18-25, 26-35, 36-50)
7.Bandeira do cartão
8.Tempo de resposta da autorização, em milissegundos

Drill

Estruturado, semi ou não estruturado?

Classifique cada fonte e diga onde ela seria armazenada e como seria consultada.

1.Tabela de lançamentos do core bancário replicada por CDC
2.Evento de autorização de cartão em JSON, com array de parcelas
3.XML de nota fiscal eletrônica recebida de fornecedor
4.Gravação de áudio do atendimento no call center
5.Imagem do documento de identidade enviado no onboarding
6.Log de aplicação em linhas de chave e valor

Quiz · 1 de 2

Qual afirmação sobre dado não estruturado é correta?

Explique para um gerente

Explique para um analista de negócio por que o sistema não deixa ele tirar a média do código da agência, mesmo o campo sendo numérico.

Responda em voz alta antes de seguir. Se travar numa palavra técnica, é sinal de que ainda não entendeu essa parte.

Perguntas de sabatina deste tema

· Como você armazenaria e consultaria um dado semiestruturado, como o JSON de eventos de autorização de cartão?
· Por que a classificação de um campo muda o que você pode fazer com ele? Dê exemplos de um cadastro bancário.

Responder no simulado

Para ir além

PróximoXML