Glossário
19 termos da trilha de Engenharia de Analytics, cada um com o tema onde ele é explicado por inteiro.
- ação
- Operação que devolve um valor ao driver ou escreve num destino, e por isso dispara a execução: count, collect, show, write.
- Spark: introdução
- catálogo de dados
- Inventário pesquisável de conjuntos de dados com dono, definição de negócio, classificação de sensibilidade, linhagem e forma de pedir acesso.
- Governança de dados
- coluna de dado resgatado
- Coluna onde o leitor guarda os campos que não batem com o schema declarado, para que nada se perca e a mudança de origem fique registrada.
- JSON
- dado pessoal sensível
- Dado sobre origem racial ou étnica, convicção religiosa, opinião política, filiação sindical ou a organização religiosa, filosófica ou política, saúde, vida sexual, além de dado genético ou biométrico ligado a uma pessoa natural.
- Classificação de tipos de dados
- dependência narrow
- Cada partição de saída depende de no máximo uma partição de entrada.
- Spark: RDD, transformações e ações
- dependência wide
- Uma partição de saída depende de várias partições de entrada, porque a mesma chave precisa se reunir num lugar só.
- Spark: RDD, transformações e ações
- event time
- O momento em que o fato aconteceu: a hora da compra registrada pela maquininha.
- Processamento batch e stream
- partition pruning
- Descarte de partições inteiras antes de abrir qualquer arquivo, com base no filtro da consulta.
- Particionamento de dados
- reconciliação
- O processo que compara a origem com a visão consolidada, explica cada diferença e prova que o número oficial fecha com o fato.
- Source of Record vs Source of Truth
- shuffle
- Redistribuição de dados entre executores, necessária quando a mesma chave precisa terminar no mesmo lugar.
- Spark: introdução
- SLO de dados
- Meta interna e mensurável sobre um dado: por exemplo, a tabela de transações fica pronta até 6h em 99% dos dias úteis.
- Qualidade de dados
- Source of Record
- O sistema autoritativo sobre o fato no momento em que ele acontece: o core bancário para a transação, o CRM para o cadastro, o sistema de crédito para o contrato.
- Source of Record vs Source of Truth
- Source of Truth
- A visão consolidada, tratada e governada que a organização usa para decidir: a tabela certificada de onde sai o KPI, com dono, definição escrita e regra de cálculo.
- Source of Record vs Source of Truth
- tabela dimensão
- tabela que descreve o contexto do evento e fornece filtros e agrupamentos
- OLAP, OLTP e ETL
- tabela fato
- tabela que guarda os eventos mensuráveis do negócio, com métricas e chaves para as dimensões
- OLAP, OLTP e ETL
- tokenização
- Substituição do valor sensível por um substituto sem significado, reversível apenas por quem tem acesso ao cofre de tokens.
- As zonas de um Data Lake
- transformação
- Operação que devolve outro conjunto distribuído e apenas acrescenta um nó ao plano: filter, select, join, groupBy.
- Spark: introdução
- XSD
- XML Schema Definition: o arquivo que declara a estrutura esperada do documento, com tipos e obrigatoriedade, permitindo rejeitar o que não obedece.
- XML