Glossário
41 termos da trilha de Engenharia de Analytics, cada um com o tema onde ele é explicado por inteiro.
- ABAC
- Acesso decidido por atributos do usuário e do dado no momento da consulta.
- Segurança e privacidade de dados em banco
- ação
- Operação que devolve um valor ao driver ou escreve num destino, e por isso dispara a execução: count, collect, show, write.
- Spark: introdução
- atributo pré-atentivo
- Característica visual processada antes da atenção consciente — cor, tamanho, posição, orientação. É o que faz um ponto saltar da tela em milissegundos, e por isso é um recurso escasso.
- Percepção visual e escolha do gráfico
- autosseleção
- Quando as pessoas escolhem em qual grupo estar. Quem opta por usar um recurso já é diferente de quem não opta, e essa diferença contamina qualquer comparação entre os dois grupos.
- Estatística para analytics, sem virar estatístico
- BASE
- Basically Available, Soft state, Eventually consistent. Prioriza responder sempre, aceitando que as réplicas fiquem temporariamente diferentes e convirjam depois.
- Relacional e NoSQL: ACID, BASE e a escolha real
- camada semântica
- Lugar onde métricas e dimensões são definidas de forma consultável, para que ferramentas diferentes recebam o mesmo número com a mesma regra.
- Camada semântica e definição de métricas
- catálogo de dados
- Inventário pesquisável de conjuntos de dados com dono, definição de negócio, classificação de sensibilidade, linhagem e forma de pedir acesso.
- Governança de dados
- chave de distribuição
- Coluna que decide em qual nó cada linha fica. Quando duas tabelas grandes se juntam pela mesma coluna e estão distribuídas por ela, a junção acontece dentro de cada nó, sem tráfego de rede.
- Redshift e a camada de consumo analítico
- chave de ordenação
- Coluna pela qual os blocos ficam ordenados. O cluster guarda o mínimo e o máximo de cada bloco e descarta blocos inteiros que não atendem ao filtro.
- Redshift e a camada de consumo analítico
- coluna de dado resgatado
- Coluna onde o leitor guarda os campos que não batem com o schema declarado, para que nada se perca e a mudança de origem fique registrada.
- JSON
- contrato de dados
- Acordo explícito e versionado entre quem publica e quem consome, declarando esquema, significado de cada campo, granularidade, janela de atualização, garantias de qualidade e quem responde quando algo falha.
- Contratos de dados e plataforma self-serve
- dado pessoal sensível
- Dado sobre origem racial ou étnica, convicção religiosa, opinião política, filiação sindical ou a organização religiosa, filosófica ou política, saúde, vida sexual, além de dado genético ou biométrico ligado a uma pessoa natural.
- Classificação de tipos de dados
- declaratividade
- Descrever o estado desejado, não os passos. Aplicar duas vezes dá o mesmo resultado, porque a ferramenta calcula a diferença em vez de repetir comandos.
- Ambientes e infraestrutura como código
- dependência narrow
- Cada partição de saída depende de no máximo uma partição de entrada.
- Spark: RDD, transformações e ações
- dependência wide
- Uma partição de saída depende de várias partições de entrada, porque a mesma chave precisa se reunir num lugar só.
- Spark: RDD, transformações e ações
- deriva de configuração
- Diferença entre o que o código declara e o que existe de fato, criada quando alguém ajusta um recurso pelo console.
- Ambientes e infraestrutura como código
- estado
- Registro do que a ferramenta já criou. É o que permite calcular a diferença e produzir um plano. Fica remoto, versionado e com bloqueio, para duas execuções não se atropelarem.
- Ambientes e infraestrutura como código
- event time
- O momento em que o fato aconteceu: a hora da compra registrada pela maquininha.
- Processamento batch e stream
- grão
- A frase que define o que uma linha da tabela fato representa. "Uma linha por autorização de cartão" é um grão; "dados de cartão" não é.
- Modelagem de dados
- idempotência
- Rodar a mesma task sobre a mesma janela uma ou várias vezes deixa o destino no mesmo estado final.
- Orquestração de pipelines
- indicador
- Métrica escolhida para acompanhar um objetivo, com meta, responsável e frequência definidos.
- Dashboards e indicadores que alguém usa
- linhagem
- Registro de origem e destino de cada tabela e coluna ao longo do pipeline.
- DataOps e observabilidade
- métrica
- Qualquer número medido: sessões, registros processados, ticket médio.
- Dashboards e indicadores que alguém usa
- partition pruning
- Descarte de partições inteiras antes de abrir qualquer arquivo, com base no filtro da consulta.
- Particionamento de dados
- produto de dados
- Conjunto de dados publicado por um domínio com dono nomeado, documentação, contrato de esquema e semântica, acordo de nível de serviço, versionamento e presença no catálogo.
- Data Mesh: os quatro princípios
- QuickSight
- Ferramenta de BI da AWS. Conecta a Redshift, Athena, S3 e bancos, e tem o SPICE, um motor em memória que guarda uma cópia do conjunto para o painel responder sem consultar a origem a cada clique.
- Redshift e a camada de consumo analítico
- reconciliação
- O processo que compara a origem com a visão consolidada, explica cada diferença e prova que o número oficial fecha com o fato.
- Source of Record vs Source of Truth
- Redshift Spectrum
- Consulta arquivos no S3 direto do cluster, sem carregá-los, cobrando por dado lido. Permite juntar tabela interna com histórico externo na mesma consulta.
- Redshift e a camada de consumo analítico
- shuffle
- Redistribuição de dados entre executores, necessária quando a mesma chave precisa terminar no mesmo lugar.
- Spark: introdução
- SLO de dados
- Meta interna e mensurável sobre um dado: por exemplo, a tabela de transações fica pronta até 6h em 99% dos dias úteis.
- Qualidade de dados
- snapshot
- Mecanismo que captura mudanças de um registro ao longo do tempo, implementando dimensão de mudança lenta do tipo 2: preserva o valor antigo com data de validade quando o novo chega.
- dbt: transformação versionada em SQL
- Source of Record
- O sistema autoritativo sobre o fato no momento em que ele acontece: o core bancário para a transação, o CRM para o cadastro, o sistema de crédito para o contrato.
- Source of Record vs Source of Truth
- Source of Truth
- A visão consolidada, tratada e governada que a organização usa para decidir: a tabela certificada de onde sai o KPI, com dono, definição escrita e regra de cálculo.
- Source of Record vs Source of Truth
- tabela dimensão
- tabela que descreve o contexto do evento e fornece filtros e agrupamentos
- OLAP, OLTP e ETL
- tabela fato
- tabela que guarda os eventos mensuráveis do negócio, com métricas e chaves para as dimensões
- OLAP, OLTP e ETL
- tokenização
- Substituição do valor sensível por um substituto sem significado, reversível apenas por quem tem acesso ao cofre de tokens.
- As zonas de um Data Lake
- transformação
- Operação que devolve outro conjunto distribuído e apenas acrescenta um nó ao plano: filter, select, join, groupBy.
- Spark: introdução
- window function
- Função que calcula um valor por linha olhando um conjunto de linhas relacionadas (a janela), sem colapsar o resultado como o GROUP BY faz.
- SQL para engenharia de dados
- XSD
- XML Schema Definition: o arquivo que declara a estrutura esperada do documento, com tipos e obrigatoriedade, permitindo rejeitar o que não obedece.
- XML