Databricks · tema 13 de 30
Databricks: a plataforma
35 min · 2 vídeos · 13 cards · 1 drill
Por que cai
É a plataforma que o banco usa no dia a dia, então a banca deixa de perguntar conceito e passa a perguntar operação: onde roda, quanto custa, quem tem acesso. Errar a diferença entre cluster interativo e cluster de job entrega que você nunca respondeu por uma fatura.
Pré-teste · 1 de 2
responda antes de verUm pipeline roda todo dia às 3h e leva 40 minutos. Que tipo de compute é o mais adequado?
Vídeo · português · 13 min
Em uma frase
Databricks é a plataforma gerenciada construída em volta do Apache Spark: ela entrega o motor, mais o ambiente de trabalho, a orquestração, a ingestão incremental e a governança que o Spark sozinho não tem.
Databricks não é o Spark
A distinção parece pedante até a banca perguntar. O Spark é um motor de processamento distribuído: você o instala, configura, orquestra e monitora. O Databricks empacota o Spark num runtime próprio e acrescenta o que falta em volta dele — workspace, catálogo, permissões, agendamento, monitoramento e provisionamento de máquina.
Na AWS, o desenho é: o plano de controle fica com a Databricks, a computação roda em máquinas provisionadas para você, e os dados continuam no S3 da conta da própria instituição. Isso importa na sabatina porque muda a conversa com segurança: o banco não está entregando os dados, está terceirizando o gerenciamento da computação.
As peças que você precisa saber nomear
| Peça | Para que serve | Onde erra quem não usou |
|---|---|---|
| Workspace | Ambiente com notebooks, código, jobs e permissões | Misturar dev e produção no mesmo workspace |
| Notebook | Interface de desenvolvimento e exploração | Deixar lógica de produção só no notebook, sem versionamento |
| Cluster | A computação que executa o Spark | Escolher o tipo errado e pagar ociosidade |
| Jobs / Workflows | Orquestração nativa com dependência, retry e alerta | Subir um orquestrador externo para encadear dois notebooks |
| Auto Loader | Ingestão incremental de arquivos do object storage | Reler o diretório inteiro toda madrugada |
| Unity Catalog | Governança: permissão, linhagem, auditoria | Controlar acesso por bucket e perder rastreabilidade |
Escolha de cluster é decisão de custo
Esta é a parte em que a banca separa quem já respondeu por uma fatura.
| Tipo | Quando usar | Efeito no custo |
|---|---|---|
| All-purpose | Exploração interativa em notebook, trabalho compartilhado | Fica ligado até alguém encerrar e tem a tarifa por DBU mais alta |
| Job cluster | Pipeline agendado, execução automatizada | Nasce com o job e morre no fim: sem ociosidade e com tarifa menor |
| Serverless | Consulta e job em que o tempo de subida incomoda | Sem VM para administrar e partida rápida; menos controle fino de configuração |
Auto Loader: ingestão incremental sem gambiarra
Arquivo caindo em S3 ao longo do dia é o padrão de ingestão bancária: retorno de adquirente, arquivo de câmbio, extração do core. O Auto Loader mantém um checkpoint— Registro persistente de quais arquivos já foram processados, para que a próxima execução continue de onde parou. Com isso, reprocessamento não duplica, arquivo novo é detectado sem revarrer o diretório inteiro e a evolução de schema é tratada em vez de derrubar o job.
Delta Live Tables, em poucas linhas
DLT é a forma declarativa de escrever pipeline: você declara as tabelas e as regras de qualidade (as expectations), e a plataforma resolve a ordem de execução, o estado incremental e o que fazer com o registro que viola a regra — descartar, deixar passar com aviso ou falhar. Vale citar como opção; não invente detalhe de configuração que você não usou. [verificar o nome comercial vigente do produto na documentação, que a Databricks reposicionou sob a família Lakeflow]
Unity Catalog: onde a governança acontece
Sem Unity Catalog, permissão em lakehouse é permissão de bucket, e bucket não
sabe o que é coluna de CPF. Com ele, você endereça tudo em três níveis —
catalog.schema.objeto — e concede acesso no nível do objeto.
- 1Desenhe o namespace com intenção: catálogo por ambiente ou domínio, schema por assunto.
- 2Conceda a grupos mapeados no diretório corporativo, nunca a usuários individuais.
- 3Use máscara de coluna e filtro de linha em vez de criar cópias mascaradas que divergem.
- 4Ative linhagem e auditoria: é o que responde 'quem consultou o CPF desse cliente'.
- 5Dê acesso ao S3 por credencial gerenciada no catálogo, não por chave dentro do notebook.
Se quiser outro ângulo
Como cai na sabatina
“Como você organizaria o acesso a dados sensíveis dentro do Databricks?”
Erros comuns
- Dizer que Databricks é o Spark. Databricks é uma plataforma gerenciada construída em volta do Spark, com runtime próprio, catálogo, orquestração e governança; o Spark é o motor dentro dela.
- Rodar pipeline de produção em cluster all-purpose. Além de custar mais por DBU do que job compute, o cluster fica ligado ocioso entre execuções e vira a maior linha da fatura.
- Tratar Unity Catalog como um catálogo de metadados a mais. Ele é o ponto único de permissão, linhagem e auditoria; sem ele, o controle de acesso volta a ser por bucket e some a rastreabilidade.
- Achar que Auto Loader é só um read de diretório. Ele mantém checkpoint do que já foi processado, então reprocessamento não duplica e arquivo novo é detectado sem varrer o diretório inteiro toda vez.
- Confundir schema do Unity Catalog com schema de dados. No namespace de três níveis, schema é o nível intermediário, equivalente ao database; schema de dados é o contrato das colunas.
- Esquecer que o dado continua no S3 do banco. Databricks não guarda os dados: a computação é gerenciada, o armazenamento é da conta AWS da instituição, e isso muda a conversa com segurança.
Flashcards
Card 1 de 13
0 certos · 0 a reverDrill
Que peça da plataforma resolve isso?
Diga qual recurso do Databricks você usaria em cada caso. Justifique com custo ou com governança, porque é assim que a banca puxa a repergunta.
1.Analista explorando dados de fraude num notebook durante a tarde.
2.Pipeline noturno de fechamento de extrato, agendado e sem interação humana.
3.Arquivos de retorno do adquirente caem no S3 ao longo do dia e precisam ser carregados sem duplicar.
4.Três notebooks precisam rodar em ordem, com retentativa e alerta em caso de falha.
5.O time quer declarar as tabelas do pipeline e as regras de qualidade, deixando a ordem de execução para a plataforma.
6.Ciência de dados precisa da tabela de transações, mas sem enxergar o CPF em claro.
7.Consulta ad hoc rápida de um analista que não quer esperar cluster subir.
Quiz · 1 de 2
Onde ficam fisicamente os dados de um lakehouse Databricks rodando na AWS?
Explique para um gerente
Explique para o gerente de infraestrutura por que o time de dados precisa do Databricks se a empresa já tem EMR e S3.
Responda em voz alta antes de seguir. Se travar numa palavra técnica, é sinal de que ainda não entendeu essa parte.
Perguntas de sabatina deste tema
- · Como você organizaria o acesso a dados sensíveis dentro do Databricks, num banco?
- · A fatura do Databricks dobrou em dois meses sem aumento de volume de dados. Como você investigaria?
Para ir além