Além da ementa · tema 38 de 40
Estatística para analytics, sem virar estatístico
35 min · 2 vídeos · 12 cards · 1 drill
Por que cai
A banca não vai pedir derivação de fórmula. Vai descrever um achado com armadilha estatística e ver se você morde: 'as vendas caíram 8% esta semana' ou 'quem usa o recurso X compra mais'. Quem responde sem perguntar pela variação normal ou pela seleção da amostra entrega uma conclusão que não se sustenta.
Pré-teste · 1 de 2
responda antes de verA conversão de quem usa um recurso novo é o dobro da de quem não usa. O que se pode afirmar?
Vídeo · português · 8 min
Em uma frase
A estatística que o engenheiro de analytics precisa não é a de derivar fórmula: é a que impede conclusão errada — variação normal, distribuição em vez de média, e a distância entre associação e causa.
A média engana; a distribuição, não
Renda, ticket, tempo de resposta e duração de sessão quase sempre são assimétricos ou têm valores extremos. Nesses casos, a média descreve mal o típico.
| O que reportar | O que ela responde |
|---|---|
| Média | Quanto daria se dividisse igualmente (sensível a extremos) |
| Mediana | O valor do caso do meio: o típico |
| Quartis | Onde estão os 25% menores e maiores |
| Histograma | A forma: há um grupo ou dois? |
Associação não é causa
autosseleção— Quando as pessoas escolhem em qual grupo estar. Quem opta por usar um recurso já é diferente de quem não opta, e essa diferença contamina qualquer comparação entre os dois grupos.É a armadilha mais cobrada: "quem usa o recurso converte o dobro". Pode ser o recurso causando — ou o cliente engajado, que já convertia mais, sendo o que adota o recurso.
Duas saídas, em ordem de custo:
- Checagem barata: os grupos já eram diferentes antes do lançamento? Se sim, a hipótese cai sem experimento nenhum.
- Experimento: oferecer a uma parcela aleatória, comparar com controle, com tamanho e duração definidos antes.
Variação normal: confirmar que houve fato
Antes de explicar uma queda, confirme que ela é diferente do ruído. "Caiu 8%" num indicador que oscila 10% por semana não é evento — e investigar isso gera narrativa para algo que não aconteceu.
- 1Olhar a série de várias semanas, não só a anterior: qual é a oscilação habitual?
- 2Considerar sazonalidade: feriado, virada de mês, campanha. O comparativo honesto costuma ser a mesma semana do ano anterior.
- 3Se continua fora do padrão, decompor: concentrado numa região ou canal aponta causa; queda uniforme costuma ser sistêmico.
- 4Checar falha de dado. Pipeline que rodou parcialmente parece exatamente queda de vendas.
Duas armadilhas com nome
Paradoxo de Simpson. Um padrão no agregado pode se inverter em cada subgrupo, quando os subgrupos têm tamanhos e taxas diferentes. A campanha pode parecer melhor no total e ser pior em todas as faixas de idade. A defesa é simples: sempre olhar segmentado.
Viés de sobrevivência. Analisar só quem restou e concluir sobre todos. Entrevistar clientes atuais sobre a mudança de preço ignora exatamente quem saiu por causa dela.
A pergunta que desarma quase tudo
Comparado com o quê? Período anterior, mesmo período do ano passado, grupo de controle, variação habitual. Toda conclusão apressada morre nessa pergunta, e fazê-la em voz alta na sabatina é mais valioso que qualquer fórmula.
Como responder isso em voz alta
Separe o que o dado mostra do que ele não mostra. Ofereça a checagem barata antes do experimento caro. Para qualquer movimento de indicador, confirme variação habitual e sazonalidade antes de procurar causa. E diga sempre o que é achado e o que é suposição — é isso que faz alguém confiar no próximo número que você trouxer.
Se quiser outro ângulo1 vídeo
Como cai na sabatina
“A conversão de quem usa o recurso novo é o dobro. Podemos dizer que o recurso aumenta a conversão?”
Erros comuns
- Reportar média sem olhar a distribuição. Média em distribuição assimétrica ou com valores extremos descreve mal o típico; mediana e quartis costumam informar melhor.
- Tratar correlação como causalidade. Pode haver causa reversa, terceira variável ou coincidência; afirmar causa exige desenho que isole o efeito.
- Confundir variação normal com tendência. Todo indicador oscila; sem noção da variação habitual, qualquer movimento vira reunião.
- Comparar grupos sem checar se são comparáveis. Quem escolhe usar um recurso costuma ser diferente de quem não escolhe, e essa diferença explica boa parte do resultado.
- Ignorar o paradoxo de Simpson. Um padrão pode existir no agregado e se inverter em cada subgrupo, quando os subgrupos têm tamanhos e taxas diferentes.
- Encerrar teste A/B ao ver resultado favorável. Parar quando deu bom, sem tamanho de amostra e duração definidos antes, é a forma mais comum de fabricar significância.
Flashcards
Card 1 de 12
0 certos · 0 a reverDrill
Que armadilha é essa?
Para cada conclusão, diga a armadilha estatística.
1.'Nossos clientes estão satisfeitos: a nota média é 8,2.' A distribuição tem metade em 10 e metade em 6.
2.'Quem abre o aplicativo toda semana gasta mais, então vamos fazer todo mundo abrir mais.'
3.'A conversão caiu 3% ontem, precisamos agir hoje.' Ela oscila 5% todo dia.
4.'A campanha teve conversão melhor no total, mas foi pior em cada faixa de idade.'
5.'Entrevistamos os clientes atuais e todos aprovam a mudança de preço.'
Quiz · 1 de 2
Qual afirmação sobre testes A/B é mais defensável?
Explique para um gerente
Explique em um minuto por que duas coisas andarem juntas não prova que uma causa a outra, com um exemplo do dia a dia.
Se travar numa palavra técnica, é sinal de que ainda não entendeu essa parte.
Prefiro falar em voz alta
00:00
Toque para gravar, ou responda em voz alta sem gravar
Perguntas de sabatina deste tema2
- · Um gerente diz: a conversão de quem usa o recurso novo é o dobro, então vamos empurrar o recurso para todos. Como você responde?
- · As vendas caíram 8% esta semana. O diretor quer saber o que aconteceu. Como você conduz?