// testes a/b · ao vivo · 7ª turma
Você roda testes A/B.
Só que provavelmente
roda errado
— e o pior: sem saber.
5 encontros ao vivo, direto comigo.
Reabri uma turma, uma só, a pedido de quem ficou na lista de espera.
Deixa eu te falar uma coisa que quase ninguém tem coragem de falar.
A maior parte dos testes A/B rodados por aí está errada. E não estou falando de estagiário — estou falando de gente sênior, em empresa grande, que roda experimento toda semana e reporta resultado pra diretoria.
Como eu sei? Porque eu já vi de perto. Rodei e gerenciei dezenas de milhares de experimentos na Booking, e hoje lidero dados na Magazine Luiza. E o padrão se repete: as pessoas aprenderam a apertar o botão da ferramenta, mas não aprenderam o que sustenta o resultado embaixo dele.
Aí acontece o seguinte. Você olha o p-valor no meio do teste, vê que deu "quase", e espera mais uns dias. Parabéns: seu erro, que você achava que era 5%, virou 14%. Você divide o tráfego "meio a meio" e não percebe que 49 mil de um lado e 51 mil do outro já invalidou o teste inteiro. Você comemora um "+40% trocando um botão" e sobe pra produção uma decisão que era ruído.
→ teste inteiro invalidado
Ninguém te contou isso. Porque quase nenhum curso ensina.
// o problema não é você
É que ninguém te ensinou a parte que importa.
Existe uma diferença brutal entre rodar um teste e rodar um teste que você pode confiar. Essa diferença tem nome — power analysis, viés de seleção, SRM, ceteris paribus — e é exatamente a parte que os cursos rápidos e os tutoriais de ferramenta pulam. É a parte chata. É a parte que dá trabalho. É a parte que separa quem decide com dados de quem chuta com dados e chama de decisão.
E aqui vai o que torna isso urgente agora: com a IA, o custo de construir despencou.
Qualquer um gera dez versões de uma tela numa tarde. Só que quanto mais fácil construir, mais impossível fica saber, no olho, o que funciona. Na enxurrada de opções que a IA criou, saber validar virou mais importante que saber construir. Quem sabe testar de verdade é quem não vira commodity.
// o que a gente conserta em 5 encontros
Não é "como clicar na ferramenta". É o método por trás.
O método científico aplicado a produto e dados, na profundidade de quem faz isso em big tech — mas explicado sem te idiotizar.
Por que fazer A/B
Correlação não é causalidade. Confundidores, viés de seleção, e por que o A/B é a única forma de provar que uma mudança causou um resultado — em vez de só achar que causou.
O ciclo do experimento
Como sair do desenvolvimento por "achismo" pro desenvolvimento por hipótese. Como escolher a métrica certa (e por que a maioria mede vaidade). Validade interna e externa.
A estatística que decide
P-valor, significância, e o power analysis — o molho secreto que 90% dos testes por aí erram. Como calcular o tamanho da amostra e a duração antes de rodar, em vez de "deixar uma semana".
Power na prática
Por que controlar o power é o que garante que seu "ganho" é real. Múltiplas variantes, correção, e a conta que mostra quando um efeito pequeno vale milhões.
O que separa um teste válido de um inválido
As armadilhas que matam experimento: peeking, SRM, interferência, efeito novidade. A aula que, nas palavras da última turma, "explode a cabeça".
Tudo ao vivo. Você pergunta, traz o seu caso, e a gente resolve na hora. Não é vídeo gravado — é uma sala.
// pra quem é
Analista, cientista de dados, PM, engenheiro, líder técnico — gente que já trabalha com produto ou dados e quer parar de rodar teste no escuro.
Se você nunca rodou um A/B, vai sair sabendo fazer do jeito certo desde o começo.
Se você já roda há anos, vai descobrir o que estava fazendo errado sem saber.
as duas coisas aconteceram na última turma.
// quem já passou por aqui
Esta é a 7ª turma.
Este curso já rodou com profissionais de empresas como:
E no ano passado, dei ele fechado pro time da Hotmart.
// por que só agora — e por que uma turma só
Vou ser honesto com você, porque é assim que eu trabalho.
Esse curso sempre foi ao vivo. Eu dava turma nova quase todo mês, e enchia. Aí eu parei — não por falta de procura, mas porque o formato ao vivo não estava sendo mais sustentável naquele tempo.
Só que os pedidos não pararam. Gente entrando na lista de espera toda semana, querendo fazer comigo, ao vivo, em tempo real. Então eu topei abrir uma turma. Uma só, pra testar se vale a pena o formato voltar. Se fizer sentido, penso em manter. Se não, é a despedida do ao vivo.
Ou seja: hoje, esta turma é a única forma de fazer esse curso comigo, ao vivo. São 25 vagas.
Acelerando sua inovação com teste A/B
5 encontros ao vivo comigo · 29, 30 e 31 de julho e 3 e 4 de agosto · sempre às 20h (Brasília) · turma de no máximo 25 pessoas.
E você não sai só com o que viu na tela
Quatro coisas feitas pra durar muito depois que a turma acabar:
Gravação vitalícia dos 5 encontros
Todo encontro fica gravado e é seu pra sempre. Faltou um dia? Assiste depois. Quer revisar o power analysis daqui a três meses, na hora de aplicar num teste de verdade? Tá lá. É o ao vivo, mas com rede de segurança.
Kit de Experimentação
O curso vira ferramenta. Três peças pra aplicar no trabalho já na segunda-feira:
- —Template de Hipótese — a estrutura que transforma "eu acho que" num experimento testável.
- —Checklist da Boa Métrica — pra você nunca mais gastar um teste inteiro otimizando uma métrica de vaidade.
- —Checklist de Validade — o pré-voo que pega peeking, SRM, viés e as armadilhas que invalidam um teste antes de você subir uma decisão errada pra produção.
Grupo da turma
Você não sai da sala e perde todo mundo. Um grupo com o resto da turma — e você já viu o calibre de quem senta aqui. Troca de caso real, dúvida entre pares, e uma rede de gente que pensa experimentação no seu nível. Vale o networking sozinho.
Kit de Leitura
A curadoria que levaria anos pra você montar sozinho: os livros que eu de fato uso — do Kohavi (a bíblia do A/B) ao Facure (inferência causal) — com o meu comentário de por que ler cada um e em que ordem. É por onde você continua depois que o curso acabar.
// perguntas rápidas
Não sei se vou ter tempo.+
São 5 encontros de ~2h, à noite. E todos ficam gravados — se faltar um dia, assiste depois. A maioria da turma trabalha em tempo integral e concilia.
Será que é o meu nível?+
O curso vai do porquê até o power analysis. Tem gente que nunca rodou um teste e gente sênior que roda há anos buscando rigor. Se você trabalha com produto ou dados, é o seu nível.
É ao vivo mesmo ou é gravado?+
Ao vivo, comigo, em tempo real — você pergunta e traz o seu caso. A gravação é um bônus pra você rever depois, não o curso em si.
Dá pra parcelar?+
Dá — até 12x de R$ 199,90 no cartão.