// testes a/b · ao vivo · 8ª turma
Precisa provar que uma mudança deu resultado e não tem certeza se pode confiar no número?
Aprenda a desenhar, rodar e ler testes A/B que você consegue defender em qualquer reunião.
O método que eu usei em dezenas de milhares de experimentos na Booking, do desenho da hipótese à leitura do resultado. Pra produto, preço, campanha ou política, seja o seu primeiro teste ou o milésimo. 5 encontros ao vivo, direto comigo.
★ 4,8/5 · nota média em 78 avaliações de alunos
quem está na lista sabe primeiro e recebe condições especiais
Deixa eu te falar uma coisa que quase ninguém tem coragem de falar.
A maior parte dos testes A/B rodados por aí está errada. E não estou falando de estagiário — estou falando de gente sênior, em empresa grande, que roda experimento toda semana e reporta resultado pra diretoria.
Como eu sei? Porque eu já vi de perto. Rodei e gerenciei dezenas de milhares de experimentos na Booking, e hoje lidero dados e IA no Magalu. E o padrão se repete: as pessoas aprenderam a apertar o botão da ferramenta, mas não aprenderam o que sustenta o resultado embaixo dele.
Aí acontece o seguinte. Você olha o p-valor no meio do teste, vê que deu "quase", e espera mais uns dias. Parabéns: seu erro, que você achava que era 5%, virou 14%. Você divide o tráfego "meio a meio" e não percebe que 49 mil de um lado e 51 mil do outro já invalidou o teste inteiro. Você comemora um "+40% trocando um botão" e sobe pra produção uma decisão que era ruído.
→ teste inteiro invalidado
Ninguém te contou isso. Porque quase nenhum curso ensina.
E se você ainda não roda teste nenhum: melhor. Você aprende do jeito certo antes de pegar esses vícios.
// o problema não é você
É que ninguém te ensinou a parte que importa.
Existe uma diferença brutal entre rodar um teste e rodar um teste que você pode confiar. Essa diferença tem nome — power analysis, viés de seleção, SRM, ceteris paribus — e é exatamente a parte que os cursos rápidos e os tutoriais de ferramenta pulam. É a parte chata. É a parte que dá trabalho. É a parte que separa quem decide com dados de quem chuta com dados e chama de decisão.
E aqui vai o que torna isso urgente agora: com a IA, o custo de construir despencou.
Qualquer um gera dez versões de uma tela numa tarde. Só que quanto mais fácil construir, mais impossível fica saber, no olho, o que funciona. Na enxurrada de opções que a IA criou, saber validar virou mais importante que saber construir. Quem sabe testar de verdade é quem não vira commodity.
E não é só tela de app. É preço, desconto, campanha, política de crédito, título de matéria. Qualquer decisão em que alguém precisa saber se a mudança causou o resultado.
// o que a gente conserta em 5 encontros
Não é "como clicar na ferramenta". É o método por trás.
O método científico aplicado a produto e dados, na profundidade de quem faz isso em big tech — mas explicado sem te idiotizar.
Por que fazer A/B
Correlação não é causalidade. Confundidores, viés de seleção, e por que o A/B é a única forma de provar que uma mudança causou um resultado — em vez de só achar que causou.
O ciclo do experimento
Como sair do desenvolvimento por "achismo" pro desenvolvimento por hipótese. Como escolher a métrica certa (e por que a maioria mede vaidade). Validade interna e externa.
A estatística que decide
P-valor, significância, e o power analysis — o molho secreto que 90% dos testes por aí erram. Como calcular o tamanho da amostra e a duração antes de rodar, em vez de "deixar uma semana".
Power na prática
Por que controlar o power é o que garante que seu "ganho" é real. Múltiplas variantes, correção, e a conta que mostra quando um efeito pequeno vale milhões.
O que separa um teste válido de um inválido
As armadilhas que matam experimento: peeking, SRM, interferência, efeito novidade. A aula que, nas palavras da última turma, "explode a cabeça".
Tudo ao vivo. Você pergunta, traz o seu caso, e a gente resolve na hora. Não é vídeo gravado — é uma sala.
// pra quem é
Analista, cientista de dados, PM, engenheiro, líder técnico — gente que já trabalha com produto ou dados e quer parar de decidir no escuro.
Se você nunca rodou um A/B, vai sair sabendo fazer do jeito certo desde o começo.
Se você acompanha testes de outros mas não desenha, vai passar a entender, questionar e cobrar.
Se você já roda há anos, vai descobrir o que estava fazendo errado sem saber.
os três perfis estavam na última turma.
// não é pra você se
- ×Você procura tutorial de ferramenta. Aqui não tem "clique aqui no Optimizely": tem o método que vale em qualquer ferramenta.
- ×Você quer um curso de teoria estatística. A estatística entra no quanto precisa pra você decidir certo, não como fim.
- ×Você quer confirmação do que já faz. O curso mostra o que está errado, e isso incomoda.
// quem já passou por aqui
Esta é a 8ª turma.
Foram 7 turmas até aqui, com profissionais de empresas como:
E no ano passado, dei ele fechado pro time da Hotmart.
Nota média dos alunos: 4,8 de 5, em 78 avaliações.
// o que os alunos escreveram na avaliação final
"Se eu fosse você, eu não faria o curso do Caio. Ele fala verdades difíceis de engolir, mostra que rigor estatístico vale muito mais do que sua opinião e, principalmente, mostra que você tá fazendo muita coisa errada em suas experimentações e análises (e como consertar). Se você tem o ego inflado e gosta de viver de aparência, correria longe desse tipo de curso."
aluno · 7ª turma
"Existe uma pessoa que achava que sabia A/B Testing antes do curso, e outra pós curso que entendeu que nunca soube, e ficou feliz de realmente aprender!"
aluno · 7ª turma
"Hoje na era em que se produz muito com IA, saber testar com confiança o que é produzido é uma habilidade diferencial para quem quer se manter relevante profissionalmente."
aluno · 7ª turma
"O curso é tão provocante e esclarecedor que quase sinto saudades de não ter feito. Porque daqui pra frente serei muito mais exigente e questionador com os experimentos dos meus times."
aluno · turma de 2025
"São muitos cursos online sempre com promessas de algo que mudará a vida. Mas dessa vez eu realmente me surpreendi."
aluno · turma de 2025
"Vim de curiosa, mas achei excelente! Conteúdo de qualidade e muito interessante!"
aluna · turma de 2025
// por que existe uma 8ª turma
Vou ser honesto com você, porque é assim que eu trabalho.
Esse curso sempre foi ao vivo. Eu dava turma nova quase todo mês, e enchia. Aí eu parei — não por falta de procura, mas porque o formato ao vivo não estava sendo mais sustentável naquele tempo.
A 7ª turma foi um teste: reabrir o ao vivo e ver se ainda fazia sentido. Fez. Foram 26 alunos, gente de Microsoft, Nubank, iFood, Mercado Livre, Itaú, trazendo caso real pra sala e saindo com o método na mão.
E a procura não parou quando ela fechou. Continuou chegando gente perguntando quando seria a próxima. Então o ao vivo voltou.
Esta é a 8ª turma. Mesmo formato: 5 encontros, comigo, ao vivo. São 25 vagas.
Acelerando sua inovação com teste A/B
5 encontros ao vivo comigo · pelo Zoom · 4, 5, 10, 11 e 12 de novembro · sempre às 20h (Brasília) · turma de no máximo 25 pessoas.
E você não sai só com o que viu na tela
Cinco coisas feitas pra durar muito depois que a turma acabar:
Gravação vitalícia dos 5 encontros
Todo encontro fica gravado e é seu pra sempre. Faltou um dia? Assiste depois. Quer revisar o power analysis daqui a três meses, na hora de aplicar num teste de verdade? Tá lá. É o ao vivo, mas com rede de segurança.
Kit de Experimentação
O curso vira ferramenta. Três peças pra aplicar no trabalho já na segunda-feira:
- —Template de Hipótese — a estrutura que transforma "eu acho que" num experimento testável.
- —Checklist da Boa Métrica — pra você nunca mais gastar um teste inteiro otimizando uma métrica de vaidade.
- —Checklist de Validade — o pré-voo que pega peeking, SRM, viés e as armadilhas que invalidam um teste antes de você subir uma decisão errada pra produção.
Grupo da turma
Você não sai da sala e perde todo mundo. Um grupo com o resto da turma — e você já viu o calibre de quem senta aqui. Troca de caso real, dúvida entre pares, e uma rede de gente que pensa experimentação no seu nível. Vale o networking sozinho.
Kit de Leitura
A curadoria que levaria anos pra você montar sozinho: os livros que eu de fato uso — do Kohavi (a bíblia do A/B) ao Facure (inferência causal) — com o meu comentário de por que ler cada um e em que ordem. É por onde você continua depois que o curso acabar.
🛟 Plantão pós-curso
Quatro semanas depois do último encontro, no dia 10 de dezembro, às 20h, a gente se encontra de novo, ao vivo, por 1 hora. É só pra quem já tentou aplicar: você traz o teste que travou e a dúvida que só apareceu na prática, e a gente resolve junto. As melhores perguntas aparecem depois que o curso acaba, e é aí que você não fica sozinho.
// perguntas rápidas
Não sei se vou ter tempo.+
São 5 encontros de ~2h, à noite. E todos ficam gravados — se faltar um dia, assiste depois. A maioria da turma trabalha em tempo integral e concilia.
E se eu travar na hora de aplicar?+
É pra isso que existe o plantão pós-curso: um encontro ao vivo de 1h no dia 10 de dezembro, às 20h, quatro semanas depois do fim da turma, só com as dúvidas de quem já tentou aplicar.
Será que é o meu nível?+
O curso vai do porquê até o power analysis. Tem gente que nunca rodou um teste e gente sênior que roda há anos buscando rigor. Se você trabalha com produto ou dados, é o seu nível.
É ao vivo mesmo ou é gravado?+
Ao vivo, pelo Zoom, comigo, em tempo real — você pergunta e traz o seu caso. A gravação é um bônus pra você rever depois, não o curso em si.
Quando abrem as vagas?+
Em breve. Quem está na lista de interesse fica sabendo primeiro, antes de qualquer anúncio público, e recebe condições especiais pelo WhatsApp. A turma tem até 25 vagas.
Dá pra parcelar?+
Dá — até 12x sem juros de R$ 166,42 no cartão.