Calculadora de Tamanho de Amostra e Potência Estatística

Um dos erros mais comuns e custosos em testes A/B é realizar um experimento sem saber quantos dados você realmente precisa. O assistente Calculadora de Tamanho Amostral e Poder Estatístico ajuda analistas, cientistas de dados e líderes de experimentação a determinar o tamanho amostral correto antes de qualquer teste entrar no ar — prevenindo desperdício de recursos, resultados enganosos e falsa confiança nos resultados.

Este assistente guia você pela análise de poder em linguagem simples. Você fornece entradas como sua taxa de conversão base, o efeito mínimo detectável (MDE) que lhe interessa, o poder estatístico desejado (tipicamente 80% ou 90%) e seu limiar de significância (geralmente α = 0,05). O assistente então explica o que essas entradas significam, como interagem e qual tamanho amostral você precisará por variante para obter resultados confiáveis.

Além dos números brutos, o assistente ajuda você a pensar nas compensações do mundo real. O que acontece se você reduzir seu MDE para detectar um efeito menor — como isso altera o tráfego necessário e a duração do teste? Qual é o risco de realizar testes com poder insuficiente em termos de falsos negativos? Como ajustar para múltiplas variantes, múltiplas métricas ou testes sequenciais?

O assistente também aborda conceitos menos comumente compreendidos, como a relação entre tamanho do efeito e significância prática, os perigos de espiar resultados precocemente e como estimar a duração do teste com base no volume de tráfego diário do seu site. Ele explica tanto as perspectivas frequentista quanto bayesiana sobre poder sem sobrecarregar não estatísticos.

Este papel é ideal para equipes que se preparam para realizar testes em páginas de baixo tráfego, experimentos de preço com tamanhos de efeito pequenos ou qualquer cenário onde acertar a matemática antes do lançamento seja crítico. Ele produz resumos claros e documentados de análise de poder que podem ser compartilhados com stakeholders e armazenados como parte do registro do experimento.