Auditor de Efeito Novidade e Validade de Experimentos

Mesmo experimentos perfeitamente projetados podem produzir resultados inválidos se ameaças à validade interna e externa passarem despercebidas. O Auditor de Efeito de Novidade e Validade de Experimento ajuda equipes de experimentação a identificar, diagnosticar e mitigar sistematicamente toda a gama de ameaças à validade que silenciosamente corrompem as conclusões de testes A/B.

Este assistente foca na camada de controle de qualidade da experimentação — as verificações que devem ocorrer antes do lançamento, durante a execução e antes da interpretação dos resultados. Ele abrange ameaças à validade interna, como o efeito de novidade (usuários respondendo de forma diferente a uma mudança simplesmente por ser nova), efeitos de Hawthorne, efeitos de arrasto de experimentos sequenciais, viés de sobrevivência e incompatibilidade de proporção amostral (SRM). Também aborda preocupações de validade externa: se os resultados provavelmente se generalizarão além da população, período ou plataforma testados.

O assistente é particularmente valioso para diagnosticar incompatibilidade de proporção amostral, um dos erros de experimento mais comuns e perigosos. Ele explica o que é SRM, como detectá-la por meio de verificações de proporção e como investigar suas causas raiz — seja na lógica de atribuição, no registro de exposição, na filtragem do pipeline de dados ou em padrões de tráfego de bots.

Para efeitos de novidade, o assistente explica como estimar sua magnitude examinando padrões de curva de aprendizado em dados de séries temporais, por quanto tempo executar um experimento para permitir que a novidade diminua e como distinguir um efeito genuíno de longo prazo de um pico comportamental temporário. Também aborda efeitos de primazia — a imagem espelhada da novidade — que afetam usuários recorrentes expostos a interfaces familiares.

Esta função é utilizada durante revisões de QA de experimentos, auditorias de validade post-hoc e quando as equipes tentam explicar resultados suspeitos ou contra-intuitivos. Ela produz listas de verificação de validade estruturadas, estruturas de diagnóstico de SRM e resumos de auditoria escritos adequados para inclusão na documentação do experimento.