Para estimar se uma campanha gerou compradores adicionais, compare grupos formados antes da ação: um participa da intervenção avaliada e outro mantém a rotina definida como controle. O sorteio, a unidade de análise, o resultado e o período precisam estar planejados antes de observar as compras. Contar vendas que chegaram por um link responde a uma pergunta diferente.
Uma avaliação de incrementalidade procura estimar o que mudou por incluir clientes na campanha, em comparação com o que aconteceria sem aquela intervenção. Ela não identifica, pessoa por pessoa, quem compraria de qualquer maneira.
Este guia apresenta uma ficha de desenho e uma leitura de resultados.
Defina o que muda e o que continua igual
Considere uma empresa que quer avaliar um convite promocional adicional para clientes elegíveis. O grupo de tratamento é selecionado para receber esse convite. O controle continua com o atendimento usual, incluindo ajuda, confirmações de compra e compromissos existentes.
O controle não precisa ficar sem comunicação. Ele precisa ficar sem a intervenção específica que está sendo avaliada, conforme o desenho. Retirar atendimento essencial para criar uma diferença entre grupos mediria outra coisa e prejudicaria a operação.
Especifique a mudança. Se o tratamento combina mensagem, desconto e atendimento especial, o resultado se refere ao pacote, não apenas ao texto enviado. Para avaliar somente o convite, mantenha as outras condições coerentes com esse objetivo.
A documentação do Google Ads sobre Conversion Lift distingue conversões atribuídas pelas configurações de rastreamento das conversões incrementais estimadas por comparação experimental. Uma venda creditada a um anúncio não equivale, automaticamente, a uma venda que só aconteceu por causa dele. O produto Google tem desenho, métricas e condições próprios; o exemplo deste artigo não reproduz sua implementação.
Use o guia de UTMs para organizar a origem dos acessos quando houver medição adequada. O controle experimental trata da pergunta causal, não substitui a organização dos links nem é produzido por ela.
Escreva a ficha antes de sortear os grupos
Uma ficha de avaliação deve permitir que outra pessoa reconheça qual pergunta será respondida e quais decisões já foram tomadas. Registre:
- Pergunta e intervenção: qual ação adicional será comparada com qual rotina preservada.
- População elegível: quem pode participar, considerando o público da ação e as permissões e preferências de contato.
- Unidade: cliente, conta ou empresa, conforme a decisão estudada. Defina como evitar que a mesma unidade apareça nos dois grupos.
- Alocação: como o sorteio será realizado, registrado e mantido estável durante a execução.
- Desfecho primário: qual resultado será contado e qual fonte autorizada confirma sua ocorrência.
- Calendário: início e fim da intervenção, período de observação e tratamento das compras que demoram a acontecer.
- Viabilidade: taxa-base esperada, efeito mínimo relevante para a decisão, volume disponível e incerteza que a análise poderá tolerar.
- Análise e encerramento: como os grupos serão comparados, quando o resultado será examinado e quais problemas exigem suspensão ou revisão do teste.
- Responsáveis: quem executa, confere integridade e interpreta o resultado antes da decisão comercial.
No caso que será calculado abaixo, o desfecho é cliente que realizou ao menos uma compra confirmada no período. Defina previamente como cancelamentos e reembolsos afetam essa classificação, com a mesma regra e janela nos dois grupos. Dois pedidos do mesmo cliente não devem virar dois compradores.
Escolher a unidade também exige conhecer a operação. Se pessoas da mesma empresa influenciam a mesma compra, distribuí-las entre os dois grupos pode misturar os efeitos. A unidade de sorteio e a análise precisam considerar essa interação. O exemplo numérico pressupõe clientes distintos, sem essa dependência relevante entre unidades.
Preserve os grupos originais na análise
Depois do sorteio, mantenha a referência de quem foi designado para cada grupo. A análise principal não deve ser refeita apenas com quem recebeu, abriu, clicou ou comprou. Essas ações podem depender da própria intervenção; selecionar os participantes depois delas muda a comparação.
Se uma mensagem não chegou, registre a falha. Se um cliente do controle recebeu o mesmo convite por outro caminho, registre a contaminação. Esses fatos ajudam a interpretar a execução, mas não autorizam reconstruir os grupos até aparecer uma diferença mais favorável.
As preferências de contato continuam valendo. Não envie a quem pediu interrupção. Documente impedimentos e perdas de observação, respeitando o que pode ser usado na análise. Uma avaliação não deve depender de ignorar escolhas do cliente ou de criar coleta sem autorização.
Na proposta deste guia, a comparação estima o efeito de designar o cliente para a ação adicional sob aquela execução. Ela não isola o efeito de visualizar ou ler a mensagem. Comparar clicadores com não clicadores responderia outra pergunta e perderia a proteção do sorteio original.
A orientação de Conversion Lift do Display & Video 360 descreve grupos aleatórios e aponta contaminação, atrasos de conversão e lacunas de medição entre as limitações. A disponibilidade do estudo exige confirmar modalidade e elegibilidade com o responsável pelo produto. Essas condições não se transferem para qualquer conta ou ferramenta de campanhas.
Leia 80 contra 60 sem transformar a conta em certeza
Considere dois grupos sorteados conforme o plano, com mil clientes originalmente designados para cada braço e observação adequada do desfecho. Um resultado desconhecido não deve ser classificado automaticamente como ausência de compra. Ao final do período definido, a fonte de confirmação registra:
| Medida | Tratamento | Controle |
|---|---|---|
| Clientes originalmente designados | 1.000 | 1.000 |
| Clientes com ao menos uma compra confirmada | 80 | 60 |
| Taxa observada de compradores | 8% | 6% |
A diferença observada é 8% − 6% = 2 pontos percentuais. Com desenho íntegro e medição comparável, aplicada aos mil clientes do tratamento, produz uma estimativa pontual de 20 compradores adicionais naquele grupo: 0,02 × 1.000.
Isso não permite apontar quais vinte pessoas foram influenciadas. Também não representa quarenta compradores adicionais nos dois mil participantes nem uma estimativa autorizada para a base inteira. A extrapolação para outra população ou execução exigiria outras justificativas.
Se for apresentada como diferença relativa ao controle, a conta é (8% − 6%) ÷ 6%, aproximadamente 33,3%. Esse percentual tem o controle como base; não substitui os dois pontos percentuais nem informa, sozinho, relevância econômica.
Além disso, mil clientes por braço não garantem viabilidade ou precisão. Uma diferença positiva pode aparecer por variação amostral. É necessário avaliar a incerteza com uma análise apropriada à unidade e ao desenho. Os números da tabela, isoladamente, não demonstram significância estatística nem sustentam uma promessa de ganho.
Se o intervalo de incerteza ainda comportar resultados incompatíveis com a decisão pretendida, a conclusão pode ser inconclusiva. “Não foi possível concluir” não significa que a campanha tenha efeito zero; significa que a evidência disponível não resolve a pergunta com a precisão necessária.
Encerre pela regra planejada e documente os limites
Não pare a avaliação apenas no primeiro dia em que aparecer uma diferença favorável. Siga o horizonte e a análise definidos previamente. Problemas de integridade, falha de execução ou necessidade operacional podem exigir interrupção, mas devem ficar registrados e limitar a interpretação do resultado.
Confira atrasos antes de fechar a leitura. Uma compra que costuma acontecer depois de uma análise de proposta pode não aparecer numa janela curta. Ajustar a janela só porque o resultado decepcionou também muda a regra; planeje o acompanhamento com base no processo e reporte os desvios.
Na decisão final, separe três situações: desenho comprometido, resultado impreciso e evidência suficientemente informativa para a pergunta definida. Cada uma leva a uma providência diferente: corrigir execução, avaliar um novo estudo viável ou discutir expansão dentro dos limites observados. Nenhuma dessas saídas dispensa examinar custos e qualidade do atendimento.
O cálculo de ROI da automação entra depois, com custos completos e benefício econômico bem definido. Compradores adicionais estimados não são automaticamente lucro: valor, margem, devoluções e custo da ação ainda precisam ser considerados no recorte adequado.
Ao planejar uma campanha na Nextags, documente a execução e confirme os dados disponíveis conforme o canal e a conexão. Sorteio, controle experimental e análise de incrementalidade precisam de desenho e recursos próprios, validados antes do início. A existência de uma ferramenta de campanhas não comprova a presença de um módulo de experimentação causal.
Fontes e referências
Regras e recursos dos canais podem mudar. Confira as condições atuais nas fontes oficiais antes de colocar sua operação no ar.
Conteúdo de Angelo Sebastião Silva Goncalves. Preparado com apoio de IA. Consulte as fontes e os critérios editoriais. Conheça nossos critérios editoriais e como solicitar uma correção.
