Test A/B

El paso que se saltan la mayoría de las pruebas de agencia es el que determina si la prueba puede funcionar. Antes de empezar, decide qué diferencia justificaría actuar y calcula aproximadamente cuánto tráfico necesitaría cada variante para que una diferencia de ese tamaño se distinga del ruido.

Sin ese cálculo, una prueba puede terminar de dos formas, y las dos son malas. Se acaba el tiempo sin un ganador claro, lo que parece un mes perdido. O alguien la da por terminada antes de tiempo por una diferencia que era ruido, lo que es peor, porque produce una respuesta equivocada con mucha seguridad que después se aplica a toda la cuenta.

Con números pequeños, la aritmética no perdona. Detectar una mejora relativa del diez por ciento sobre una tasa de conversión de partida del tres por ciento exige del orden de miles de conversiones por variante, más de lo que muchas cuentas de clientes generan en un trimestre. Si reduces a la mitad el efecto que quieres detectar, el tráfico necesario se multiplica aproximadamente por cuatro.

Por eso, a veces, la conclusión honesta es que la prueba no debería hacerse. Una cuenta que genera cuarenta conversiones al mes no puede detectar una diferencia del diez por ciento antes de que cambie la temporada, y decirlo es más útil que empezar de todos modos.

Una prueba de significación se basa en la suposición de que miras una sola vez, en un momento decidido de antemano. Revisarla cada mañana y pararla el día que supera el umbral rompe esa suposición, porque cada vez que miras es una oportunidad independiente de que la variación aleatoria cruce la línea.

El efecto es grande, no marginal. Mirar repetidamente una prueba sin ninguna diferencia real acabará mostrando un resultado significativo en una proporción importante de los casos, y cuanto antes estés dispuesto a parar, más a menudo ocurre.

Además, es lo más natural del mundo, y por eso conviene protegerse con la estructura y no con la intención. Decide al principio la fecha de fin y el tamaño de la muestra, déjalos por escrito y trata la prueba como si no tuviera resultados hasta entonces.

Cuando de verdad importa vigilar la prueba de forma continua, la solución es usar un método pensado para ello, como una prueba secuencial con umbrales corregidos, no aplicar más veces una prueba de horizonte fijo. Aplicar un ajuste a ojo no es un método.

Comparar un periodo con el siguiente es el sustituto más habitual de una prueba real en el trabajo de agencia, normalmente porque repartir el tráfico parecía complicado. Mide el cambio más todo lo demás que se ha movido entre los dos periodos, y todo lo demás suele ser mayor.

Piensa en lo que cambia en cuatro semanas: la temporada, los presupuestos de la competencia, un festivo, la proporción de visitantes nuevos y recurrentes, un cambio en la plataforma publicitaria que nadie ha anunciado. Cualquiera de ellos puede producir una variación mayor que la diferencia creativa que se está probando.

La versión que parece más rigurosa y no lo es consiste en comparar periodos equivalentes, como las mismas dos semanas del año anterior. Se basa en la suposición de que el mercado era comparable, que es justo lo que la prueba debía comprobar.

Si de verdad no se puede repartir el tráfico, di que el resultado es orientativo y trátalo como tal. El fallo no es hacer una comparación de antes y después, sino presentarla como si fuera un experimento.

El tamaño del efecto que se puede detectar decide qué merece la pena probar, y eso invierte el orden de prioridades habitual. Los colores de los botones y los retoques del titular producen diferencias pequeñas que una cuenta pequeña nunca podrá detectar; la oferta, la presentación del precio y la estructura de la página producen diferencias grandes que a veces sí puede.

Así que, con un presupuesto modesto, prueba cosas que puedan mover el resultado en un tercio y no en una vigésima parte. Otra oferta, un formulario bastante más corto, una landing page construida en torno a otra objeción. Si lo que esperas honestamente es un pequeño porcentaje, la prueba no lo resolverá.

Repartir por usuario y no por campaña importa tanto como lo que se prueba. Dos campañas no llegan a la misma mezcla de audiencia, así que un reparto a nivel de campaña compara a la vez las variantes y las audiencias y no puede separarlas.

Por último, un resultado es un resultado para el contexto que lo produjo. Una variante que ganó durante una promoción, en el móvil y con visitantes recurrentes, ha demostrado que gana ahí. Aplicarla en todas partes es una extrapolación, y conviene indicarlo así en el informe.