Tests A/B en correo: cuándo son posibles y cómo no engañarte
Umbral de significación, tamaño de muestra y por qué las listas pequeñas no tienen qué probar
Mailvex · 9 agosto 2026 · 6 min de lectura
Un test A/B válido necesita alrededor de mil destinatarios por variante y un umbral de significación del 95%. Con una lista por debajo de dos mil direcciones no hay nada que probar: cualquier diferencia que veas será azar. A continuación, cómo saber si tu lista alcanza, qué probar y qué hacer cuando no alcanza.
El error principal: un test sin muestra
La escena típica: una campaña sale a doscientas direcciones por variante, la primera marca 22% de apertura y la segunda 25%. Conclusión: la segunda es mejor por tres puntos. En realidad no hay conclusión: con esa muestra una diferencia de tres puntos aparece por azar aproximadamente la mitad de las veces.
He visto cientos de tests A/B que «demostraron» algo con 200 destinatarios por variante y un 3% de diferencia en aperturas. Eso no son datos, es ruido.
El problema no es que el test se haya hecho mal. El problema es que con una muestra pequeña no se puede obtener un resultado fiable en principio, por muchas veces que lo repitas.
El umbral del 95% y lo que muestran las herramientas
La significación estadística responde a una pregunta: qué probabilidad hay de que la diferencia observada surgiera por azar. El estándar del sector es el 95%, es decir, una probabilidad de azar no superior al cinco por ciento.
Aquí está la trampa en la que cae casi todo el mundo. Las herramientas de correo muestran un nivel de confianza, y uno ve una frase como «ganador: variante A, 87% de confianza», que suena convincente.
Pero un 87% de significación quiere decir que aproximadamente una de cada ocho veces coronarás una variante que en realidad no es mejor. El umbral del 95% no es arbitrario: por debajo, el resultado no puede considerarse fiable.
95% y no menos
Umbral estándar del sector para la significación estadística en tests A/B de correo
Qué lista hace falta para un test
El tamaño de muestra necesario depende de tres cosas: el valor base de la métrica, el tamaño de la diferencia que quieres detectar y la confianza que buscas. Cuanto menor la diferencia, mayor la muestra.
Una referencia práctica son unos mil destinatarios por variante como suelo. Pero ese es el mínimo para diferencias grandes: detectar una brecha del cinco por ciento exige varias veces más.
De ahí la tabla, que responde de inmediato a la pregunta «¿tiene algún sentido que yo haga tests?».
| Tamaño de la lista | Qué puedes probar | Qué no tiene sentido |
|---|---|---|
| menos de 2.000 | nada de forma fiable | cualquier test A/B |
| 2.000 – 10.000 | diferencias grandes en clics | afinar formulaciones |
| 10.000 – 50.000 | clics, hora de envío, la oferta | diferencias menores del 20% |
| más de 50.000 | casi todo, conversión incluida | — |
Una dificultad aparte: la conversión a compra es una métrica de valor base bajo, normalmente de un dígito. Cuanto menor el valor base, mayor la muestra necesaria. Probar conversión es por eso mucho más difícil que probar clics, y para la mayoría de las listas queda fuera de alcance.
Qué probar primero
Con una muestra limitada hay que probar lo que produce diferencias grandes. Los retoques menores de redacción exigen muestras que no tienes.
- el asunto: afecta a las aperturas y las diferencias pueden ser grandes
- la hora de envío: a veces produce diferencias de varias veces
- la oferta: descuento frente a envío gratis, una diferencia grande
- el botón principal: su texto y su posición
- la longitud del correo: breve frente a detallado
Sobre el asunto hay una salvedad importante. Afecta sobre todo a la apertura, y la apertura está distorsionada por la protección de privacidad del correo de Apple, que registra aperturas automáticamente. Así que un test de asunto mide una métrica en la que no se puede confiar.
La salida es medir el test de asunto por clics sobre enviados y no por aperturas. El asunto también influye en ellos; el efecto es más débil y la muestra tendrá que ser mayor.
Reglas que no se pueden romper
- una variable a la vez, o no sabrás qué funcionó
- reparto aleatorio de direcciones, no alfabético ni por fecha de alta
- la misma hora de envío para ambas variantes
- no detener el test antes de tiempo porque la diferencia se vea bonita
- no declarar ganador por debajo del umbral del 95%
- repetir el test antes de una decisión importante
Sobre detenerlo antes, una nota. Si miras el resultado cada hora y paras cuando la diferencia parece convincente, encontrarás un «ganador» incluso donde no lo hay. El tamaño de muestra se fija antes del test, no sobre la marcha.
Qué hacer con una lista pequeña
Esto no es una sentencia sino un cambio de enfoque. Por debajo de unos pocos miles de direcciones, los tests A/B se sustituyen por otras herramientas.
- aplica decisiones ya conocidas como buenas sin probarlas: un botón en lugar de tres, márgenes, tamaño de fuente en móvil
- compara tipos de correo entre sí por ingresos por correo, no variantes de un mismo correo
- observa tu propia evolución mes a mes en lugar de comparaciones puntuales
- acumula señal cualitativa: qué pregunta la gente al responder, de qué se queja
Además conviene conocer el test acumulado. Envía el mismo tipo de correo con un patrón durante varios meses, luego cambia el patrón y compara periodos. La muestra se acumula sola. Es más lento que un test A/B, pero funciona con cualquier lista.
Cómo hacer tu primer test
La secuencia es: formular una hipótesis, calcular la muestra necesaria, dividir la lista al azar, enviar ambas variantes a la vez, esperar el plazo acordado y solo entonces mirar el resultado.
La hipótesis tiene que ser comprobable. «Veamos qué asunto funciona mejor» no es una hipótesis. «Un asunto con una cifra concreta dará más clics que un asunto en forma de pregunta» sí lo es, porque tiene un desenlace.
En Mailvex puedes montar dos variantes desde una misma plantilla rápidamente: copia el correo, cambia el elemento que pruebas y exporta ambos HTML para tu plataforma de envío. El manual de marca se aplica igual a los dos, así que la diferencia queda exactamente en el elemento probado.
Monta dos variantes desde una misma plantilla.
Ver plantillasPreguntas frecuentes
¿Cuál es la lista mínima para un test A/B?
Aproximadamente mil destinatarios por variante, o sea una lista de dos mil direcciones en adelante. Y ese es el mínimo para diferencias grandes: detectar una brecha de pocos puntos exige decenas de miles.
La herramienta muestra 90% de confianza, ¿puedo dar un ganador?
No. El umbral estándar es el 95%. Con un 90% coronarás una variante que no es mejor aproximadamente una de cada diez veces. O sigues el test o aceptas que no se detectó diferencia.
¿Y si mi lista es demasiado pequeña para probar?
Aplica decisiones ya conocidas como buenas sin probarlas, compara tipos de correo por ingresos por correo y observa tu evolución mes a mes. Comparar periodos acumulados funciona con cualquier lista, solo que más despacio.