Onze pages de ce site parlent de taux de conversion. Aucune ne dit à partir de quand une différence observée signifie quelque chose, alors que c'est précisément là que se prennent les mauvaises décisions.
Un taux est une estimation, pas une mesure
Deux versions d'une page qui convertissent à deux et à deux virgule trois pour cent peuvent parfaitement être identiques : l'écart tient au hasard des visiteurs qui sont passés. La précision d'un taux dépend du nombre de conversions obtenues, pas du nombre de visiteurs affichés. Cent visiteurs et trois achats ne permettent aucune conclusion, quel que soit le graphique.
L'arrêt prématuré est l'erreur la plus coûteuse
Regarder les résultats chaque matin et couper le test le jour où l'écart paraît significatif est une pratique répandue et statistiquement fausse. En multipliant les occasions de conclure, on multiplie mécaniquement les chances de tomber sur un écart dû au hasard : le risque réel de se tromper dépasse largement le seuil affiché par l'outil. La règle est inverse : on fixe la durée et le volume avant de lancer, et on ne regarde qu'à la fin.
Le calcul se fait avant, avec deux nombres
Le volume nécessaire découle du taux actuel et de l'écart minimal que l'on souhaite pouvoir détecter. Et l'ordre de grandeur surprend : pour distinguer de façon fiable deux virgule deux pour cent de deux pour cent, il faut plusieurs dizaines de milliers de visiteurs par variante. Beaucoup de sites n'atteindront jamais ce volume, ce qui n'est pas un échec mais une information : le test comparatif n'est alors pas le bon outil.
Deux précautions de calendrier
Un test tourne par semaines entières, jamais trois jours : le comportement d'un lundi n'est pas celui d'un samedi. Et une nouveauté attire par sa seule nouveauté, effet qui s'estompe en quelques semaines et fait paraître gagnante une variante qui ne l'est pas.
Que faire à faible trafic
Plutôt que de comparer deux nuances de bouton, changer franchement, mesurer un événement plus fréquent que l'achat, et s'appuyer sur l'observation d'utilisateurs réels. Ces méthodes ne donnent pas de pourcentage, mais elles ne donnent pas non plus de faux pourcentage, et elles éclairent utilement les objectifs fixés.
