Le test A/B est une technique marketing fondée sur une méthode statistique. Appliqué à une interface digitale, le test A/B permet de valider ou d'invalider une hypothèse concernant la performance de cette interface.

L’A/B testing est une pratique d’optimisation ergonomique qui permet d’améliorer son site de manière itérative. Lorsqu’on lance un test A/B, on présente différentes versions d’une même page web de manière aléatoire à ses visiteurs. L’idée est de réaliser un compromis ergonomique en adoptant la version de la page qui permet de générer les gains de conversion les plus importants. 

Dans le cadre du pilotage de votre stratégie de paywall, il est capital d'étudier le comportement de votre audience et de comprendre ce qui l'interpelle et la convainc.

Notre solution Poool vous permet d'implémenter des A/B tests pour chacun de vos segments lecteurs. Ainsi, 2 visiteurs d’un même segment peuvent -sans le savoir- se trouver face à 2 versions différentes d’un parcours de découverte d’articles (nombre d’étapes différent dans le parcours, actions des widgets différentes, contenus des messages différents sur le paywall, etc.).

Un test A/B sert à valider - ou invalider - une hypothèse. À noter que beaucoup de marketeurs obtiennent de faux résultats lorsqu’ils font du testing. Pourquoi ? Parce que faire du testing requiert d’appliquer un processus extrêmement rigoureux.

Il est idéal de tester des variations sur un grand échantillon afin d'obtenir des résultats fiables. Pour calculer la taille d'échantillon idéale par rapport à un facteur, de nombreux outils en ligne existent, comme celui du site d’Evan Miller, qui vous indique en quelques clics la taille d’échantillon requise pour que votre test soit significatif.

Pour atteindre un indice de significativité statistique de 95%, il faut - entre autres - un trafic suffisant. Comptez idéalement plusieurs centaines de milliers de visiteurs. 

Il est conseillé de choisir ses KPIs en amont du test. En effet, une variation peut avoir un effet bénéfique sur un facteur, un effet négatif sur d'autres... Il est donc important d'avoir une vision claire des objectifs du test dès le début.

Si vous êtes contraint(e) de réaliser un test sur un petit échantillon, attention à ne considérer que les indicateurs cohérents avec la taille de l'échantillon. Par exemple, il peut être plus pertinent d'observer l'effet de la variation sur le trafic généré sur la page d’offres d’abonnement, plutôt que sur le nombre de conversions finales, plus rares.
​

Souvent, lorsque l'on teste un élément constitutif d'une page en espérant un effet positif sur le taux de conversion, on peut oublier qu'un gros problème plus évident se cache ailleurs.

Par exemple, changer le wording d'un bouton dans le widget Poool est une bonne idée de test... mais ce n'est évidemment pas suffisant voire contre-productif si derrière, le tunnel de conversion n'est pas du tout efficace. C'est ce qu'on appelle le risque de maximum relatif. Il peut être évité en identifiant bien les éléments sensibles à tester/optimiser prioritairement auprès de votre audience (position du paywall dans la page, longueur des formulaires d'abonnement, nombre d'étapes dans le tunnel, attractivité des offres...).

Une fois ces éléments identifiés et maîtrisés, il est conseillé de commencer par les tests dont on est quasiment sûrs de l’issue. Cela permet de mettre toute l’équipe on-board et de prouver l’utilité de l’A/B testing. Avec l'expérience, vous pourrez piloter des tests de plus en plus poussés.
​

Avec Poool, vous pouvez mettre en place un test A/B pour chacun de vos segments d'audience, ce qui représente une belle opportunité pour optimiser votre stratégie de paywall auprès de chaque profil d'utilisateur.

Cependant, notez bien que préparer et implémenter un test A/B, puis analyser ses résultats et en tirer des conclusions/actions, prend énormément de temps. Si vous n'avez pas les ressources pour le faire simultanément, mieux vaut prioriser les tests et les réaliser l'un après l'autre.

De plus, si le test A/B sert à optimiser votre site, il ne faut pas écarter la possibilité que sur le temps du test, une partie de votre audience sera exposée à une variante moins efficace, ce qui peut avoir un impact négatif sur vos résultats. Par conséquent, plus il y a de tests en cours en même temps, plus la part de votre audience soumise à une variante potentiellement moins efficace est grande... Testez donc en connaissance de cause !
​

S'il faut laisser tourner les tests A/B assez longtemps pour obtenir un résultat fiable, il faut cependant être vigilant et ne pas les faire durer trop longtemps... Expiration/suppression des cookies ou risque de dépréciation de Google : l'impact négatif d'un test trop long peut être réel sur la fiabilité du résultat ou sur le référencement.
​

D'un jour à l'autre, beaucoup de facteurs extérieurs au test A/B en cours peuvent avoir un impact sur l'utilisation de votre site Web. Semaine VS weekend, jour VS nuit, actualité chaude ou non... Il faut donc rester vigilant et remettre les statistiques dans leur contexte avant de prendre toute décision business suite à la découverte des résultats d'un A/B test.
​

Pour ne pas perdre la connaissance en cours de route et la partager avec toute l'équipe, il ne faut pas oublier d'archiver les tests réalisés en les décrivant : quelle hypothèse testée, quelles variations implémentées, sur quelle période, pour quels résultats ?
​

Lorsqu'un test A/B est terminé, il doit mener à l'élaboration de nouvelles hypothèses à tester. Une technique marketing dont on ne peut rapidement plus se passer !
​

Analyser un test A/B est une mission très délicate. Les données sont sensibles et la méthode est statistique donc scientifique.
​

Une fois la bonne taille d’échantillon déterminée (lire ci-dessus), il est important de comprendre la notion d'indice de significativité statistique. Cet indice mesure la probabilité que les différences de résultats entre les variations ne sont pas le fruit du hasard. Il est communément admis qu'un taux de 95% est acceptable. 

Par ailleurs, la durée du test est variable. Pour un échantillon composé de dizaines de milliers d'utilisateurs sur des centaines de conversions, un test peut par exemple durer 2 à 3 semaines. Mais attention, ce n'est pas parce que l'indice de fiabilité est supérieur ou égal à 95% qu'il faut nécessairement arrêter le test... Si votre cycle de vente type dure 1 mois entre les premières réflexions et la transformation, alors il est important de prendre en compte cette donnée.

Enfin, prêtez attention à la stabilité de vos données. Si les taux de conversion que vous surveillez et votre indice de fiabilité varient encore énormément, alors il faut certainement encore prolonger le test... L'effet de nouveauté et le principe de régression à la moyenne en sont souvent les causes. Une fois vos données stabilisées (et les autres paramètres énumérés ci-dessus vérifiés), toutes les conditions semblent réunies pour avoir en main des résultats fiables et conclure votre test A/B !