À quoi sert un test A/B ?

Le test A/B est une technique marketing fondée sur une méthode statistique. Appliqué à une interface digitale, le test A/B permet de valider ou d'invalider une hypothèse concernant la performance de cette interface.

L’A/B testing est une pratique d’optimisation ergonomique qui permet d’améliorer son site de manière itérative. Lorsqu’on lance un test A/B, on présente différentes version d’une même page web de manière aléatoire à ses visiteurs. L’idée est de réaliser un compromis ergonomique en adoptant la version de la page qui permet de générer les gains de conversion les plus importants

Nota bene.
"Test A/B" est le nom générique donné à l'ensemble des tests existants,
que ce soient des splits tests (A/B), des tests A/A,
des tests multivariés (MVT) ou des tests multi-pages.

Poool et les tests A/B

Dans le cadre du pilotage de votre stratégie de paywall, il est capital d'étudier le comportement de votre audience et de comprendre ce qui l'interpelle et la convainc.

  • Quelle offre d'abonnement est la plus convaincante ?
  • Quel parcours de découverte d’articles est le plus efficace ?
  • Quels messages sont les plus impactants ?

Notre solution Poool vous permet d'implémenter des A/B tests pour chacun de vos segments lecteurs. Ainsi, 2 visiteurs d’un même segment peuvent -sans le savoir- se trouver face à 2 versions différentes d’un parcours de découverte d’articles (nombre d’étapes différent dans le parcours, actions des widgets différentes, contenus des messages différents sur le paywall, etc.).

En savoir plus sur l'administration des parcours et des tests A/B

Quelles bonnes pratiques suivre pour faire du testing ?

Un test A/B sert à valider - ou invalider - une hypothèse. À noter que beaucoup de marketeurs obtiennent de faux résultats lorsqu’ils font du testing. Pourquoi ? Parce que faire du testing requiert d’appliquer un processus extrêmement rigoureux.

👍 Définir la bonne taille d'échantillon

Il est idéal de tester des variations sur un grand échantillon afin d'obtenir des résultats fiables. Pour calculer la taille d'échantillon idéale par rapport à un facteur, de nombreux outils en ligne existent, comme celui du site d’Evan Miller, qui vous indique en quelques clics la taille d’échantillon requise pour que votre test soit significatif.

Pour atteindre un indice de significativité statistique de 95%, il faut - entre autres - un trafic suffisant. Comptez idéalement plusieurs centaines de milliers de visiteurs. 

👍 Choisir les indicateurs les plus pertinents

Il est conseillé de choisir ses KPIs en amont du test. En effet, une variation peut avoir un effet bénéfique sur un facteur, un effet négatif sur d'autres... Il est donc important d'avoir une vision claire des objectifs du test dès le début.

Si vous êtes contraint(e) de réaliser un test sur un petit échantillon, attention à ne considérer que les indicateurs cohérents avec la taille de l'échantillon. Par exemple, il peut être plus pertinent d'observer l'effet de la variation sur le trafic généré sur la page d’offres d’abonnement, plutôt que sur le nombre de conversions finales, plus rares.

👍 Choisir le bon degré de variation entre deux versions 

Souvent, lorsque l'on teste un élément constitutif d'une page en espérant un effet positif sur le taux de conversion, on peut oublier qu'un gros problème plus évident se cache ailleurs.

Par exemple, changer le wording d'un bouton dans le widget Poool est une bonne idée de test... mais ce n'est évidemment pas suffisant voire contre-productif si derrière, le tunnel de conversion n'est pas du tout efficace. C'est ce qu'on appelle le risque de maximum relatif. Il peut être évité en identifiant bien les éléments sensibles à tester/optimiser prioritairement auprès de votre audience (position du paywall dans la page, longueur des formulaires d'abonnement, nombre d'étapes dans le tunnel, attractivité des offres...).

Une fois ces éléments identifiés et maîtrisés, il est conseillé de commencer par les tests dont on est quasiment sûrs de l’issue. Cela permet de mettre toute l’équipe on-board et de prouver l’utilité de l’A/B testing. Avec l'expérience, vous pourrez piloter des tests de plus en plus poussés.

👍 Ne pas lancer trop de tests à la fois 

Avec Poool, vous pouvez mettre en place un test A/B pour chacun de vos segments d'audience, ce qui représente une belle opportunité pour optimiser votre stratégie de paywall auprès de chaque profil d'utilisateur.

Cependant, notez bien que préparer et implémenter un test A/B, puis analyser ses résultats et en tirer des conclusions/actions, prend énormément de temps. Si vous n'avez pas les ressources pour le faire simultanément, mieux vaut prioriser les tests et les réaliser l'un après l'autre.

De plus, si le test A/B sert à optimiser votre site, il ne faut pas écarter la possibilité que sur le temps du test, une partie de votre audience sera exposée à une variante moins efficace, ce qui peut avoir un impact négatif sur vos résultats. Par conséquent, plus il y a de tests en cours en même temps, plus la part de votre audience soumise à une variante potentiellement moins efficace est grande... Testez donc en connaissance de cause !

👍 Ne pas laisser tourner ses tests pendant trop longtemps

S'il faut laisser tourner les tests A/B assez longtemps pour obtenir un résultat fiable, il faut cependant être vigilant et ne pas les faire durer trop longtemps... Expiration/suppression des cookies ou risque de dépréciation de Google : l'impact négatif d'un test trop long peut être réel sur la fiabilité du résultat ou sur le référencement.

👍 Prendre en compte les évènements externes pour analyser les résultats

D'un jour à l'autre, beaucoup de facteurs extérieurs au test A/B en cours peuvent avoir un impact sur l'utilisation de votre site Web. Semaine VS weekend, jour VS nuit, actualité chaude ou non... Il faut donc rester vigilant et remettre les statistiques dans leur contexte avant de prendre toute décision business suite à la découverte des résultats d'un A/B test.

👍 Documenter l'A/B testing

Pour ne pas perdre la connaissance en cours de route et la partager avec toute l'équipe, il ne faut pas oublier d'archiver les tests réalisés en les décrivant : quelle hypothèse testée, quelles variations implémentées, sur quelle période, pour quels résultats ?

👍 Optimiser son site en continu

Lorsqu'un test A/B est terminé, il doit mener à l'élaboration de nouvelles hypothèses à tester. Une technique marketing dont on ne peut rapidement plus se passer !

Comment et quand arrêter un test A/B ?

Analyser un test A/B est une mission très délicate. Les données sont sensibles et la méthode est statistique donc scientifique.

Une fois la bonne taille d’échantillon déterminée (lire ci-dessus), il est important de comprendre la notion d'indice de significativité statistique. Cet indice mesure la probabilité que les différences de résultats entre les variations ne sont pas le fruit du hasard. Il est communément admis qu'un taux de 95% est acceptable. 

Par ailleurs, la durée du test est variable. Pour un échantillon composé de dizaines de milliers d'utilisateurs sur des centaines de conversions, un test peut par exemple durer 2 à 3 semaines. Mais attention, ce n'est pas parce que l'indice de fiabilité est supérieur ou égal à 95% qu'il faut nécessairement arrêter le test... Si votre cycle de vente type dure 1 mois entre les premières réflexions et la transformation, alors il est important de prendre en compte cette donnée.

Enfin, prêtez attention à la stabilité de vos données. Si les taux de conversion que vous surveillez et votre indice de fiabilité varient encore énormément, alors il faut certainement encore prolonger le test... L'effet de nouveauté et le principe de régression à la moyenne en sont souvent les causes. Une fois vos données stabilisées (et les autres paramètres énumérés ci-dessus vérifiés), toutes les conditions semblent réunies pour avoir en main des résultats fiables et conclure votre test A/B !

Note bene.
Vous pouvez lire cet article très intéressant de Kameleoon sur le sujet.

Le déroulé classique d’un test A/B

Ceci étant dit, voici un déroulé simplifié des étapes d’un test A/B :

1. Analyse
Étude des statistiques d'usage du paywall.

2. Constat du problème
Il y a peu de trafic dans le tunnel d'abonnement chez les lecteurs plutôt récurrents.

3. Formulation d'une hypothèse
Le parcours de découverte d’articles est trop long.

4. Définition de la variante A (“originale” ou “version contrôle”)
Un parcours de découverte en 7 étapes.

5. Définition de la variante B
Un parcours de découverte plus court en 5 étapes.

6. Déroulé du test A/B
Mise en ligne de ces 2 parcours pendant 3 semaines sur un segment visiteur clé. 

7. Analyse des résultats
La variante B génère 17% de trafic en plus dans le tunnel d'abonnement avec une significativité statistique de 95%. Cela signifie qu’il y a 19 chances sur 20 pour que ce test A/B corresponde en effet à la réalité ; l'hypothèse est validée.

8. Prise de décision
Implémentation du parcours qui sur-performe (variante B).

9. Documentation
Enrichissement d'un cahier de test avec la description du test réalisé (durée, périmètre, variations, résultats...).

On espère que cet article vous aura donné de précieux conseils. N'hésitez pas à nous contacter sur Intercom (bulle bleue en bas à droite) si vous avez besoin d'aide !

Avez-vous trouvé votre réponse?