Vous souhaitez mettre en place un A/B test, et ne savez pas comment vous lancer ?
Nous vous décrivons dans cet article les principales étapes à suivre pour construire un plan de test solide.
Méthodologie pour construire et suivre un A/B test
Afin d'optimiser votre A/B test, il est important de documenter votre réflexion pour chaque étape de votre test.
Il s'agit essentiellement des points suivants :
Constat d'un problème et formulation d'une hypothèse pour y répondre
Définition des deux variantes, de la durée et du périmètre du test
Choix des KPIs d'analyse
A la fin de la période, comparaison des performances des deux versions
Choix de l'option avec les meilleurs résultats
Documentation du test (versions testées, durées, périmètre) pour itérer sur de nouvelles hypothèses
Une fois votre premier A/B test terminé, ne vous arrêtez pas en si bon chemin. Elaborez de nouvelles hypothèses, et testez à nouveau !
Quelques conseils pour des tests réussis
Afin d'obtenir des résultats pertinents, il est important d'être attentif à différents critères
Taille d'échantillon
Il est idéal de tester des variations sur un grand échantillon afin d'obtenir des résultats fiables. Pour calculer la taille d'échantillon optimale par rapport à un facteur donné, quelques sites existent dont celui-ci.
Identifier vos priorités
Souvent, lorsque l'on teste un élément constitutif d'une page en espérant un effet positif sur le taux de conversion, on peut oublier qu'un gros problème plus évident se cache ailleurs.
Par exemple, changer le wording d'un bouton dans le widget Poool est une bonne idée de test... mais ce n'est évidemment pas suffisant voire contre-productif si derrière, le tunnel de conversion n'est pas du tout efficace.
Pensez à identifier les éléments à tester/optimiser prioritairement auprès de votre audience (position du paywall dans la page, longueur des formulaires d'abonnement, nombre d'étapes dans le tunnel, attractivité des offres...).
Une fois ces éléments maîtrisés, vous pourrez piloter des tests de plus en plus poussés.
Durée de test
S'il faut laisser tourner les tests A/B assez longtemps pour obtenir un résultat fiable, il faut cependant être vigilant et ne pas les faire durer trop longtemps... Expiration/suppression des cookies ou risque de dépréciation de Google : l'impact négatif d'un test trop long peut être réel sur la fiabilité du résultat ou sur le référencement.
Prendre en compte les événements externes dans l'analyse
Plusieurs facteurs extérieurs au test A/B en cours peuvent avoir un impact sur l'utilisation de votre site Web (semaine vs weekend, actualité chaude ou non, type de contenus...) Pensez donc à remettre les statistiques dans leur contexte dans l'analyse des résultats.
Une fois votre A/B test lancé, suivez les résultats, dans l'onglet statistiques. Retrouvez notre article dédié sur ce sujet.
Si vous avez la moindre question, n'hésitez pas à demander conseil auprès de nos équipes 🙂