L’A/B testing remporte un vif succès, porté par l’approche Test & Learn. Des solutions SaaS innovantes, en redonnant la main aux équipes marketing, ont démocratisé la pratique et l’ont rendue accessible à tous, sans nécessiter de connaissance technique.

Cette simplicité de mise en œuvre ne doit pas faire oublier les implications statistiques de la pratique. Au-delà de modifier aisément les pages d'un site, l’A/B testing est avant tout un outil d’aide à la décision. Il vient valider, ou non, une hypothèse de test en appliquant aux données collectées une mesure de fiabilité statistique. Il est important de connaître avec certitude si les différences de résultats ne sont pas dues au hasard, mais bien aux modifications apportées. Or, certains utilisateurs doutent de la fiabilité de ces résultats, car ils ne les constatent pas toujours une fois les modifications « gagnantes » en place.

 

Ces doutes viennent en partie d’une mauvaise compréhension des tests statistiques menés par leur solution et de la signification de ces résultats. Sans être expert en statistiques, il est facile de mal interpréter les indicateurs fournis. Mais surtout, beaucoup de solutions se reposent sur des approches statistiques qui se contentent d'identifier l'existence d'une différence entre une variation A et une variation B, sans en qualifier l'ampleur. Elles ne répondent pas à la question fondamentale qui intéresse le responsable marketing : quel est le gain de passer de la version A à la version B ?

 

Malheureusement, les utilisateurs font souvent l'amalgame entre la réponse à cette question légitime et le pourcentage d'amélioration que les solutions affichent et qui ne s'avère être qu'un ratio de taux de conversion mesurés à un instant T.

 

Une plateforme comme AB Tasty traite ce problème grâce à des approches plus poussées issues des statistiques Bayésiennes qui offrent une prise de décision plus sûre. Elles mesurent conjointement l’incertitude de ce que vous allez abandonner avec la variation A et l’incertitude de ce que vous obtenez avec la variation B. En ayant une vision précise des gains, sous forme d'intervalle de confiance, vous prenez vos décisions en connaissance de cause. Vous pouvez décider d'arrêter un test dès que le gain est strictement positif ou attendre de collecter plus de données pour réduire l'incertitude si l'intervalle de confiance est trop large. C’est indispensable pour les modifications dont le coût est substantiel et qui font l'objet d'un arbitrage ROIste.

 

Exemple de données incluant des intervalles de confiance sur le gain du test.

 

Ce cadre statistique plus souple et précis sert ensuite de base à d’autres algorithmes pour adresser des problématiques comme la réduction du regret lié au test, autrement dit son coût d'opportunité. En répondant au problème dit du Multi-Armed Bandit, ils vous assurent de trouver les meilleures variations tout en limitant les pertes de conversions durant le test.

 

 

Toute cette intelligence statistique est désormais à votre portée pour doper votre pratique de l'A/B testing.

Pour en savoir plus, téléchargez le dernier livre blanc, co-écrit avec Hubert Wassner, Lead Data Scientist chez AB Tasty.

Ebook : L'intelligence statistique au service de l'A/B testing

 

 

Ou regardez le webinar où Hubert explique ces innovations en détails.