Le ROI des tests A/B désigne la valeur générée par rapport aux ressources investies dans un programme d’expérimentation. Il permet de démontrer concrètement le retour financier de la démarche test-and-learn : plus qu’un simple taux de gain, le ROI évalue l’efficacité globale du programme d’expérimentation.
1. Formule classique du ROI test A/B
Exemple : si une série de tests A/B rapporte 100 000 € de revenus incrémentaux pour un coût total de 25 000 €, le ROI est de 300 %.
2. Vers un ROI prévisionnel plus réaliste : formule avancée
Pour anticiper l’impact potentiel d’un programme d’expérimentation, une formule avancée a été partagée par Andrey Andreev, enrichie d’un ajustement suggéré par Ron Kohavi :
Paramètres :
- MDE : Minimum Detectable Effect (effet minimal détectable par test)
- Haircut : réduction conservatrice (10–50 %) pour limiter l’optimisme dû à la « winner’s curse »
- N : nombre de tests exécutés par an
- W : taux de victoire (pourcentage de tests avec un effet significatif)
- FDR : taux de fausse découverte (intègre les faux positifs, avec une approche bayésienne)
Cette version intègre à la fois la réalité des tests A/B non concluants, l’optimisme naturel des résultats gagnants et les risques de faux positifs. Elle fournit un uplift projeté plus défendable à long terme.
3. Pourquoi utiliser cette formule ?
- Piloter un programme à grande échelle : anticiper les gains sur 6 à 12 mois.
- Convaincre les décideurs : donner un prévisionnel chiffré du retour sur investissement potentiel.
- Comparer plusieurs stratégies : internalisation vs externalisation, A/B tests simples vs MVTs.
4. Bonnes pratiques
- Appliquer systématiquement un haircut (ex. 30 %) pour compenser l’euphorie des premiers résultats.
- Documenter FDR via des tests A/A ou des analyses post-tests.
- Réviser N et W trimestriellement selon la capacité et la vélocité de l’équipe.
- Utiliser un tableur automatisé pour tester plusieurs scénarios.
⚡ En résumé
Le ROI d’un programme d’optimisation n’est pas une simple soustraction de coûts et de gains : c’est un exercice stratégique qui demande de prendre en compte le réalisme des effets, les probabilités de réussite, et les biais statistiques. Grâce à des modèles comme celui proposé par Andreev, Kohavi et enrichi de composantes bayésiennes, vous pouvez projetter votre impact réel avec bien plus de rigueur.