Le Minimum Detectable Effect est la plus petite différence de performance entre deux variantes qu’un test A/B est conçu pour détecter avec un certain niveau de confiance statistique (généralement 95 %) et une puissance cible (souvent 80 %). Il traduit la frontière entre un changement trop faible pour être distingué du bruit aléatoire et un impact suffisamment grand pour être observé dans les données collectées.
1. Rôle dans la planification du test
- Dimensionner l’échantillon : plus le MDE souhaité est faible (effet subtil), plus la taille d’échantillon nécessaire (n) augmente.
- Cadencer la durée : un MDE ambitieux (petit) allonge la durée du test ; un MDE tolérant (grand) réduit le temps mais peut manquer des gains modestes.
- Alignement business : choisir un MDE en phase avec l’impact financier minimal jugé pertinent (ex. +1 % de conversion si cela génère une marge suffisante).
Lien vers le calculateur de MDE FWOptimisation.
2. Facteurs influençant le MDE
- Taille d’échantillon disponible : trafic ou nombre d’utilisateurs qu’on peut raisonnablement recruter.
- Variabilité de la métrique : plus l’écart‑type est élevé, plus il faut d’observations pour détecter un même effet.
- Niveau de confiance (α) : passer de 95 % à 99 % augmente le MDE requis pour une taille fixe.
- Puissance statistique (1‑β) : viser 90 % de puissance plutôt que 80 % nécessite un échantillon plus grand ou un MDE plus fort.
3. Formule simplifiée (métrique binaire)
Pour un taux de conversion de base p, le MDE relatif (δ) approximatif se calcule :
δ ≈ Z₁₋α/2 · √[2·p·(1‑p)/n] + Z₁₋β · √[2·p·(1‑p)/n]
Où Z représente les quantiles de la loi normale pour la confiance et la puissance choisies. Cette formule montre que δ décroît quand n augmente.
4. Exemple concret
- Contexte : taux de conversion actuel 4 %, trafic disponible 100 000 visiteurs.
- Hypothèses : α = 0,05 (95 %), puissance = 80 %.
- Résultat : le MDE absolu ressort à ≈ 0,4 pt (soit 10 % relatif). Cela signifie qu’un test avec cet échantillon détectera une hausse de 4 % → 4,4 % ou plus, mais pourra passer à côté d’une amélioration plus faible.
5. Bonnes pratiques CRO
- Co‑construire le MDE avec les parties prenantes (marketing, produit, finance) pour qu’il reflète la valeur attendue.
- Tester la faisabilité : si le MDE nécessaire est trop grand (ex. +15 % de conversion), revoir l’hypothèse ou explorer des innovations plus fortes.
- Mettre à jour dynamiquement : si le trafic réel diffère des prévisions, recalculez le MDE ou la durée du test.
En bref : le Minimum Detectable Effect sert de guide pragmatique pour équilibrer précision statistique, contraintes de temps et impact business. Un MDE bien fixé garantit que le test A/B est à la fois réaliste et pertinent pour les décisions de CRO.