La p-value (ou « valeur p ») est un indicateur statistique utilisé pour évaluer la signifiance d’un résultat expérimental. Dans le cadre d’un test A/B, elle mesure la probabilité d’obtenir un résultat aussi extrême que celui observé, en supposant que l’hypothèse nulle (H₀) soit vraie (c’est-à-dire qu’il n’y ait aucune différence réelle entre les variantes).
1. Comment l’interpréter ?
-
Une p-value faible (ex. ≤ 0,05) indique que le résultat observé est peu probable si H₀ est vraie → on peut rejeter H₀ et conclure à une différence significative.
-
Une p-value élevée (> 0,05) indique que le résultat observé est compatible avec H₀ → on ne rejette pas H₀ ; le test n’a pas montré de différence claire.
⚠️ La p-value ne donne pas la probabilité que H₀ soit vraie, ni la probabilité que la variante testée soit meilleure.
2. Seuil de significativité (alpha)
Le niveau de confiance le plus courant est α = 0,05 :
-
Si p-value ≤ 0,05 → on considère le résultat comme statistiquement significatif.
-
Ce seuil peut être abaissé (ex. 0,01) pour les décisions critiques.
3. Ce que la p-value n’est pas
| Idée fausse | Correction |
|---|---|
| « Si p = 0,04, alors il y a 96 % de chances que l’effet soit réel » | Faux : la p-value ne dit rien sur la probabilité que H₁ soit vraie |
| « Une p > 0,05 prouve que la variante est inefficace » | Non : cela signifie simplement qu’on ne peut pas conclure à une différence |
| « Une p-value faible garantit un fort impact business » | Pas nécessairement : la significativité ≠ magnitude de l’effet |
4. Liens avec puissance, taille d’échantillon et MDE
-
Une petite taille d’échantillon augmente le risque de p-value non significative même si un effet réel existe (erreur de type II).
-
Une p-value seule n’est jamais suffisante : il faut l’interpréter avec l’intervalle de confiance, la puissance statistique et le MDE.
5. Bonnes pratiques en CRO
-
Toujours pré-spécifier le seuil α et le KPI testé.
-
Accompagner la p-value d’un intervalle de confiance.
-
Éviter les multiples tests non corrigés (risque de faux positifs).
-
Ne pas s’arrêter dès qu’on atteint p < 0,05 : la robustesse prime sur l’opportunisme.
⚡ En résumé
La p-value est un outil de détection, pas de preuve : elle vous aide à décider si les résultats d’un test A/B sont suffisamment surprenants pour remettre en cause le statu quo. Mal comprise, elle mène à des erreurs d’interprétation ; bien utilisée, elle renforce la rigueur et la crédibilité de vos expérimentations.