L’hypothèse nulle, notée H0, est l’énoncé statistique de référence qui affirme qu’aucune différence véritable n’existe entre les groupes comparés ou qu’il n’y a pas d’effet de la variable testée sur le KPI principal. Dans tout test A/B, MVT ou étude expérimentale, H0 représente la situation « status quo » ; elle sert de point de départ neutre que l’on tente de falsifier à l’aide de données empiriques.
1. Rôle central de H0
| Fonction | Description |
|---|---|
| Référence | Définit la distribution de probabilité sous l’hypothèse d’égalité parfaite des groupes |
| Calcul de la p‑value | La p‑value mesure la probabilité d’obtenir des données aussi extrêmes que celles observées si H0 est vraie |
| Contrôle du risque d’erreur | Le niveau de signification α (souvent 0,05) fixe la probabilité maximale d’accepter à tort une différence inexistante (erreur de Type I) |
| Boussole décisionnelle | Tant que H0 n’est pas rejetée, on considère que les preuves sont insuffisantes pour conclure à un effet réel |
2. Formulation de H0 dans différents contextes
| Contexte | Formulation de H0 | Exemple concret |
| Test A/B (proportion) | pB = pA | « Le taux de conversion de la variante B est égal à celui de la variante A » |
| Test sur moyenne | μB = μA | « Le panier moyen n’est pas différent entre les deux layouts » |
| MVT (interaction) | βinteraction = 0 | « Il n’y a pas d’interaction entre la couleur du CTA et le texte » |
| Régression | βfeature = 0 | « La nouvelle fonctionnalité n’a aucun impact significatif sur le revenu » |
La formulation doit être explicite, liée au KPI principal et définie avant la collecte des données pour éviter toute manipulation a posteriori (p‑hacking).
3. Processus de test d’hypothèse
- Définir H0 et H1 ;
- Choisir le test statistique approprié (z‑test, t‑test, χ², ANOVA, etc.) ;
- Fixer le niveau de risque α (par ex. 5 %) et la puissance souhaitée (1 − β) ;
- Collecter les données selon un protocole aléatoire ;
- Calculer la statistique de test et la p‑value ;
- Décider :
- Si p‑value ≤ α → rejeter H0, soutenir H1 ;
- Sinon → ne pas rejeter H0 (absence de preuve suffisante).
Attention : « Ne pas rejeter H0 » n’équivaut pas à « prouver H0 » ; cela signifie que l’étude n’a pas détecté de différence à la puissance donnée.
4. Erreurs associées
| Type | Quand survient‑elle ? | Conséquence |
| Type I (faux positif) | Rejeter H0 alors qu’elle est vraie | Croire qu’un effet existe quand il n’y en a pas |
| Type II (faux négatif) | Ne pas rejeter H0 alors qu’elle est fausse | Passer à côté d’un effet réel |
Le paramètre α contrôle le risque de Type I, tandis que la puissance (1 − β) contrôle celui de Type II.
5. Bonnes pratiques
- Pré‑enregistrer H0 dans un plan d’expérimentation (preregistration) ;
- Choisir un test unilatéral ou bilatéral dès la conception et ne plus en changer ;
- Assurer une randomisation parfaite pour valider les conditions du test ;
- Rapporter p‑value et intervalle de confiance pour une interprétation complète ;
- Répéter les tests A/A périodiquement afin de vérifier la stabilité de l’infrastructure et la distribution sous H0.
⚡ En résumé
L’hypothèse nulle (H0) est la pierre angulaire du raisonnement statistique : elle représente l’absence d’effet, fournit une base neutre pour mesurer la surprise des données et encadre le risque d’erreur. Rejeter H0 à un niveau de confiance donné revient à considérer qu’il existe des preuves suffisantes pour soutenir l’hypothèse alternative (H1) et conclure à l’existence d’un impact réel.