La variance d’une métrique mesure la dispersion de ses valeurs autour de la moyenne. Plus la variance est faible, plus les observations sont concentrées ; plus elle est élevée, plus les résultats fluctuent. Dans un test A/B ou toute démarche de CRO, connaître et modéliser la variance est essentiel pour estimer l’incertitude, dimensionner les échantillons et interpréter correctement les performances des variantes.
1. Définitions clés
- Variance populationnelle (σ²) : moyenne des carrés des écarts à la moyenne réelle d’une population.
- Variance d’échantillon (s²) : estimation de σ² à partir d’un échantillon ; calculée comme la somme des carrés des écarts à la moyenne divisée par (n – 1).
- Erreur‑type (standard error) : racine carrée de la variance d’une statistique (ex. p̂). Elle sert à construire les intervalles de confiance.
2. Rôle en A/B testing
- Précision des estimations : une variance élevée élargit l’intervalle de confiance et rend plus difficile la détection d’effets réels.
- Calcul de la taille d’échantillon : n augmente proportionnellement à la variance et inversement au carré du MDE.
- Choix de la métrique : à impact business égal, privilégier la métrique la moins variable pour atteindre des conclusions plus rapides.