Un intervalle de confiance (IC) est une plage de valeurs dans laquelle on estime que la véritable valeur d’un paramètre (moyenne, proportion, différence d’effet) se situe avec une probabilité donnée, appelée niveau de confiance (souvent 95 %). Plutôt que de fournir une estimation ponctuelle unique, l’IC quantifie l’incertitude statistique liée à l’échantillonnage.
1. Lecture d’un IC à 95 %
- Bornes inférieure et supérieure : si l’on répète indéfiniment l’expérience, 95 % des IC calculés contiendront la vraie valeur inconnue.
- Décision A/B : pour une différence de conversion entre deux variantes, si l’IC n’inclut pas zéro, l’effet est statistiquement significatif au niveau 5 % (p < 0,05).
2. Formules courantes
| Type de métrique | IC à 95 % (approximation) |
| Proportion (p̂) | p̂ ± 1,96 × √[p̂·(1‑p̂)/n] |
| Moyenne (x̄) | x̄ ± 1,96 × s/√n |
| Différence de proportions (Δ) | Δ ± 1,96 × √[p̂₁·(1‑p̂₁)/n₁ + p̂₂·(1‑p̂₂)/n₂] |
Remarque : pour des échantillons petits ou des proportions extrêmes, on utilise des méthodes exactes (Wilson, Agresti‑Coull) ou bayésiennes.
3. Rôle en CRO et A/B testing
- Interprétation claire : l’IC montre non seulement si l’effet est significatif, mais également combien il pourrait valoir (plage plausible).
- Planification : un objectif est d’obtenir un IC assez étroit pour être actionnable (ex. ±0,2 pt sur un taux de conversion).
- Communication : présenter l’IC renforce la confiance des parties prenantes en explicitant la marge d’erreur.
4. Bonnes pratiques
- Toujours accompagner les estimations ponctuelles d’un IC pour éviter la surestimation de la précision.
- Choisir un niveau de confiance cohérent : 95 % par défaut ; 90 % pour des tests exploratoires ; 99 % pour des décisions critiques.
- Vérifier les hypothèses (normalité, taille d’échantillon) ou employer des méthodes robustes (bootstrap) en cas de doute.
- Ne pas confondre : un IC de 95 % ne signifie pas qu’il y a 95 % de chances que la vraie valeur soit dans l’intervalle après observation, mais qu’en répétant l’expérience, 95 % des intervalles ainsi construits contiendront la vraie valeur.
En bref : l’intervalle de confiance transforme un simple chiffre en une information complète sur l’incertitude. Dans un test A/B, il guide la décision (significativité) et l’évaluation de l’impact potentiel, rendant l’optimisation plus fiable et transparente.