Un KPI de sécurité (souvent appelé guardrail metric en anglais) est un indicateur suivi pendant un test A/B pour s’assurer qu’aucune variante ne dégrade un aspect critique de l’expérience ou du business, même si cette variante améliore la métrique principale (primary KPI).
1. Rôle et définition
-
Filet de sécurité : il protège contre les « effets secondaires » inattendus d’une expérimentation.
-
Non‑optimisé : contrairement au KPI principal, on ne cherche pas à l’améliorer ; on exige simplement qu’il ne se détériore pas au‑delà d’un seuil acceptable.
-
Décisionnel : si le KPI de sécurité franchit le seuil d’alerte (dégradation statistiquement significative), le test est interrompu ou la variante est rejetée, même si elle est gagnante sur la métrique primaire.
2. Exemples courants
| Domaine | KPI de sécurité typique | Justification |
|---|---|---|
| E‑commerce | Revenu moyen par visiteur (RPV), taux de conversion | Protéger la rentabilité globale |
| SaaS | Taux de désabonnement (churn), incidents support | Éviter la fuite d’utilisateurs |
| Performance web | Temps de chargement, taux d’erreurs serveur | Maintenir l’expérience utilisateur |
| Marketing email | Taux de désinscription, taux de spam | Préserver la délivrabilité |
3. Paramétrage
- Choisir le KPI critique lié à la santé globale du produit ou de l’infrastructure.
- Fixer un seuil : définir la dégradation maximale tolérée (ex. +2 % de churn, +300 ms de temps de chargement).
- Planifier le monitoring : analyses séquentielles ou continue (ex. chaque heure) pour réagir vite.
- Correction du risque multiplicatif : si plusieurs KPIs de sécurité sont suivis, appliquer un ajustement (Bonferroni, Holm) ou un cadre bayésien pour contrôler le taux de faux positifs.