Calculateur analyse séquentielle test A/B : des tests 20-80% plus rapides !

L’analyse séquentielle permet d’accélérer l’analyse de vos tests A/B de 20 à 80%. Cette approche est particulièrement adaptée aux sites à faible trafic ou à des organisations qui veulent figer dans le temps le délai de mesure d’une expérimentation.

  • Prenez des décisions fiables grâce au modèle d'analyse séquentielle
  • Planifiez et verrouillez la durée de vos tests A/B
  • Economisez jusqu'à 80% de trafic pour valider vos décisions
  • Suivez les indicateurs qui comptent : le principal et de sécurité
Calculateur test a/b séquentiel
Calculateur Test A/B – Analyse séquentielle (v38.22)

Trafic et conversions sur le périmètre du test

?
Ajouter un KPI de sécurité

Options : statistiques

?
?
?
Calcul en cours...

Comment utiliser un outil d'analyse séquentielle pour analyser ses tests A/B ?

Étape 1. Paramétrer le trafic, la confiance et la puissance

Ce que vous saisissez : trafic hebdomadaire moyen, conversions hebdomadaires sur votre KPI principal, date de début, niveau de confiance, puissance statistique, type de test (supériorité ou non-régression).

Comment le faire correctement :

  • Trafic et conversions : utilisez la moyenne des 6 dernières semaines complètes. Jamais les 7 derniers jours isolés (cycle hebdo + effets ponctuels). Exemple : 50 000 visiteurs/sem, 2 500 conversions → baseline 5%.
  • Confiance (1−α) : 95% par défaut. Descendez à 90% pour des tests exploratoires, 80% uniquement pour des sites à très faible trafic (moins de 10k visiteurs/sem sur le périmètre).
  • Puissance (1−β) : 80% standard, 90% pour les décisions à fort impact business, jamais moins de 60% sous peine d’exploser les faux négatifs.
  • Type de test : supériorité pour une nouvelle fonctionnalité qui doit battre le contrôle. Non-régression pour un refactor technique, une migration, un changement de fournisseur — vous voulez juste vérifier que ça ne dégrade pas.
  • KPI de sécurité (guardrail) : ajoutez-en un presque systématiquement. Un CTA qui gagne sur le clic peut faire perdre sur le revenu — le guardrail capte ces effets de bord.

 

Étape 2. Choisir la durée max et la fonction de dépense alpha

Le calculateur vous propose un tableau de durées (typiquement 4, 6, 8, 10 semaines) avec le MDE associé pour chacune. Plus vous tolérez une durée longue, plus vous détecterez des effets faibles.

Règle simple : choisissez la durée qui détecte un MDE égal à votre plus petit uplift business-ment actionnable. Si un gain de +2% ne justifie pas un déploiement vu vos coûts, inutile de calibrer pour le détecter.

Quelle fonction de dépense choisir ?

FonctionComportementQuand l’utiliser
O’Brien-FlemingBornes très strictes au début, souples à la fin. Surcoût < 5% sur la taille max.Défaut recommandé. Tests confirmatoires, décisions à enjeu.
Kim-DeMets (rho=3)Approche O’Brien-Fleming, un peu plus paramétrable.Alternative défaut si vous voulez un peu plus d’arrêts précoces.
PocockBorne Z constante ~2,41. Arrêts précoces plus fréquents, mais +10 à 30% de trafic si on va au bout.Tests exploratoires où arrêter vite est prioritaire.
HSD (γ=−2)Famille flexible, souvent utilisée pour la futilité (borne bêta).Sur la dépense bêta, pour détecter vite un test qui ne mènera nulle part.

 

Étape 3. Saisir les données hebdomadaires cumulées

À chaque jalon (typiquement chaque lundi), saisissez les données cumulées depuis le début du test pour chaque variation : visiteurs uniques, conversions objectif principal, conversions objectif sécurité. Le calculateur dérive automatiquement les données incrémentales hebdomadaires et affiche un tableau d’historique.

Avant d’interpréter, vérifiez l’alerte SRM. Si le calculateur détecte un Sample Ratio Mismatch (p<0,05 sur la répartition), ne concluez rien tant que la cause technique n’est pas identifiée : bug de redirection, cache, bot trap côté contrôle uniquement, etc. Un SRM ignoré en séquentiel est une catastrophe silencieuse : l’arrêt précoce cristallise le biais.

 

Étape 4. Lire les bornes et décider

À chaque étape, le calculateur affiche le Z-score cumulé et les deux bornes (supérieure = efficacité, inférieure = futilité). Trois cas possibles :

  • Z franchit la borne supérieure → effet positif détecté, déploiement recommandé. Reportez l’intervalle de confiance séquentiel, pas la pointe d’uplift (winner’s curse).
  • Z descend sous la borne de futilité → le test n’aboutira pas, arrêt conseillé. Pas d’effet détectable dans le temps restant.
  • Z entre les bornes (zone neutre) → continuer la collecte jusqu’à la prochaine analyse ou jusqu’à la durée max.

À la durée max sans franchissement : le test est non concluant. Trois options rigoureuses : conclure une équivalence opérationnelle, abandonner la variante, ou redessiner un nouveau test avec un MDE plus petit. Jamais prolonger le test en cours — cela invalide le contrôle de l’erreur de type I.

5 erreurs à ne jamais commettre

  • changer de méthode (séquentiel vers fixe ou inverse) en cours de test

  • prolonger au-delà de la durée max pour forcer un résultat

  • modifier le MDE ou alpha après avoir vu les données

  • ignorer un SRM ou une régression sur un guardrail

  • rapporter l’uplift ponctuel plutôt que l’IC séquentiel.

Pour aller plus loin — références académiques

  • Johari, Pekelis, Walsh — Always Valid Inference, Operations Research 2022 — doi.org/10.1287/opre.2021.2135
  • Howard, Ramdas et al. — Time-uniform confidence sequences, Annals of Statistics 2021
  • Lan & DeMets (1983) — Alpha spending function approach
  • Evan Miller — Simple Sequential A/B Testing
  • Package R gsDesign (Keaven Anderson) — implémentation de référence

Questions courantes

FAQ — Analyse séquentielle A/B test

Qu'est-ce que l'analyse séquentielle en A/B test ?

L’analyse séquentielle est une méthode statistique d’A/B testing qui évalue les données au fur et à mesure de leur collecte, sans taille d’échantillon fixée à l’avance. Elle utilise des bornes d’arrêt pré-calculées (efficacité et futilité) pour préserver le taux de faux positifs tout en permettant de conclure un test dès qu’un résultat est suffisamment clair. Elle s’oppose à l’approche à horizon fixe, qui impose une seule analyse à la fin d’une durée pré-calibrée.

Parce qu’elle autorise un arrêt précoce dès qu’un résultat franchit une borne d’efficacité ou de futilité. Quand l’effet réel est supérieur au MDE, le test conclut en moyenne 20 à 80% plus vite qu’un test fréquentiste classique. En contrepartie, la taille d’échantillon maximum théorique est légèrement supérieure (pénalité de puissance de l’ordre de 5 à 20% selon la fonction de dépense). Le gain moyen reste largement positif pour la majorité des tests.

Le peeking problem désigne l’inflation du taux d’erreur de type I qui survient lorsqu’on analyse un A/B test fréquentiste plusieurs fois avant la fin prévue et qu’on décide de l’arrêter dès que p<0,05. Avec 20 regards espacés dans le temps, le taux réel de faux positifs peut grimper au-delà de 40% au lieu des 5% annoncés. L’analyse séquentielle est précisément la solution fréquentiste à ce problème : elle autorise les regards multiples en ajustant les seuils.

Un test à horizon fixe impose une seule analyse en fin de test, après avoir atteint la taille d’échantillon pré-calculée. Un test séquentiel autorise plusieurs analyses intermédiaires aux étapes planifiées, en ajustant les seuils de significativité via une fonction de dépense alpha pour que le taux de faux positifs global reste au niveau choisi (ex : 5%). L’horizon fixe est plus puissant si on va jusqu’au bout ; le séquentiel permet d’arrêter plus vite en moyenne. Lien : calculateur de taille d’échantillon classique.

Ce calculateur implémente un Group Sequential Test (GST) avec alpha-spending et beta-spending, standard en essais cliniques et en expérimentation produit. Quatre fonctions de dépense sont disponibles pour l’efficacité : Kim-DeMets (ρ=3), O’Brien-Fleming, Pocock, et Hwang-Shih-DeCani (HSD). L’approche est fréquentiste et distincte de l’always valid inference (mSPRT) utilisée par Optimizely ou des confidence sequences employées par Netflix et GrowthBook. Lien : MDE (Minimum Detectable Effect).

O’Brien-Fleming est le défaut recommandé : bornes très strictes au début, relâchées à la fin, surcoût inférieur à 5% sur la taille d’échantillon si le test va à son terme. Pocock facilite l’arrêt précoce avec un seuil Z constant (~2,41), mais coûte 10 à 30% de trafic en plus si on va au bout. Kim-DeMets avec ρ=3 approche O’Brien-Fleming tout en offrant plus de flexibilité paramétrique. En règle pratique : O’Brien-Fleming pour les tests confirmatoires, Pocock pour l’exploration.

Privilégiez le séquentiel si : votre trafic est faible (B2B, niches), vous devez détecter rapidement des régressions, le coût d’opportunité d’attendre est élevé, vous avez une métrique principale claire.

Restez sur l’horizon fixe si : vous avez plusieurs métriques critiques co-primaires, vous craignez un novelty effect significatif sur les premières semaines, vous avez besoin d’estimations d’effet non biaisées (forecasting, sizing). Les deux approches coexistent dans un bon programme CRO.
Voir aussi : les différents types de tests A/B disponibles.

Si, à la durée max prévue, le Z cumulé reste dans la zone neutre (entre les bornes d’efficacité et de futilité), le test est non concluant. Trois options rigoureuses : conclure à une équivalence opérationnelle (l’effet est plus petit que votre MDE et donc non actionnable), abandonner la variation, ou redessiner un nouveau test avec un MDE plus petit. Ne prolongez jamais le test en cours : cela invalide le contrôle de l’erreur de type I et transforme vos garanties statistiques en illusion.

Un KPI de sécurité protège contre les effets de bord : votre KPI principal progresse mais la marge, le taux de rebond ou le revenu par visiteur se dégrade. Le calculateur teste le KPI principal en supériorité et le guardrail en non-régression, avec leurs propres bornes séquentielles. Règle absolue : un test ne doit jamais être déployé si un guardrail franchit sa borne de régression, même si le principal est significatif. Presque tous les tests gagnent à intégrer au moins un guardrail.

Le Sample Ratio Mismatch (SRM) est un déséquilibre significatif de la répartition du trafic entre variations — par exemple 49/51 au lieu de 50/50 attendu (p<0,01). En analyse séquentielle il est particulièrement dangereux : l’arrêt précoce cristallise le biais avant qu’il ne soit diagnostiqué.
Le calculateur intègre un check SRM automatique. Si l’alerte se déclenche, corrigez la cause technique (cache, redirection, bot trap asymétrique, tracking manquant) avant d’interpréter le test.

Ce calculateur est optimisé pour des taux de conversion (distribution Bernoulli). Pour des métriques continues comme le revenu ou la durée de session, les garanties théoriques nécessitent d’autres frameworks : t-tests séquentiels, bootstrap séquentiel, confidence sequences non-paramétriques (Howard-Ramdas), ou packages R dédiés comme gsDesign et rpact.

Le GST reste une bonne approximation si la distribution est proche de la normale après agrégation hebdomadaire, ce qui est souvent le cas pour du revenu moyen.

GST (ce calculateur) : nombre et timing d’analyses planifiés à l’avance, alpha-spending, plus puissant par analyse. SPRT (Wald 1945) : test optimal sur une hypothèse simple avec effet connu à l’avance. mSPRT (Robbins, Optimizely) : version « mélangée » qui ne requiert pas de connaître le vrai effet. Always valid inference (Johari-Pekelis-Walsh 2022) : cadre générique produisant des p-values valides à tout instant, autorisant le continuous monitoring sans plan d’arrêt pré-spécifié. Le GST est plus rigide mais plus efficace par analyse ; l’always valid est plus flexible mais perd en puissance.

Trois messages à tenir ensemble :

  1. le plan d’arrêt a été fixé avant le test, pas après avoir vu les données = pas de peeking illégitime
  2. la borne franchie garantit un taux de faux positifs contrôlé à 5%, exactement comme un test classique mené à terme
  3. l’estimation ponctuelle de l’uplift est biaisée vers le haut (winner’s curse), il faut reporter l’intervalle de confiance séquentiel, pas la pointe.

Préparez une slide type qui rappelle ces trois points à chaque décision d’arrêt précoce : c’est aussi un outil d’acculturation.

Les cinq pièges classiques, par ordre de fréquence :

  1. changer de méthode (séquentiel vers fixe ou inverse) en cours de test
  2. prolonger le test au-delà de la durée max pour forcer un résultat
  3. modifier le MDE, alpha ou la fonction de dépense après avoir vu les données (data snooping)
  4. ignorer une alerte SRM ou une régression sur un guardrail
  5. rapporter la pointe d’uplift plutôt que l’intervalle de confiance corrigé.

Chacune de ces erreurs invalide les garanties sur le contrôle de l’erreur de type I.

Des clients heureux accompagnés et formés à l'expérimentation avant vous :

Boulanger logo FWO
HelloBank! logo FWO
Kiabi logo FWO
Salomon logo FWO
Decathlon logo FWO
MAIF logo FWO
BNP logo FWO
DPR logo FWO
SG Logo FWO

Programme formation CRO

Développez vos compétences en expérimentation pour avoir plus d'impact sur votre produit

Le programme de formation CRO permet aux équipes produit et marketing de développer toutes les compétences nécessaires pour utiliser la démarche au quotidien avec plus de résultats.

Qu’est ce que vous apprendrez ? 

  • Identifier les bons problèmes pour créer des hypothèses pertinentes avec le Framework RWO
  • Prioriser et construire des stratégies d'expérimentation pour atteindre vos objectifs
  • Concevoir des solutions qui influencent vos utilisateurs pour plus d'impact
  • Comprendre les chiffres et les statistiques pour utiliser le test A/B
  • Un atelier pour maîtriser les outils et les livrables FWO
Découvrir la formation
Accompagnement et formation cro par Mathieu Fauveaux de FWO.