Calculatrice d'effet

d de Cohen

Mesure continue

Panier moyen, temps passé, note : tout ce qui se mesure par une moyenne.

A · témoin
B · technique

Taille d'effet

d = 0,40

U3

66 %

du groupe B au-dessus de la moyenne de A

Probabilité de supériorité

61 %

chance qu'une personne de B batte une personne de A

Chevauchement

84 %

des deux courbes · r = 0,20

Les deux distributions

A · témoinB · technique

Échelle, formules et limites

PuissanceMesure continueTaux
S possibled ≥ 0,8×2 ou plus
forte0,5 à 0,8+50 % à +100 %
moyenne0,2 à 0,5+10 % à +50 %
faiblemoins de 0,2moins de +10 %
nullel'intervalle de confiance contient 0

Le niveau S du vault exige en plus un effet mesuré sur le terrain et une preuve A ou B : la calculatrice ne peut dire que « S possible ».

d de Cohen. d = (moyenne B − moyenne A) / sp, avec sp = √[((nA−1)sA² + (nB−1)sB²) / (nA+nB−2)]. Erreur type : √[(nA+nB)/(nAnB) + d²/(2(nA+nB))]. U3 = Φ(d) · PS = Φ(d/√2) · chevauchement = 2Φ(−|d|/2) · r = d/√(d²+4).

Deux taux. Intervalle de l'écart absolu par l'approximation normale, intervalle de l'écart relatif par le logarithme du rapport des taux, valeur p par le test z à proportion commune, h = 2 arcsin√pB − 2 arcsin√pA.

Lire une étude. d = t√(1/nA + 1/nB) · d ≈ 2t/√ddl · t = √F · d = 2r/√(1−r²) · r = √(χ²/N) · d = ln(OR) × √3/π (Chinn, 2000). Un risque relatif passe par l'odds ratio grâce au taux du groupe témoin. Intervalle d'un r par la transformation de Fisher.

Taille d'échantillon. Taux : n = [z1−α/2√(2p̄(1−p̄)) + z1−β√(pA(1−pA) + pB(1−pB))]² / (pB−pA)². Moyenne : n = 2(z1−α/2 + z1−β)² σ² / Δ². Arrondi au-dessus, par version.

Impact. bénéfice net = visiteurs × taux × effet relatif × panier × marge − coût. Seuil : coût / (visiteurs × taux × panier × marge).

Vrai positif. puissance = Φ(d/√(2/n) − z1−α/2) · VPP = π × puissance / (π × puissance + (1 − π) × α), π étant la part d'hypothèses vraies (Ioannidis, 2005). Effet publié : moyenne du d observé quand il dépasse le seuil, d + se × φ(a) / (1 − Φ(a)) avec a = z1−α/2 − d/se.

Méta-analyse. Variance d'un d : v = 4/N + d²/(2N). Effet fixe : moyenne pondérée par w = 1/v. Effets aléatoires : méthode de DerSimonian et Laird, τ² = max(0, (Q − ddl) / (Σw − Σw²/Σw)), poids 1/(v + τ²). I² = (Q − ddl)/Q. Régression d'Egger : d/se en fonction de 1/se ; l'ordonnée à l'origine mesure l'asymétrie, la pente donne l'effet corrigé (PET).

Regarder tôt. Simulation : conversions quotidiennes tirées au hasard (loi binomiale, approchée par Poisson ou par la loi normale), test z à chaque lecture, arrêt au premier p < 0,05. Le tirage est reproductible ; « Relancer » change la graine.

A/B/n. Chaque version contre le témoin, test z. Bonferroni : p × m. Holm : valeurs p triées, la j-ième multipliée par m − j + 1, puis rendues croissantes. Risque global sans correction : 1 − (1 − α)m.

Bayésien. Taux a posteriori : Bêta(conversions + 1, échecs + 1). 20 000 tirages de chaque taux donnent P(B > A), le gain relatif et la perte attendue E[max(pA − pB, 0)].

Avant / après. effet = (testé après − testé avant) − (témoin après − témoin avant), erreur type √Σ(s²/n) sur les quatre cases. Le niveau de puissance utilise d = effet ÷ écart-type moyen.

Remise. Avec une marge m et une remise r (en part du prix), la hausse de ventes nécessaire est r / (m − r).

Valeur client. Marge annuelle M = panier × marge × achats par an, valeur = M × (1 + i) / (1 + i − r), r étant la rétention et i l'actualisation. Durée de vie moyenne : 1 / (1 − r).

Ce que la calculatrice ne traite pas. Les mesures avant et après sans groupe témoin (ce n'est pas une expérience), les tests séquentiels corrigés (seuils de Pocock ou d'O'Brien-Fleming), les paniers très inégaux (quelques très gros montants faussent les moyennes) et les effets qui varient selon le segment de clientèle.