jeudi 24 août 2017

Minimum Detectable Effect calculator


MDE calculator

This form calculates the Minimum Detectable Effect for an AB test.
Enter the number of visitors you have and the conversion rate of the page you want to test, then clic on the run button...
You will get the size of the Minimum Detectable Effect of your experiment.

Total number of visitors :
Initial conversion rate : %

Minimal Detectable Effect :


Feel free to ask questions in the comment section or via twitter (@hwassner).

Go to the AB Tasty website for a nicer interface of that tool.

lundi 21 août 2017

Minimum Detectable Effect

La fin du "sample size calculator"


Dans la pratique du test A/B, il est recommandé de prévoir la taille de l'échantillon de visiteurs que l'on va tester. Ce conseil provient de la pratique industrielle, pour laquelle la taille de l'échantillon est importante, car elle définira le coût de l'expérience. L'objectif est de maintenir ce coût le plus bas possible.
C'est à cela que les "sample size calculator" servent. Ils demandent le taux de réussite actuel (taux de conversion) ainsi que la taille de l'effet minimum que l'on cherche à mesurer. Le résultat du calcul est la taille de l'échantillon nécessaire pour que l'on puisse conclure d'une telle expérience.

Cela se transpose mal dans le monde du web car la situation est différente :
  • Mesurer les conversions ne coûte rien (contrairement à l'industrie)
  • Le nombre de visiteurs est une donnée du problème (pas la réponse)
  • L'effet de la variation est difficilement prévisible.
    (en pratique c'est même précisément la question qu'on se pose!)
Cela rend très difficile l'usage des calculatrices de taille d'échantillon.

Pour autant, être capable de savoir ce que l'on peut vraiment mesurer est très important.

Pour le web il faut une formule qui marche dans l'autre sens.

On spécifie :
  • Le taux de conversion actuel 
  • Le trafic de la page à tester
 Et la formule donne la taille minimale de l'effet induit par la variation qu'on sera capable de détecter :le MDE (Minimal Detectable Effect).

J'ai développé une telle calculatrice, vous pouvez y accéder ici, dites moi ce que vous en pensez.