حاسبة حجم العينة لاختبار A/B

إنه أصغر فرق حقيقي بين الضابطة والمتغير تريد فعليًا أن يتمكن الاختبار من اكتشافه. ضبطه على قيمة صغيرة جدًا (السعي وراء تحسينات ضئيلة) يتطلب حجم عينة ضخمًا، بينما ضبطه على قيمة كبيرة جدًا يعني أن الاختبار قد يفوت تحسينًا ذا معنى حقيقي لكنه أصغر. يضيف الوضع المطلق نقاطًا مئوية مباشرة إلى الأساس (10% + 2 نقطة مئوية = 12%)؛ ويقيس الوضع النسبي الأساس بنسبة مئوية (10% × 1.20 = 12%).

يتحكم مستوى الثقة في تحملك للإيجابية الكاذبة، أي إعلان فائز بينما لا يوجد فرق حقيقي (مستوى ثقة 95% يعني احتمال 5% لحدوث ذلك). تتحكم القوة الإحصائية في تحملك للسلبية الكاذبة، أي تفويت فرق حقيقي موجود بالفعل (قوة 80% تعني احتمال 80% لاكتشاف التأثير بشكل صحيح إذا كان موجودًا، واحتمال 20% لتفويته).

كل مقارنة إضافية مقابل الضابطة هي فرصة أخرى لتسلل إيجابية كاذبة، لذا فإن اختبار المزيد من المتغيرات بنفس مستوى الثقة لكل مقارنة يرفع بصمت معدل خطأك الإجمالي الحقيقي. يشدد تصحيح بونفروني مستوى الثقة لكل مقارنة فردية بحيث يظل الخطر المجمع عبر جميعها مطابقًا لمستوى الثقة الذي اخترته أصلاً، على حساب الحاجة إلى حجم عينة أكبر لكل متغير.

اكتشاف التأثيرات الصغيرة بشكل موثوق مكلف بطبيعته من حيث حجم العينة؛ ينمو الحجم المطلوب تقريبًا مع مربع مقلوب التأثير الذي تحاول اكتشافه، لذا فإن تقليل أدنى تأثير قابل للاكتشاف إلى النصف يضاعف تقريبًا حجم العينة المطلوب أربع مرات. هذا قيد إحصائي حقيقي، وليس عيبًا في الحساب؛ إنه نفس المقايضة التي تواجهها كل منصة اختبار A/B.

يقسم حجم العينة الإجمالي المطلوب عبر جميع المتغيرات على عدد الزوار اليومي لديك (مقسمًا حسب كيفية توزيع حركة المرور فعليًا بين المتغيرات) ويقرب لأقرب يوم كامل. إنه تقدير تخطيطي يفترض حركة مرور ثابتة ومستقرة؛ يمكن أن تستمر المدة الفعلية للاختبار لفترة أطول إذا انخفضت حركة المرور أو إذا أردت أيضًا مراعاة الدورات الأسبوعية في سلوك المستخدم.

يفترض اختبار z قياسي لنسبتين يقارن معدلات التحويل، وهو النهج الأكثر شيوعًا لاختبارات A/B النموذجية التي تقيس نتيجة ثنائية مثل "تحول أو لم يتحول". إذا كنت تقيس مقياسًا مستمرًا بدلاً من ذلك، مثل الإيرادات أو الوقت على الصفحة، فستنطبق صيغة مختلفة لحجم العينة تعتمد على تباين ذلك المقياس.