حاسبة دلالة اختبار A/B

يعني ذلك أنه من غير المحتمل أن يكون الفرق الملحوظ بين معدلات تحويل الضابطة والمتغير قد حدث بمحض الصدفة، عند مستوى الثقة الذي اخترته. لا يعني ذلك أن التأثير كبير أو مهم عمليًا؛ يمكن أن يكون فرق حقيقي صغير ذا دلالة إحصائية مع وجود عدد كافٍ من الزوار، بينما قد لا يكون فرق يبدو كبيرًا من عينة صغيرة كذلك.

هذا هو الفخ الكلاسيكي للعينة الصغيرة: مع قلة الزوار، يمكن للضوضاء العشوائية وحدها أن تنتج بسهولة تقلبات تبدو كبيرة في معدل التحويل تختفي مع المزيد من البيانات. تأخذ القيمة الاحتمالية في الاعتبار حجم العينة، وليس فقط حجم الفرق؛ فرق 10% مقابل 30% على 10 زوار لكل منهما يحمل دليلاً أقل بكثير من نفس النسب المئوية على 10,000 زائر لكل منهما.

هي احتمال رؤية فرق بهذا الحجم على الأقل بين المجموعتين إذا لم يكن هناك في الواقع فرق حقيقي بينهما ("الفرضية الصفرية"). تعني القيمة الاحتمالية الصغيرة (أقل من عتبة الدلالة لديك، مثل 0.05 لثقة 95%) أن البيانات الملحوظة ستكون غير محتملة في ظل افتراض عدم وجود فرق، وهو دليل، وليس إثباتًا، على وجود فرق حقيقي.

إنه نطاق من القيم المعقولة للفرق الحقيقي في معدل التحويل بين المتغير والضابطة، وليس مجرد تقدير نقطة واحدة. إذا لم تتقاطع الفترة مع الصفر، فذلك يتوافق مع نتيجة ذات دلالة؛ وإذا تقاطعت مع الصفر (مما يعني أن "عدم وجود فرق" نتيجة معقولة)، فذلك يتوافق مع نتيجة غير ذات دلالة، ويعكس عرض الفترة مدى دقة التقدير.

عمومًا لا، يسمى هذا "التلصص" (peeking) ويضخم معدل الإيجابية الكاذبة الحقيقي لديك إلى ما بعد مستوى الثقة الذي اخترته، لأن التحقق المتكرر يمنح الضوضاء العشوائية فرصًا أكثر لتجاوز عتبة الدلالة. حدد حجم عينة أو مدة مسبقًا (تساعد حاسبة حجم العينة في ذلك) وتحقق من النتائج فقط بعد الوصول إلى ذلك، بدلاً من التوقف بمجرد رؤية الدلالة.

يستخدم اختبار z قياسي لنسبتين، وهو نفس النهج الأساسي الذي تستخدمه معظم منصات اختبار A/B لمقاييس التحويل الثنائية. يمكن أن تختلف الأرقام الدقيقة قليلاً بين الأدوات اعتمادًا على تصحيحات الاستمرارية، وافتراضات أحادية الذيل مقابل ثنائية الذيل، أو الطرق البايزية التي تستخدمها بعض المنصات بدلاً من ذلك، لذا تعامل مع هذا كتحقق تبادلي عام موثوق بدلاً من توقع قيمة احتمالية مطابقة لكل منصة.