آزمون A/B برای نسبت‌ها

نتیجه‌ی یک آزمون A/B (دو نسبت) را با آزمون z تحلیل کنی و خطاهای رایج مثل «سرک‌کشیدن» به نتیجه را بشناسی.

15 دقیقه مطالعه · 4 سؤال تمرینی · آمار و احتمال برای علم داده

مقایسه‌ی دو نرخ تبدیل

نسخه‌ی A صفحه‌ی ثبت‌نام را به ۲۰۰۰ کاربر نشان دادیم و ۲۰۰ نفر ثبت‌نام کردند (۱۰٪). نسخه‌ی B هم به ۲۰۰۰ کاربر: ۲۵۰ نفر (۱۲٫۵٪). آیا B واقعاً بهتر است؟

با $H_0: p_A = p_B$ ، نسبت تجمیعی $\hat{p} = \dfrac{200 + 250}{4000} = 0.1125$ و

SE = \sqrt{\hat{p}(1-\hat{p})\left(\tfrac{1}{n_A} + \tfrac{1}{n_B}\right)} \approx 0.00999, \qquad z = \frac{\hat{p}_B - \hat{p}_A}{SE} = \frac{0.025}{0.00999} \approx 2.50

p-value دوطرفه ≈ ۰٫۰۱۲، پس در سطح ۵٪ تفاوت معنادار است. بازه‌ی اطمینان تفاوت را هم گزارش کنید تا بدانید اثر چقدر بزرگ است.

خطاهای رایج در A/B:

سرک‌کشیدن (peeking): هر روز p-value را نگاه کنید و اولین باری که زیر ۰٫۰۵ شد متوقف کنید؛ نرخ خطای نوع اول بسیار بالاتر از ۵٪ می‌شود. حجم نمونه را از قبل تعیین کنید.
چند آزمون هم‌زمان: با ۲۰ معیار مختلف، به طور متوسط یکی «شانسی» معنادار می‌شود (تصحیح بونفرونی: $\alpha/m$ ).
نمونه‌ی نامتوازن یا غیرتصادفی: گروه‌ها باید تصادفی تقسیم شوند.

OpenIntro Statistics: بخش استنباط برای میانگین و نسبت.
Seeing Theory: Frequentist Inference: بازه‌ی اطمینان و آزمون فرض به‌صورت تصویری.
SciPy stats: ttest_1samp، ttest_ind، norm، binom و ... برای محاسبه‌ی همین عددها.