معیارها در داده‌ی نامتوازن

پارادوکس دقت و ماتریس درهم‌ریختگی

فرض کنید فقط ۱٪ تراکنش‌ها تقلبی‌اند. مدلی که همیشه بگوید «سالم» دقت (Accuracy) ۹۹٪ دارد، ولی حتی یک تقلب را هم پیدا نمی‌کند. وقتی کلاس مثبت نادر است، دقت کلی تقریباً فقط عملکرد روی کلاس منفی را نشان می‌دهد.

برای همین از ماتریس درهم‌ریختگی (TP، FP، FN، TN) معیارهای متمرکز بر کلاس مثبت می‌سازیم:

• Precision: از هشدارهای مدل، چه کسری درست بود؟
• Recall (حساسیت، TPR): از مثبت‌های واقعی، چه کسری پیدا شد؟
• $F_1$ میانگین هارمونیک این دو است، پس اگر یکی کوچک باشد، $F_1$ هم کوچک می‌شود.

ROC-AUC در برابر PR-AUC

منحنی ROC نرخ مثبت درست ($TPR$) را بر حسب نرخ مثبت کاذب $FPR = \dfrac{FP}{FP + TN}$ در همه‌ی آستانه‌ها رسم می‌کند. منحنی PR Precision را بر حسب Recall رسم می‌کند.

تفاوت کلیدی در مخرج‌هاست:

• $TPR$ و $FPR$ هرکدام فقط به یک کلاس مشروط‌اند، پس ROC به نسبت کلاس‌ها وابسته نیست. ولی وقتی منفی‌ها خیلی زیادند، حتی صدها مثبت کاذب هم $FPR$ را کوچک نگه می‌دارد و ROC-AUC خوش‌بینانه به نظر می‌رسد.
• Precision مستقیماً $FP$ را با $TP$ مقایسه می‌کند، پس به همین مثبت‌های کاذب حساس است.

خط پایه هم فرق دارد: ROC-AUC یک مدل تصادفی $0.5$ است، ولی PR-AUC (یا Average Precision) یک مدل تصادفی برابر نرخ شیوع کلاس مثبت است. در داده‌ی نامتوازن، PR-AUC معمولاً تصویر واقع‌بینانه‌تری از کیفیت پیدا کردن مثبت‌ها می‌دهد.

آستانه، هزینه و معیارهای متوازن

مدل احتمالی امتیاز $\hat p$ می‌دهد و ما با یک آستانه تصمیم می‌گیریم. آستانه‌ی $0.5$ هیچ جایگاه خاصی ندارد. اگر احتمال‌ها کالیبره باشند و هزینه‌ی مثبت کاذب $C_{FP}$ و منفی کاذب $C_{FN}$ باشد، پیش‌بینی مثبت وقتی به‌صرفه است که $\hat p\,C_{FN} > (1-\hat p)\,C_{FP}$، یعنی:

معیارهای دیگر برای داده‌ی نامتوازن:

• دقت متوازن (Balanced Accuracy): میانگین Recall دو کلاس.
• ضریب همبستگی متیوز (MCC): از هر چهار خانه‌ی ماتریس استفاده می‌کند و مقدارش بین $-1$ و $1$ است.
• برای چندکلاسه، میانگین macro به همه‌ی کلاس‌ها وزن برابر می‌دهد، ولی micro تحت سلطه‌ی کلاس‌های پرجمعیت است.