بده‌بستان بایاس و واریانس

خطای مورد انتظار را به سه جزء تجزیه کنی و از روی خطای آموزش و اعتبارسنجی بفهمی مدل بیش‌برازش دارد یا کم‌برازش.

12 دقیقه مطالعه · 5 سؤال تمرینی · یادگیری ماشین میانی و پیشرفته

خطای مدل از کجا می‌آید؟

فرض کنید داده‌ها از رابطه‌ی $y = f(x) + \varepsilon$ تولید می‌شوند که در آن $\mathbb{E}[\varepsilon]=0$ و $\operatorname{Var}(\varepsilon)=\sigma^2$ . هر بار که یک مجموعه‌ی آموزشی تازه‌ی $D$ نمونه‌گیری کنیم، مدل متفاوتی به نام $\hat f_D$ به دست می‌آید.

برای زیان مربعات، خطای مورد انتظار در یک نقطه‌ی ثابت $x$ دقیقاً به سه جزء تجزیه می‌شود:

\begin{aligned}\mathbb{E}\big[(y-\hat f_D(x))^2\big] &= \underbrace{\big(f(x)-\mathbb{E}_D[\hat f_D(x)]\big)^2}_{\text{Bias}^2} \\ &\quad + \underbrace{\mathbb{E}_D\big[(\hat f_D(x)-\mathbb{E}_D[\hat f_D(x)])^2\big]}_{\text{Variance}} + \underbrace{\sigma^2}_{\text{Noise}}\end{aligned}

بایاس: میانگین پیش‌بینی مدل، روی همه‌ی مجموعه‌های آموزشی ممکن، چقدر با تابع واقعی فاصله دارد.
واریانس: پیش‌بینی مدل با عوض شدن داده‌ی آموزشی چقدر نوسان می‌کند.
نویز: خطایی که در خود داده است و هیچ مدلی نمی‌تواند حذفش کند.

پیچیدگی مدل و منحنی U

با بالا رفتن پیچیدگی مدل (درجه‌ی چندجمله‌ای بیشتر، درخت عمیق‌تر، $k$ کوچک‌تر در kNN) معمولاً بایاس کم و واریانس زیاد می‌شود. برای همین خطای آزمون در مدل‌های کلاسیک شکل U دارد.

دو الگوی تشخیصی رایج:

خطای آموزش کم، خطای اعتبارسنجی زیاد: واریانس بالا (بیش‌برازش). داده‌ی بیشتر، منظم‌سازی قوی‌تر یا مدل ساده‌تر کمک می‌کند.
هر دو خطا زیاد و نزدیک به هم: بایاس بالا (کم‌برازش). ویژگی بیشتر یا مدل پیچیده‌تر لازم است و داده‌ی بیشتر به‌تنهایی کمک چندانی نمی‌کند.

فراتر از منحنی U

در شبکه‌های عصبی بسیار بزرگ پدیده‌ای به نام نزول دوگانه (Double Descent) دیده می‌شود: وقتی تعداد پارامترها از نقطه‌ای که مدل داده‌ی آموزشی را کامل درون‌یابی می‌کند فراتر می‌رود، خطای آزمون می‌تواند دوباره کاهش پیدا کند.

یعنی تصویر کلاسیک U برای مدل‌های بسیار بیش‌پارامتری کامل نیست. ولی تجزیه‌ی بایاس و واریانس همچنان درست است. چیزی که تغییر می‌کند، این است که «پیچیدگی مؤثر» را چطور اندازه بگیریم.

تمرین‌های این درس را حل کن (رایگان)