منظم‌سازی L1 و L2

رگرسیون Ridge

در Ridge به تابع هدف کمترین مربعات یک جریمه‌ی $\ell_2$ اضافه می‌کنیم:

این مسئله جواب بسته دارد:

دو اثر مهم:

• ماتریس $X^\top X + \lambda I$ برای هر $\lambda>0$ وارون‌پذیر است، حتی وقتی ویژگی‌ها هم‌خطی دارند یا $p>n$ است.
• وزن‌ها به سمت صفر کوچک می‌شوند، ولی معمولاً دقیقاً صفر نمی‌شوند.

Lasso و تُنُک‌سازی

در Lasso جریمه از نوع $\ell_1$ است:

چرا وزن‌ها دقیقاً صفر می‌شوند؟ ناحیه‌ی قید $\|w\|_1 \le t$ یک لوزی است که گوشه‌هایش روی محورها قرار دارند. منحنی‌های تراز تابع زیان معمولاً اول به همین گوشه‌ها برخورد می‌کنند، جایی که برخی مؤلفه‌ها صفرند.

در حالت ستون‌های متعامد‌یکه، جواب Lasso همان آستانه‌گذاری نرم (Soft Thresholding) روی جواب کمترین مربعات $z_j$ است:

در مقابل، Ridge با هدف $\tfrac12\|y-Xw\|_2^2 + \tfrac{\lambda}{2}\|w\|_2^2$ فقط مقیاس را کم می‌کند: $\hat w_j = z_j/(1+\lambda)$. هیچ‌وقت صفر نمی‌شود.

نگاه بیزی و نکته‌های عملی

منظم‌سازی را می‌شود تخمین MAP با یک پیشین روی وزن‌ها دید:

| جریمه | پیشین معادل | |---|---| | $\ell_2$ (Ridge) | گاوسی $w_j \sim \mathcal N(0, \tau^2)$ | | $\ell_1$ (Lasso) | لاپلاس $w_j \sim \text{Laplace}(0, b)$ |

پیشین لاپلاس قله‌ی تیزی روی صفر دارد و همین تُنُکی را توضیح می‌دهد.

نکته‌های عملی:

• قبل از منظم‌سازی ویژگی‌ها را استاندارد کنید، وگرنه جریمه به مقیاس هر ویژگی وابسته می‌شود.
• عرض از مبدأ معمولاً جریمه نمی‌شود.
• وقتی گروهی از ویژگی‌ها همبستگی بالا دارند، Lasso یکی را تقریباً دلبخواهی انتخاب می‌کند. Elastic Net (ترکیب $\ell_1$ و $\ell_2$) در این حالت پایدارتر است.