Dropout و منظم‌سازی شبکه‌های عمیق

Dropout معکوس را درست پیاده کنی و تفاوت وزن‌کاهی، توقف زودهنگام و هموارسازی برچسب را به‌عنوان روش‌های منظم‌سازی بشناسی.

13 دقیقه مطالعه · 5 سؤال تمرینی · یادگیری ماشین میانی و پیشرفته

Dropout

در Dropout هنگام آموزش، هر واحد با احتمال pp صفر می‌شود. ایده: شبکه نمی‌تواند به یک واحد خاص تکیه کند، پس ویژگی‌ها کمتر به هم وابسته (Co-adapted) می‌شوند. از نگاه دیگر، هر دسته یک زیرشبکه‌ی تصادفی را آموزش می‌دهد و در آزمون عملاً میانگین تقریبی تعداد نمایی زیرشبکه را داریم.

برای اینکه امید ریاضی خروجی تغییر نکند، در Dropout معکوس (Inverted Dropout) واحدهای باقی‌مانده را در آموزش بر 1−p1-p تقسیم می‌کنیم:

h~=m⊙h1−p,mi∼Bernoulli(1−p)\tilde h = \frac{m \odot h}{1 - p}, \qquad m_i \sim \text{Bernoulli}(1-p)

در نتیجه E[h~]=h\mathbb{E}[\tilde h] = h و در زمان استنتاج هیچ کاری لازم نیست: Dropout خاموش است و مقیاس‌دهی هم نمی‌خواهد.

وزن‌کاهی و AdamW

وزن‌کاهی (Weight Decay) در هر قدم وزن‌ها را کمی به سمت صفر می‌کشد:

w←(1−ηλ) w−η ∇L(w)w \leftarrow (1 - \eta\lambda)\,w - \eta\,\nabla L(w)

برای SGD ساده، این دقیقاً معادل افزودن جریمه‌ی λ2∥w∥2\tfrac{\lambda}{2}\|w\|^2 به زیان است.

ولی در بهینه‌سازهای تطبیقی مثل Adam این معادل‌بودن از بین می‌رود: اگر جریمه‌ی ℓ2\ell_2 را به گرادیان اضافه کنیم، آن هم بر v^\sqrt{\hat v} تقسیم می‌شود و وزن‌هایی که گرادیان بزرگ دارند کمتر منظم می‌شوند. AdamW (Loshchilov و Hutter) وزن‌کاهی را جدا از به‌روزرسانی تطبیقی و مستقیم روی وزن‌ها اعمال می‌کند و امروزه انتخاب استاندارد برای آموزش ترنسفورمرهاست.

توقف زودهنگام، داده‌افزایی و هموارسازی برچسب

  • توقف زودهنگام (Early Stopping): خطای اعتبارسنجی را دنبال می‌کنیم و بهترین نقطه را نگه می‌داریم. برای مدل‌های خطی با زیان درجه‌دوم، اثرش مشابه جریمه‌ی ℓ2\ell_2 است.
  • داده‌افزایی (Data Augmentation): تبدیل‌هایی که برچسب را عوض نمی‌کنند (برش، چرخش، تغییر رنگ) ناوردایی مطلوب را به مدل یاد می‌دهند.
  • هموارسازی برچسب (Label Smoothing): به‌جای هدف one-hot، با KK کلاس از
yLS=(1−ε) yone-hot+εKy^{\text{LS}} = (1 - \varepsilon)\,y^{\text{one-hot}} + \frac{\varepsilon}{K}

استفاده می‌کنیم. این مدل را از تولید لاجیت‌های بی‌نهایت مطمئن باز می‌دارد. در ترنسفورمر اصلی ε=0.1\varepsilon = 0.1 بود.

تمرین‌های این درس را حل کن (رایگان)