MLE و MAP

برآورد بیشینه‌ی درست‌نمایی و بیشینه‌ی پسین را برای مدل‌های ساده حساب کنی و ارتباط پیشین‌ها با منظم‌سازی را توضیح بدهی.

14 دقیقه مطالعه · 5 سؤال تمرینی · یادگیری ماشین میانی و پیشرفته

بیشینه‌ی درست‌نمایی (MLE)

فرض کنید داده‌ها D={x1,…,xn}D = \{x_1, \dots, x_n\} مستقل و هم‌توزیع از مدل p(x∣θ)p(x \mid \theta) آمده‌اند. درست‌نمایی (Likelihood) می‌پرسد: با هر θ\theta، داده‌ای که واقعاً دیده‌ایم چقدر محتمل بوده است؟ MLE پارامتری را انتخاب می‌کند که این مقدار را بیشینه کند:

θ^MLE=arg⁡max⁡θ∑i=1nlog⁡p(xi∣θ)\hat\theta_{\text{MLE}} = \arg\max_\theta \sum_{i=1}^n \log p(x_i \mid \theta)

از لگاریتم استفاده می‌کنیم چون ضرب را به جمع تبدیل می‌کند و بیشینه را جابه‌جا نمی‌کند.

دو نتیجه‌ی آشنا:

  • برنولی: با kk موفقیت در nn آزمایش، θ^=k/n\hat\theta = k/n.
  • گاوسی: μ^=xˉ\hat\mu = \bar x و σ^2=1n∑i(xi−xˉ)2\hat\sigma^2 = \frac1n\sum_i (x_i - \bar x)^2. این برآوردگر واریانس اریب است، چون به جای n−1n - 1 بر nn تقسیم می‌کند.

بیشینه‌ی پسین (MAP)

MLE با داده‌ی کم می‌تواند افراطی باشد: اگر سکه را ۳ بار بیندازیم و هر ۳ بار شیر بیاید، θ^MLE=1\hat\theta_{\text{MLE}} = 1 است، یعنی خط هرگز نمی‌آید!

در MAP یک توزیع پیشین p(θ)p(\theta) اضافه می‌کنیم و مُد پسین را برمی‌داریم:

θ^MAP=arg⁡max⁡θ [log⁡p(D∣θ)+log⁡p(θ)]\hat\theta_{\text{MAP}} = \arg\max_\theta\ \big[\log p(D \mid \theta) + \log p(\theta)\big]

برای برنولی، پیشین بتا Beta(a,b)\text{Beta}(a, b) مزدوج است: پسین Beta(a+k, b+n−k)\text{Beta}(a + k,\ b + n - k) می‌شود. برای a,b>1a, b > 1:

θ^MAP=k+a−1n+a+b−2\hat\theta_{\text{MAP}} = \frac{k + a - 1}{n + a + b - 2}

انگار قبل از دیدن داده، a−1a - 1 شیر و b−1b - 1 خط «مجازی» دیده‌ایم. با بزرگ شدن nn، اثر پیشین کم می‌شود و MAP به MLE نزدیک می‌شود.

پیشین یعنی منظم‌سازی

در رگرسیون خطی با نویز گاوسی y=w⊤x+εy = w^\top x + \varepsilon و ε∼N(0,σ2)\varepsilon \sim \mathcal N(0, \sigma^2)، منفی لگ‌درست‌نمایی همان مجموع مربعات خطاست. حالا پیشین را عوض کنیم:

  • پیشین گاوسی wj∼N(0,τ2)w_j \sim \mathcal N(0, \tau^2): MAP همان Ridge است با λ=σ2/τ2\lambda = \sigma^2 / \tau^2.
  • پیشین لاپلاس: MAP همان Lasso است.

پس پیشین قوی‌تر (یعنی τ\tau کوچک‌تر) معادل منظم‌سازی قوی‌تر است.

دو هشدار:

  • MAP هنوز یک برآورد نقطه‌ای است و عدم‌قطعیت را نگه نمی‌دارد. رویکرد بیزی کامل با کل توزیع پسین کار می‌کند.
  • برخلاف MLE، MAP نسبت به تغییر پارامتری‌سازی ناوردا نیست. مُد یک چگالی با تغییر متغیر غیرخطی جابه‌جا می‌شود.

تمرین‌های این درس را حل کن (رایگان)