فرایندهای گاوسی

توزیع روی توابع

تا اینجا روی پارامترها پیشین می‌گذاشتیم. فرایند گاوسی (GP) مستقیماً روی توابع پیشین می‌گذارد:

تعریف: برای هر مجموعه‌ی متناهی از نقاط $x_1, \dots, x_n$، بردار $\big(f(x_1), \dots, f(x_n)\big)$ توزیع گاوسی چندمتغیره دارد با میانگین $m(x_i)$ و کوواریانس $K_{ij} = k(x_i, x_j)$.

کرنل تعیین می‌کند مقدار تابع در دو نقطه چقدر به هم وابسته است. رایج‌ترین انتخاب کرنل گاوسی (RBF) است:

• $\sigma_f^2$: دامنه‌ی تغییرات عمودی تابع.
• طول مقیاس $\ell$: در چه فاصله‌ای مقدارهای تابع عملاً مستقل می‌شوند. $\ell$ کوچک توابع پرنوسان می‌دهد و $\ell$ بزرگ توابع هموار.

معمولاً $m(x) = 0$ فرض می‌شود.

پیش‌بینی با شرطی‌سازی

فرض کنید مشاهده‌ها نویزی‌اند: $y_i = f(x_i) + \varepsilon_i$ با $\varepsilon_i \sim \mathcal N(0, \sigma_n^2)$. چون $y$ و $f(x_*)$ با هم گاوسی‌اند، پسین هم گاوسی است و با فرمول‌های شرطی‌سازی گاوسی به دست می‌آید. با $K_y = K + \sigma_n^2 I$ و $k_* = \big(k(x_1, x_*), \dots, k(x_n, x_*)\big)^\top$:

چند نکته:

• واریانس پسین به مقدار $y$ بستگی ندارد، فقط به محل نقاط آموزشی وابسته است.
• دور از داده‌ها $k_* \to 0$ است، پس پیش‌بینی به پیشین برمی‌گردد: $\mu_* \to 0$ و $\sigma_*^2 \to k(x_*, x_*)$.
• $\mu_*$ دقیقاً همان پیش‌بینی رگرسیون ریج کرنلی با $\lambda = \sigma_n^2$ است. تفاوت GP این است که عدم‌قطعیت را هم می‌دهد.

ابرپارامترها و هزینه‌ی محاسباتی

ابرپارامترها ($\ell$، $\sigma_f$، $\sigma_n$) را معمولاً با بیشینه کردن لگ‌درست‌نمایی حاشیه‌ای تنظیم می‌کنیم:

• جمله‌ی اول برازش داده را می‌سنجد.
• جمله‌ی دوم پیچیدگی مدل را جریمه می‌کند.

این دو جمله با هم یک «تیغ اوکام» خودکار می‌سازند و جلوی انتخاب $\ell$ خیلی کوچک را می‌گیرند.

هزینه: وارون کردن (در عمل تجزیه‌ی چولسکی) ماتریس $n \times n$ زمان $O(n^3)$ و حافظه‌ی $O(n^2)$ می‌خواهد. برای همین GP دقیق برای چند ده هزار نقطه به بالا سنگین است و از تقریب‌هایی مثل نقاط القایی (Inducing Points) استفاده می‌شود.