مکانیزم توجه

توجه به‌عنوان جستجوی نرم

در مدل‌های رمزگذار-رمزگشای اولیه، کل جمله‌ی ورودی در یک بردار با طول ثابت فشرده می‌شد و برای جمله‌های بلند گلوگاه بود. توجه (Attention) اجازه می‌دهد در هر قدم، مستقیم به همه‌ی موقعیت‌های ورودی نگاه کنیم.

ایده مثل یک دیکشنری نرم است:

• پرس‌وجو (Query، $q$): دنبال چه می‌گردم؟
• کلید (Key، $k_i$): هر موقعیت چه چیزی عرضه می‌کند؟
• مقدار (Value، $v_i$): محتوایی که از آن موقعیت برداشته می‌شود.

به‌جای انتخاب یک کلید، شباهت $q$ با همه‌ی کلیدها را حساب می‌کنیم، با softmax به وزن تبدیل می‌کنیم و میانگین وزن‌دار مقدارها را برمی‌داریم:

توجه ضرب نقطه‌ای مقیاس‌شده

در ترنسفورمر، شباهت با ضرب نقطه‌ای حساب می‌شود و همه‌ی پرس‌وجوها با هم به‌صورت ماتریسی پردازش می‌شوند:

چرا تقسیم بر $\sqrt{d_k}$؟ اگر مؤلفه‌های $q$ و $k$ مستقل با میانگین صفر و واریانس ۱ باشند:

یعنی با بزرگ شدن $d_k$ امتیازها بزرگ می‌شوند، softmax اشباع می‌شود (تقریباً one-hot) و گرادیانش خیلی کوچک می‌شود. تقسیم بر $\sqrt{d_k}$ واریانس امتیاز را به ۱ برمی‌گرداند.

خودتوجهی، ماسک و هزینه

• خودتوجهی (Self-attention): $Q$، $K$ و $V$ همگی از همان دنباله ساخته می‌شوند: $Q = XW_Q$، $K = XW_K$، $V = XW_V$.
• توجه متقابل (Cross-attention): $Q$ از یک دنباله و $K, V$ از دنباله‌ی دیگر می‌آیند.
• ماسک علّی (Causal Mask): برای مدل‌سازی زبان، موقعیت $t$ نباید آینده را ببیند. پیش از softmax به امتیازهای $j > t$ مقدار $-\infty$ اضافه می‌کنیم تا وزنشان دقیقاً صفر شود.
• هزینه: ماتریس امتیاز $n \times n$ است؛ در پیاده‌سازی استاندارد که ماتریس امتیاز را کامل می‌سازد، زمان و حافظه $O(n^2)$ نسبت به طول دنباله رشد می‌کنند.

نکته‌ی مهم: خودتوجهی بدون ماسک به ترتیب حساس نیست. اگر ورودی‌ها را جابه‌جا کنیم، خروجی‌ها هم به همان شکل جابه‌جا می‌شوند (هم‌وردایی جایگشتی). اطلاعات موقعیت باید جدا اضافه شود.