Positional Encoding
الترميز الموضعي
التعريف
إضافة معلومات ترتيب الرموز إلى تضميناتها لأن الانتباه الذاتي لا يميز المواضع بنفسه.
الانتباه لا يعرف الترتيب، فيُضاف متجه يمثل الموضع إلى تضمين كل رمز. تُستخدم دوال جيبية ثابتة، أو مواضع متعلمة، أو ترميز نسبي مثل RoPE وALiBi.
Definition
Positional encoding injects token position information into embeddings, since self-attention is otherwise permutation-invariant.
شرح مبسّط للمبتدئين
كترقيم صفحات كتاب مبعثرة: بدون الأرقام لا يعرف القارئ الترتيب.
شرح أكاديمي متخصص
في المحوّل الأصلي \(PE_{(pos,2i)}=\sin(pos/10000^{2i/d})\).
أمثلة عملية
- إضافة المتجه الجيبي للموضع 3.
التطبيقات والاستخدامات
- المحوّلات.
المزايا
- يدخل الترتيب في نموذج لا يعرفه.
القيود والعيوب
- التعميم لأطوال أكبر من التدريب صعب.
المعادلات الرياضية
الترميز الجيبي
PE_{(pos,2i)}=\sin\!\left(\frac{pos}{10000^{2i/d}}\right),\; PE_{(pos,2i+1)}=\cos\!\left(\frac{pos}{10000^{2i/d}}\right)يمثل كل موضع بمتجه من موجات جيبية بترددات مختلفة.
| الرمز | المعنى |
|---|---|
| \(pos\) | الموضع |
| \(i\) | فهرس البعد |
| \(d\) | بُعد التضمين |
