التعلم العميق بالعربي الدكتور علاء طعيمة
التعلم العميق النماذج اللغوية الكبيرة معالجة اللغة الطبيعية متقدم

Multi-Head Attention

الانتباه متعدد الرؤوس

الاختصار: MHA

التعريف

تشغيل عدة آليات انتباه بالتوازي بإسقاطات مختلفة ثم دمج نتائجها.

يسمح كل رأس بالتركيز على نوع مختلف من العلاقات (نحوية، دلالية، موضعية). تُجمع مخرجات الرؤوس وتُسقط بمصفوفة خطية. يرفع ذلك قدرة المحوّل دون زيادة كبيرة في الكلفة.

Definition

Multi-head attention runs several attention functions in parallel on different learned projections and concatenates their outputs.

شرح مبسّط للمبتدئين

كعدة محققين يبحث كل منهم عن نوع مختلف من الأدلة ثم يجمعون ما وجدوه.

شرح أكاديمي متخصص

\(\mathrm{MHA}=\mathrm{Concat}(\mathrm{head}_1,\dots,\mathrm{head}_h)W^O\) لكل رأس مصفوفات إسقاط خاصة.

أمثلة عملية

  • 8 رؤوس في المحوّل الأصلي.

التطبيقات والاستخدامات

  • المحوّلات.

المزايا

  • يلتقط علاقات متنوعة.

القيود والعيوب

  • بعض الرؤوس فائضة.

تعلّم وراجع

بطاقة مراجعة المصطلحراجعه مع المصطلحات المرتبطة به اختبار قصيرأسئلة عن هذا المصطلح وما يرتبط به

مصطلحات مقترحة للتعلّم بعده