Self-attention (also called self-attention layer)

طبقة شبكة عصبية تقوم بتحويل سلسلة من الزخارف (على سبيل المثال، تضمين الرمز المميز (token)) إلى تسلسل آخر من التضمينات (embedding). يتم إنشاء كل تضمين في تسلسل الإخراج من خلال دمج المعلومات من عناصر تسلسل الإدخال من خلال آلية الانتباه.
يشير الجزء الذاتي (self) من الانتباه الذاتي إلى التسلسل الذي يهتم بنفسه بدلاً من سياق آخر. الانتباه الذاتي هو أحد الكتل الإنشائية الرئيسية للمحولات (Transformers) ويستخدم مصطلحات البحث في القاموس، مثل "استعلام query" و "مفتاح key" و "قيمة value".
تبدأ طبقة الانتباه الذاتي بسلسلة من تمثيلات المدخلات، واحدة لكل كلمة. يمكن أن يكون تمثيل الإدخال لكلمة تضمينًا بسيطًا. لكل كلمة في تسلسل الإدخال، تقوم الشبكة بتسجيل مدى ملاءمة الكلمة لكل عنصر في تسلسل الكلمات بالكامل. تحدد درجات الملاءمة إلى أي مدى يشتمل التمثيل النهائي للكلمة على تمثيلات للكلمات الأخرى.
راجع أيضًا الانتباه (attention) والانتباه الذاتي متعدد الرؤوس (multi-head self-attention).