Multi-head self-attention

التعريف

امتداد للانتباه الذاتي (self-attention) يطبق آلية الانتباه الذاتي عدة مرات لكل موضع في تسلسل الإدخال. قدمت المحولات (Transformers) الانتباه الذاتي متعدد الرؤوس.

تعلّم وراجع