مختبر الرؤية الحاسوبية الخوارزميات تجميع الانتباه عبر الطبقات
تجميع الانتباه عبر الطبقات
Attention Rollout
ضرب مصفوفات الانتباه (مع الهوية للاتصال المتبقي) عبر الطبقات.
هذا المحتوى أُعدّ آلياً من مصادر موثقة ولم تكتمل مراجعته العلمية البشرية بعد. إن وجدت خطأً فأبلغنا.
الصيغة الرياضية
\tilde{A}^{(l)} = \tfrac{1}{2}\big(\bar{A}^{(l)} + I\big),\qquad R = \tilde{A}^{(L)}\cdots\tilde{A}^{(1)}الشرح
يُتوسط الانتباه عبر الرؤوس ويُضاف الاتصال المتبقي ثم يُعاد تطبيع الصفوف، وحاصل الضرب يقدّر تدفق المعلومات من الرقع إلى [CLS].
التطبيقات
تفسير محوّلات الرؤية.
القيود
غير مرتبط بفئة معينة؛ الانتباه لا يساوي السببية.
المراجع
- S. Abnar, W. Zuidema (2020).Quantifying Attention Flow in Transformers. ACL 2020. doi:10.18653/v1/2020.acl-main.385
- A. Dosovitskiy et al. (2020).An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929 (ICLR 2021). doi:10.48550/arXiv.2010.11929
