مختبر الرؤية الحاسوبية الخوارزميات تجميع الانتباه عبر الطبقات

تجميع الانتباه عبر الطبقات

Attention Rollout

ضرب مصفوفات الانتباه (مع الهوية للاتصال المتبقي) عبر الطبقات.

داخل المتصفحالتفسير البصري وخرائط الانتباهالتفسير

هذا المحتوى أُعدّ آلياً من مصادر موثقة ولم تكتمل مراجعته العلمية البشرية بعد. إن وجدت خطأً فأبلغنا.

الصيغة الرياضية

\tilde{A}^{(l)} = \tfrac{1}{2}\big(\bar{A}^{(l)} + I\big),\qquad R = \tilde{A}^{(L)}\cdots\tilde{A}^{(1)}

الشرح

يُتوسط الانتباه عبر الرؤوس ويُضاف الاتصال المتبقي ثم يُعاد تطبيع الصفوف، وحاصل الضرب يقدّر تدفق المعلومات من الرقع إلى [CLS].

التطبيقات

تفسير محوّلات الرؤية.

القيود

غير مرتبط بفئة معينة؛ الانتباه لا يساوي السببية.

المراجع

  1. S. Abnar, W. Zuidema (2020).Quantifying Attention Flow in Transformers. ACL 2020. doi:10.18653/v1/2020.acl-main.385
  2. A. Dosovitskiy et al. (2020).An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929 (ICLR 2021). doi:10.48550/arXiv.2010.11929

تجارب تستخدم هذه الخوارزمية

نماذج مرتبطة

دروس مرتبطة

جرّبها في التفسير البصري وخرائط الانتباه