مختبر الرؤية الحاسوبية الدروس خرائط الانتباه في المحوّلات

خرائط الانتباه في المحوّلات

Attention maps and Attention Rollout

ما الذي تقوله خرائط الانتباه وما الذي لا تقوله.

متقدم35 دقيقةالذكاء الاصطناعي القابل للتفسيرالتفسير البصري وخرائط الانتباه

هذا المحتوى أُعدّ آلياً من مصادر موثقة ولم تكتمل مراجعته العلمية البشرية بعد. إن وجدت خطأً فأبلغنا.

المقدمة

الانتباه مغرٍ كتفسير لأنه جزء من النموذج نفسه، لكنه ليس تفسيراً سببياً.

الأهداف التعليمية

  • استخراج انتباه [CLS].
  • فهم Attention Rollout.
  • المقارنة مع Grad-CAM.

المتطلبات السابقة

محوّلات الرؤية.

الشرح العلمي

انتباه الطبقة الأخيرة يُظهر إلى أي رقع ينظر رمز [CLS] مباشرة، لكن المعلومات تكون قد اختلطت عبر الطبقات السابقة. Rollout يضرب مصفوفات الانتباه (مع إضافة الهوية للاتصال المتبقي) لتقدير التدفق الكلي. كلاهما لا يرتبط بفئة معينة، بخلاف Grad-CAM.

المعادلات الرياضية

à = ½(Ā + I)، R = Ã^(L)···Ã^(1).

مثال عملي

DeiT-Tiny: 12 طبقة، والخريطة 14×14 تُكبَّر إلى 224×224.

خطوات التنفيذ

  1. اختر DeiT-Tiny في مختبر التفسير.
  2. شغّل Rollout ثم «انتباه الطبقة الأخيرة».
  3. غيّر نسبة الاستبعاد.

النتائج المتوقعة

Rollout أكثر انتشاراً، والطبقة الأخيرة أكثر تركيزاً وضوضاء.

الأخطاء الشائعة

قراءة الانتباه على أنه «سبب» القرار.

التطبيقات العملية

تحليل المحوّلات، الأبحاث في التفسير.

المراجع

  1. S. Abnar, W. Zuidema (2020).Quantifying Attention Flow in Transformers. ACL 2020. doi:10.18653/v1/2020.acl-main.385
  2. A. Dosovitskiy et al. (2020).An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929 (ICLR 2021). doi:10.48550/arXiv.2010.11929

تجارب مرتبطة

خوارزميات مرتبطة

جرّب في التفسير البصري وخرائط الانتباه