مختبر الرؤية الحاسوبية الخوارزميات الانتباه الذاتي

الانتباه الذاتي

Scaled dot-product self-attention

كل رمز يحسب أوزاناً لكل الرموز الأخرى من تشابه الاستعلام والمفتاح.

داخل المتصفحالتفسير البصري وخرائط الانتباهالمعماريات

هذا المحتوى أُعدّ آلياً من مصادر موثقة ولم تكتمل مراجعته العلمية البشرية بعد. إن وجدت خطأً فأبلغنا.

الصيغة الرياضية

\operatorname{Attention}(Q,K,V) = \operatorname{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V

الشرح

في محوّل الرؤية تُقسم الصورة إلى رقع 16×16 تصبح رموزاً، ويُضاف رمز [CLS] يُستخدم للتصنيف. كل رأس انتباه يتعلم نمط علاقات مختلفاً.

التطبيقات

محوّلات الرؤية ViT وDeiT وSegFormer.

القيود

كلفة تربيعية في عدد الرموز.

المراجع

  1. A. Vaswani et al. (2017).Attention Is All You Need. arXiv:1706.03762 (NeurIPS 2017). doi:10.48550/arXiv.1706.03762
  2. A. Dosovitskiy et al. (2020).An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929 (ICLR 2021). doi:10.48550/arXiv.2010.11929

نماذج مرتبطة

دروس مرتبطة

جرّبها في التفسير البصري وخرائط الانتباه