مختبر الرؤية الحاسوبية الخوارزميات الانتباه الذاتي
الانتباه الذاتي
Scaled dot-product self-attention
كل رمز يحسب أوزاناً لكل الرموز الأخرى من تشابه الاستعلام والمفتاح.
هذا المحتوى أُعدّ آلياً من مصادر موثقة ولم تكتمل مراجعته العلمية البشرية بعد. إن وجدت خطأً فأبلغنا.
الصيغة الرياضية
\operatorname{Attention}(Q,K,V) = \operatorname{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)Vالشرح
في محوّل الرؤية تُقسم الصورة إلى رقع 16×16 تصبح رموزاً، ويُضاف رمز [CLS] يُستخدم للتصنيف. كل رأس انتباه يتعلم نمط علاقات مختلفاً.
التطبيقات
محوّلات الرؤية ViT وDeiT وSegFormer.
القيود
كلفة تربيعية في عدد الرموز.
المراجع
- A. Vaswani et al. (2017).Attention Is All You Need. arXiv:1706.03762 (NeurIPS 2017). doi:10.48550/arXiv.1706.03762
- A. Dosovitskiy et al. (2020).An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929 (ICLR 2021). doi:10.48550/arXiv.2010.11929
