FlashAttention
فلاش أتنشن
التعريف
خوارزمية انتباه دقيقة تقلل حركة الذاكرة بين مستويات ذاكرة وحدة المعالجة الرسومية فتسرّع التدريب وتوفر الذاكرة.
تقسّم الحساب إلى كتل صغيرة تتسع في الذاكرة السريعة وتتجنب تخزين مصفوفة الانتباه الكاملة. الناتج مطابق رياضياً للانتباه القياسي لكنه أسرع وأخف ذاكرة.
Definition
FlashAttention is an exact attention algorithm that tiles computation to minimise GPU memory traffic, giving faster execution and linear-memory attention.
شرح مبسّط للمبتدئين
كنقل أغراض بين غرف: بدل حمل كل شيء في كل رحلة، تحمل ما يلزم في الوقت المناسب.
شرح أكاديمي متخصص
قدّمها Dao وآخرون (2022) بوعي بتسلسل ذاكرة GPU (IO-aware).
أمثلة عملية
- تدريب نموذج بسياق طويل.
التطبيقات والاستخدامات
- تدريب المحوّلات.
المزايا
- سرعة وذاكرة أقل دون تقريب.
القيود والعيوب
- مرتبطة بعتاد محدد.
