كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيمصمم الشبكات العصبية

Transformer وN-BEATS وTFT

Transformers, N-BEATS and TFT

متقدم18 دقيقة

أهداف الدرس

  • فهم آلية الانتباه الذاتي
  • فهم فكرة N-BEATS
  • معرفة متى نحتاج TFT

الانتباه الذاتي

يحسب لكل خطوة في النافذة وزناً لكل خطوة أخرى، فيلتقط الاعتماديات البعيدة دون تكرار تسلسلي. نضيف ترميزاً موضعياً لأن الانتباه لا يعرف الترتيب بذاته.

\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

N-BEATS

كتل من طبقات كاملة الاتصال، كل كتلة تنتج تقديراً للماضي (backcast) يطرح من المدخل وتنبؤاً يضاف إلى المخرج. لا يحتاج هندسة خصائص وحقق نتائج قوية في مسابقة M4. المختبر ينفذ النسخة العامة (generic).

TFT

Temporal Fusion Transformer يجمع LSTM والانتباه وشبكات اختيار المتغيرات، ويتعامل مع متغيرات ثابتة ومعروفة مستقبلاً ومرصودة سابقاً، ويعطي تنبؤات كمية. هو ثقيل حسابياً، لذلك يعمل في محرك Python فقط.

الخلاصة

  • الانتباه يحتاج ترميزاً موضعياً
  • N-BEATS بلا هندسة خصائص
  • TFT للمتغيرات المتعددة ويحتاج خادماً

طبّق الدرس في نماذج التنبؤ

للاستزادة

  1. Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762
  2. Oreshkin, B. N. et al. (2019). N-BEATS: Neural basis expansion analysis for interpretable time series forecasting. arXiv:1905.10437
  3. Lim, B. et al. (2021). Temporal Fusion Transformers for interpretable multi-horizon time series forecasting. IJF 37(4), 1748–1764