أهداف الدرس
- فهم آلية الانتباه الذاتي
- فهم فكرة N-BEATS
- معرفة متى نحتاج TFT
الانتباه الذاتي
يحسب لكل خطوة في النافذة وزناً لكل خطوة أخرى، فيلتقط الاعتماديات البعيدة دون تكرار تسلسلي. نضيف ترميزاً موضعياً لأن الانتباه لا يعرف الترتيب بذاته.
N-BEATS
كتل من طبقات كاملة الاتصال، كل كتلة تنتج تقديراً للماضي (backcast) يطرح من المدخل وتنبؤاً يضاف إلى المخرج. لا يحتاج هندسة خصائص وحقق نتائج قوية في مسابقة M4. المختبر ينفذ النسخة العامة (generic).
TFT
Temporal Fusion Transformer يجمع LSTM والانتباه وشبكات اختيار المتغيرات، ويتعامل مع متغيرات ثابتة ومعروفة مستقبلاً ومرصودة سابقاً، ويعطي تنبؤات كمية. هو ثقيل حسابياً، لذلك يعمل في محرك Python فقط.
الخلاصة
- الانتباه يحتاج ترميزاً موضعياً
- N-BEATS بلا هندسة خصائص
- TFT للمتغيرات المتعددة ويحتاج خادماً
للاستزادة
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762
- Oreshkin, B. N. et al. (2019). N-BEATS: Neural basis expansion analysis for interpretable time series forecasting. arXiv:1905.10437
- Lim, B. et al. (2021). Temporal Fusion Transformers for interpretable multi-horizon time series forecasting. IJF 37(4), 1748–1764
