المحوِّل للتنبؤ
Transformer
مُرمِّز Transformer صغير بانتباه ذاتي متعدد الرؤوس وترميز موضعي جيبي. في المتصفح يُدرَّب بمكتبة TensorFlow.js داخل Web Worker على نوافذ منزلقة من السلسلة الموحدة، مع إيقاف مبكر على آخر 10% من نوافذ التدريب بترتيبها الزمني، والتنبؤ متعدد الخطوات تكراري.
المبدأ
Attention(Q,K,V) = softmax(QKᵀ/√d_k)V يسمح لكل خطوة بالنظر مباشرة إلى كل خطوات النافذة.
متطلبات البيانات
بيانات كثيرة؛ في السلاسل القصيرة قلّما يتفوق على النماذج الإحصائية.
المعاملات
- d_model
- بعد التمثيل
- heads
- رؤوس الانتباه
- blocks
- كتل المرمز
المزايا
- اعتماديات طويلة
- قابل للتوسيع
العيوب
- يحتاج بيانات وحساباً
- سهل فرط التكيف
الاستخدامات
- سلاسل طويلة متعددة الأنماط
مثال تطبيقي
مشروع «بناء نموذج Transformer للتنبؤ» يدربه على الكهرباء اليومية ويقارنه بـ SARIMA.
