كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعي

المحوِّل للتنبؤ

Transformer

مُرمِّز Transformer صغير بانتباه ذاتي متعدد الرؤوس وترميز موضعي جيبي. في المتصفح يُدرَّب بمكتبة TensorFlow.js داخل Web Worker على نوافذ منزلقة من السلسلة الموحدة، مع إيقاف مبكر على آخر 10% من نوافذ التدريب بترتيبها الزمني، والتنبؤ متعدد الخطوات تكراري.

يعمل في المتصفحيحتاج محرك Pythonالمستوى الرابع: التعلم العميق

جرّب هذا النموذج في المختبر

المبدأ

Attention(Q,K,V) = softmax(QKᵀ/√d_k)V يسمح لكل خطوة بالنظر مباشرة إلى كل خطوات النافذة.

\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\Big(\frac{QK^\top}{\sqrt{d_k}}\Big)V

متطلبات البيانات

بيانات كثيرة؛ في السلاسل القصيرة قلّما يتفوق على النماذج الإحصائية.

المعاملات

d_model
بعد التمثيل
heads
رؤوس الانتباه
blocks
كتل المرمز

المزايا

  • اعتماديات طويلة
  • قابل للتوسيع

العيوب

  • يحتاج بيانات وحساباً
  • سهل فرط التكيف

الاستخدامات

  • سلاسل طويلة متعددة الأنماط

مثال تطبيقي

مشروع «بناء نموذج Transformer للتنبؤ» يدربه على الكهرباء اليومية ويقارنه بـ SARIMA.

المراجع

  1. PyTorch: torch.nn.TransformerEncoder
  2. Vaswani et al. (2017). Attention Is All You Need. arXiv:1706.03762

من المستوى نفسه

يعمل في المتصفحيحتاج محرك Python الشبكة العصبية المتكررة Recurrent Neural Network (RNN) شبكة تحمل حالة مخفية تتحدث مع كل خطوة زمنية. في المتصفح يُدرَّب بمكتبة TensorFlow.js داخل Web Worker على نوافذ منزلقة من السلسلة الموحدة، مع إيقاف مبكر على آخر 10% من نوا… يعمل في المتصفحيحتاج محرك Python الذاكرة طويلة قصيرة المدى LSTM خلية متكررة ببوابات إدخال ونسيان وإخراج تحفظ المعلومات لفترات أطول. في المتصفح يُدرَّب بمكتبة TensorFlow.js داخل Web Worker على نوافذ منزلقة من السلسلة الموحدة، مع إيقاف… يعمل في المتصفحيحتاج محرك Python الوحدة المتكررة ذات البوابات GRU تبسيط لـ LSTM ببوابتي تحديث وإعادة ضبط، بمعاملات أقل. في المتصفح يُدرَّب بمكتبة TensorFlow.js داخل Web Worker على نوافذ منزلقة من السلسلة الموحدة، مع إيقاف مبكر على آخر 1… يعمل في المتصفحيحتاج محرك Python الشبكة الالتفافية مع LSTM CNN-LSTM طبقة التفاف أحادية البعد تستخلص أنماطاً محلية من النافذة، ثم LSTM يتعلم تتابعها. في المتصفح يُدرَّب بمكتبة TensorFlow.js داخل Web Worker على نوافذ منزلقة من السلسلة الموح…