Recurrent neural networks (RNN)

شبكة عصبية (neural network) يتم تشغيلها عن قصد عدة مرات، حيث يتم تغذية أجزاء من كل شوط في الجولة التالية. على وجه التحديد، توفر الطبقات المخفية من التشغيل السابق جزءًا من الإدخال إلى نفس الطبقة المخفية في التشغيل التالي. تعد الشبكات العصبية المتكررة (RNN) مفيدة بشكل خاص في تقييم التسلسلات (sequences)، بحيث يمكن للطبقات المخفية التعلم من عمليات التشغيل السابقة للشبكة العصبية في الأجزاء السابقة من التسلسل.
على سبيل المثال، يوضح الشكل التالي شبكة عصبية متكررة تعمل أربع مرات. لاحظ أن القيم التي تم تعلمها في الطبقات المخفية من التشغيل الأول أصبحت جزءًا من الإدخال إلى نفس الطبقات المخفية في التشغيل الثاني. وبالمثل، فإن القيم التي تم تعلمها في الطبقة المخفية في التشغيل الثاني تصبح جزءًا من الإدخال إلى نفس الطبقة المخفية في التشغيل الثالث. وبهذه الطريقة، تدرب الشبكة العصبية المتكررة وتتنبأ تدريجياً بمعنى التسلسل بأكمله بدلاً من مجرد معنى الكلمات الفردية.