الشبكة العصبية المتكررة (RNN)
Recurrent Neural Network
شبكة تعالج التسلسل عنصراً بعنصر وتحمل حالة مخفية تنقل المعلومات من الخطوات السابقة، باستخدام الأوزان نفسها في كل خطوة.
نظرة عامة
| الاسم | الشبكة العصبية المتكررة – Recurrent Neural Network |
|---|---|
| سنة الظهور | 1990 |
| الباحثون | Jeffrey L. Elman |
| الورقة الأصلية | Finding structure in time DOI |
| نوع البيانات | تسلسلات وسلاسل زمنية، نصوص |
| المجالات | التنبؤ بالسلاسل الزمنية، الصوت والكلام، معالجة اللغة الطبيعية |
المشكلة التي تحلها
الشبكات الأمامية تتطلب مدخلات ثابتة الطول ولا تحتفظ بذاكرة للسياق السابق في النص أو الإشارات.
الخلفية والتطور
ما قبلها: الإدراك متعدد الطبقات
الفكرة الأساسية
في كل خطوة تُدمج الحالة السابقة مع الدخل الحالي بتحويل خطي وتنشيط Tanh. التدريب يتم بالانتشار العكسي عبر الزمن (BPTT) بفرد الشبكة على طول التسلسل.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Input x_t | عنصر التسلسل الحالي |
| Hidden state h_t | الذاكرة |
| Recurrent weights W_hh | مشتركة عبر الزمن |
| Activation | Tanh |
| Output | طبقة خطية على h_t أو الحالة الأخيرة |
| BPTT | الانتشار العكسي عبر الزمن |
المعادلات
1. تحديث الحالة
| $h_t$ | الحالة المخفية |
| $W_{hh}$ | أوزان التكرار |
2. تلاشي التدرّج
| $\mathrm{diag}(1-h_t^2)$ | مشتقة tanh |
آلية العمل خطوة بخطوة
- تُهيأ الحالة بصفر.
- تُحدّث الحالة بكل عنصر من التسلسل.
- يُحسب الخرج من الحالات.
- تُحسب الخسارة.
- يُطبق BPTT لحساب التدرّجات.
المزايا والقيود
المزايا
- بسيطة وقليلة المعاملات.
- تعالج تسلسلات بأطوال متغيرة.
القيود
- تلاشي التدرّج وانفجاره.
- معالجة متسلسلة لا تقبل التوازي على طول التسلسل.
متى تُستخدم؟ ومتى لا؟
تناسب
- تسلسلات قصيرة وتعليم المفاهيم.
لا تناسب
- اعتماديات بعيدة؛ استخدم LSTM أو GRU أو Transformer أو SSM.
التطبيقات
| المجال | الاستخدام |
|---|---|
| التنبؤ بالسلاسل الزمنية | التنبؤ بالطلب والطاقة والأسعار. |
| معالجة اللغة الطبيعية | نمذجة اللغة والتعرف على الكلام (تاريخياً). |
| تحليل الصور الطبية | تحليل الإشارات الحيوية مثل ECG وEEG. |
| الروبوتات | التحكم المتسلسل والتنبؤ بالحركة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Elman RNN — مهمة ذاكرة قصيرة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class RNNClassifier(nn.Module):
def __init__(self, d_in=1, h=32, n_classes=2):
super().__init__()
self.rnn = nn.RNN(d_in, h, batch_first=True, nonlinearity='tanh')
self.out = nn.Linear(h, n_classes)
def forward(self, x):
_, h_T = self.rnn(x) # الحالة الأخيرة
return self.out(h_T[-1])
# 3) إعداد البيانات
# مهمة ذاكرة: الإشارة (±1) تظهر في الخطوة الأولى فقط، ثم ضوضاء؛ الفئة = إشارة البداية
def make(n, T=10):
y = torch.randint(0, 2, (n,))
X = torch.randn(n, T, 1) * 0.2
X[:, 0, 0] = y.float() * 2 - 1
return X, y
X_train, y_train = make(800)
X_test, y_test = make(200)
model = RNNClassifier()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 10, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.1 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 1٬186.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصمم المعماريات العصبية
- أطلس نماذج الذكاء الاصطناعي قسم آخر في الموقع
- مختبر السلاسل الزمنية قسم آخر في الموقع
معماريات مرتبطة
الذاكرة الطويلة قصيرة المدى
Long Short-Term Memory (LSTM)
شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.
الوحدة المتكررة ذات البوابات
Gated Recurrent Unit (GRU)
تبسيط لـ LSTM ببوابتين فقط (تحديث وإعادة ضبط) ودون حالة خلية منفصلة، بأداء مقارب في كثير من المهام ومعاملات أقل.
LSTM ثنائية الاتجاه
Bidirectional LSTM (BiLSTM)
طبقتان متكررتان تقرأ إحداهما التسلسل من البداية والأخرى من النهاية، وتُربط حالتاهما فيرى كل موضع سياقه السابق واللاحق.
حوسبة الخزان
Reservoir Computing (ESN / LSM)
شبكة متكررة كبيرة بأوزان عشوائية ثابتة (الخزان) تحوّل الدخل إلى حالات غنية، ولا يُدرَّب إلا طبقة القراءة الخطية، غالباً بانحدار ريدج مغلق الصيغة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة RNN وLSTM وTCN على سلاسل استهلاك طاقة محلية مع تحليل طول السياق.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما سبب صعوبة تعلم الاعتماديات البعيدة في RNN البسيطة؟
لماذا؟ حاصل ضرب جاكوبيات كثيرة أصغر من 1 يتلاشى.
هل تتغير أوزان RNN من خطوة زمنية إلى أخرى؟
لماذا؟ مشاركة الأوزان تسمح بأطوال متغيرة.
ما اسم خوارزمية تدريب RNN؟
لماذا؟ تُفرد الشبكة زمنياً ثم يُطبق الانتشار العكسي.
المراجع
Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211. https://doi.org/10.1207/s15516709cog1402_1
Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2), 157–166. https://doi.org/10.1109/72.279181
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
