الذاكرة الطويلة قصيرة المدى (LSTM)
Long Short-Term Memory
شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.
نظرة عامة
| الاسم | الذاكرة الطويلة قصيرة المدى – Long Short-Term Memory |
|---|---|
| سنة الظهور | 1997 |
| الباحثون | Sepp Hochreiter، Jürgen Schmidhuber |
| الورقة الأصلية | Long short-term memory DOI |
| نوع البيانات | تسلسلات وسلاسل زمنية، نصوص |
| المجالات | التنبؤ بالسلاسل الزمنية، الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $O(T\cdot h(h+d))$ ولا تتوازى على طول التسلسل. |
| حجم البيانات | آلاف إلى ملايين التسلسلات. |
المشكلة التي تحلها
تلاشي التدرّج في RNN البسيطة يمنع تعلم العلاقات بين أحداث متباعدة زمنياً.
الخلفية والتطور
ما قبلها: الشبكة العصبية المتكررة
الفكرة الأساسية
حالة الخلية $c_t$ تسير عبر الزمن بتعديلات جمعية فقط (نسيان جزئي + إضافة)، فيمر التدرّج دون أن يتلاشى بسرعة. البوابات قيم بين 0 و1 تُحسب من الدخل والحالة السابقة.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Forget gate f_t | ما يُمحى من الخلية |
| Input gate i_t | ما يُضاف |
| Candidate g_t | المحتوى المقترح |
| Cell state c_t | الذاكرة طويلة المدى |
| Output gate o_t | ما يُعرض كحالة مخفية |
| Hidden state h_t | الخرج |
المعادلات
1. البوابات
| $\sigma$ | Sigmoid |
| $[\cdot,\cdot]$ | ربط |
2. تحديث الخلية والحالة
| $\odot$ | ضرب عنصر بعنصر |
آلية العمل خطوة بخطوة
- تُحسب البوابات الأربع من الدخل والحالة السابقة.
- تُنسى أجزاء من الخلية.
- يُضاف محتوى جديد.
- تُحسب الحالة المخفية من الخلية.
- يتكرر ذلك لكل خطوة ثم يُحسب الخرج.
المزايا والقيود
المزايا
- تتعامل مع اعتماديات أطول بكثير من RNN.
- ناضجة ومدعومة في كل الأطر.
القيود
- معالجة متسلسلة بطيئة للتسلسلات الطويلة جداً.
- معاملات أكثر بأربع مرات من RNN بنفس الحجم.
متى تُستخدم؟ ومتى لا؟
تناسب
- سلاسل زمنية متوسطة الطول.
- خطوط أساس قوية للتنبؤ.
لا تناسب
- سياقات طويلة جداً حيث تتفوق Transformer وSSM في التوازي.
التطبيقات
| المجال | الاستخدام |
|---|---|
| التنبؤ بالسلاسل الزمنية | التنبؤ بالطلب والطاقة والأسعار. |
| معالجة اللغة الطبيعية | نمذجة اللغة والتعرف على الكلام (تاريخياً). |
| تحليل الصور الطبية | تحليل الإشارات الحيوية مثل ECG وEEG. |
| الروبوتات | التحكم المتسلسل والتنبؤ بالحركة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# LSTM — مهمة ذاكرة طويلة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class LSTMClassifier(nn.Module):
def __init__(self, d_in=1, h=32, n_classes=2):
super().__init__()
self.lstm = nn.LSTM(d_in, h, batch_first=True)
self.out = nn.Linear(h, n_classes)
def forward(self, x):
_, (h_T, c_T) = self.lstm(x) # الحالة المخفية وحالة الخلية الأخيرتان
return self.out(h_T[-1])
# 3) إعداد البيانات
# مهمة ذاكرة: الإشارة (±1) تظهر في الخطوة الأولى فقط، ثم ضوضاء؛ الفئة = إشارة البداية
def make(n, T=40):
y = torch.randint(0, 2, (n,))
X = torch.randn(n, T, 1) * 0.2
X[:, 0, 0] = y.float() * 2 - 1
return X, y
X_train, y_train = make(800)
X_test, y_test = make(200)
model = LSTMClassifier()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 30, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 4٬546.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصمم المعماريات العصبية
- أطلس نماذج الذكاء الاصطناعي قسم آخر في الموقع
- مختبر السلاسل الزمنية قسم آخر في الموقع
معماريات مرتبطة
الوحدة المتكررة ذات البوابات
Gated Recurrent Unit (GRU)
تبسيط لـ LSTM ببوابتين فقط (تحديث وإعادة ضبط) ودون حالة خلية منفصلة، بأداء مقارب في كثير من المهام ومعاملات أقل.
LSTM ثنائية الاتجاه
Bidirectional LSTM (BiLSTM)
طبقتان متكررتان تقرأ إحداهما التسلسل من البداية والأخرى من النهاية، وتُربط حالتاهما فيرى كل موضع سياقه السابق واللاحق.
الشبكة العصبية المتكررة
Recurrent Neural Network (RNN)
شبكة تعالج التسلسل عنصراً بعنصر وتحمل حالة مخفية تنقل المعلومات من الخطوات السابقة، باستخدام الأوزان نفسها في كل خطوة.
الشبكات الهجينة CNN–LSTM
CNN-LSTM
CNN تستخرج تمثيلاً من كل عنصر مكاني (إطار فيديو، نافذة إشارة، صورة)، ثم LSTM تنمذج تتابع هذه التمثيلات عبر الزمن؛ وفي البديل ConvLSTM يُدمج الالتفاف داخل بوابات LSTM نفس…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة LSTM مع Mamba في التنبؤ بأحمال الشبكة الكهربائية لسياقات بطول آلاف الخطوات.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما وظيفة بوابة النسيان في LSTM؟
لماذا؟ $c_t=f_t\odot c_{t-1}+\dots$
مع $f=0.5$ و$c_{t-1}=2$ و$i=0$ ما قيمة $c_t$؟
لماذا؟ $0.5\times2+0=1$.
من أضاف بوابة النسيان إلى LSTM؟
لماذا؟ النسخة الأصلية 1997 لم تتضمنها.
المراجع
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural Computation, 12(10), 2451–2471. https://doi.org/10.1162/089976600300015015
Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2), 157–166. https://doi.org/10.1109/72.279181
