الذاكرة الطويلة قصيرة المدى

المعادلات

$$\mathbf{f}_t = \sigma(W_f[\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_f) \quad \text{(النسيان)}$$

$$\mathbf{i}_t = \sigma(W_i[\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_i) \quad \text{(الإدخال)}$$

$$\tilde{\mathbf{c}}_t = \tanh(W_c[\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_c) \quad \text{(المرشح)}$$

$$\mathbf{c}_t = \mathbf{f}_t \odot \mathbf{c}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{c}}_t$$

$$\mathbf{o}_t = \sigma(W_o[\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_o), \qquad \mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{c}_t)$$

الحدس

خلية الذاكرة \(\mathbf{c}_t\) كحزام نقل: تمر المعلومات عبره مع تعديلات صغيرة. بوابة النسيان تمسح ما لم يعد مهماً، وبوابة الإدخال تكتب معلومات جديدة، وبوابة الإخراج تحدد ما يُعرض للخطوة التالية وللطبقات العليا.

في PyTorch

import torch, torch.nn as nn
lstm = nn.LSTM(input_size=64, hidden_size=128, num_layers=2,
               batch_first=True, bidirectional=True, dropout=0.2)
x = torch.randn(8, 50, 64)            # (batch, seq_len, features)
out, (h_n, c_n) = lstm(x)
print(out.shape)                      # (8, 50, 256) بسبب الاتجاهين

bidirectional=True يقرأ التسلسل في الاتجاهين، وهذا مفيد عندما يكون التسلسل كاملاً متاحاً (مثل وسم الكلمات) وليس للتوليد خطوة بخطوة.

LSTM مقابل GRU مقابل المحوّلات

	LSTM	GRU	Transformer
البوابات	3 + خلية ذاكرة	2	لا يوجد (انتباه)
المعالجة	تسلسلية	تسلسلية	متوازية
الاعتماديات البعيدة	جيدة	جيدة	ممتازة (وصول مباشر)
الاستخدام الحالي	سلاسل زمنية، أنظمة خفيفة	مشابه	اللغة والرؤية والصوت

ما تزال LSTM خياراً عملياً في بعض السلاسل الزمنية والأجهزة محدودة الموارد.