الشبكات الهجينة CNN–LSTM
CNN-LSTM
CNN تستخرج تمثيلاً من كل عنصر مكاني (إطار فيديو، نافذة إشارة، صورة)، ثم LSTM تنمذج تتابع هذه التمثيلات عبر الزمن؛ وفي البديل ConvLSTM يُدمج الالتفاف داخل بوابات LSTM نفسها.
نظرة عامة
| الاسم | الشبكات الهجينة CNN–LSTM – CNN-LSTM |
|---|---|
| سنة الظهور | 2015 |
| الباحثون | Jeff Donahue، Lisa Anne Hendricks، Sergio Guadarrama، Marcus Rohrbach، Subhashini Venugopalan، Trevor Darrell، Kate Saenko (LRCN) |
| الجهة | UC Berkeley / UT Austin / UMass Lowell |
| الورقة الأصلية | Long-term recurrent convolutional networks for visual recognition and description DOI arXiv |
| نوع البيانات | صور، تسلسلات وسلاسل زمنية |
| المجالات | التنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، الصوت والكلام، تحليل الصور الطبية |
| الكلفة الحسابية | $T$ تمريرات CNN + LSTM تسلسلية. |
| حجم البيانات | صغيرة إلى متوسطة. |
المشكلة التي تحلها
بيانات مثل الفيديو أو سلاسل الصور الطبية لها بنية مكانية داخل كل خطوة وبنية زمنية عبر الخطوات؛ CNN وحدها لا ترى الزمن وLSTM وحدها لا تناسب البكسلات.
الخلفية والتطور
ما قبلها: الشبكة العصبية الالتفافية، الذاكرة الطويلة قصيرة المدى
الفكرة الأساسية
الأوزان الالتفافية مشتركة بين كل الإطارات، فيتحول الفيديو $B\times T\times C\times H\times W$ إلى تسلسل متجهات $B\times T\times d$، ثم تتابعه LSTM. هذا يفصل "ماذا يوجد في الإطار" عن "كيف يتغير".
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Shared CNN encoder | لكل إطار |
| Temporal LSTM | |
| Head | آخر حالة أو كل الخطوات |
| ConvLSTM (بديل) | التفاف داخل البوابات |
المعادلات
1. التركيب
| $x_t$ | الإطار t |
| $f_t$ | سماته |
2. ConvLSTM (بوابة الإدخال مثالاً)
| $*$ | التفاف |
| $\circ$ | ضرب عنصري |
آلية العمل خطوة بخطوة
- طبّق CNN على كل إطار.
- رتّب السمات تسلسلاً.
- مرّر عبر LSTM.
- صنّف أو ولّد.
المزايا والقيود
المزايا
- بسيط ومجرب.
- يعيد استخدام CNN مدربة مسبقاً.
- مناسب لأطوال متغيرة.
القيود
- تسلسلي في الزمن.
- قد يفقد التفاصيل المكانية بعد الضغط لمتجه.
- تتفوق عليه محوّلات الفيديو مع بيانات كبيرة.
متى تُستخدم؟ ومتى لا؟
تناسب
- فيديو قصير أو سلاسل صور.
- إشارات متعددة القنوات.
لا تناسب
- سياقات زمنية طويلة جداً.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | التعرف على الأنشطة. |
| تحليل الصور الطبية | تحليل مقاطع الموجات فوق الصوتية والتنظير. |
| التنبؤ بالسلاسل الزمنية | تنبؤ بالطقس من صور الرادار (ConvLSTM). |
| الصوت والكلام | التعرف على الكلام من المخططات الطيفية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# CNN-LSTM: تمييز اتجاه حركة نقطة في مقطع قصير
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class CNNLSTM(nn.Module):
"""CNN مشتركة الأوزان تستخرج متجه سمات من كل إطار، ثم LSTM تنمذج التغير عبر الإطارات (نمط LRCN)."""
def __init__(self, feat=32, h=32, n_classes=2):
super().__init__()
self.cnn = nn.Sequential(nn.Conv2d(1, 8, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
nn.Conv2d(8, 16, 3, padding=1), nn.ReLU(), nn.Flatten(), nn.Linear(16 * 4 * 4, feat), nn.ReLU())
self.lstm = nn.LSTM(feat, h, batch_first=True)
self.out = nn.Linear(h, n_classes)
def forward(self, video): # B×T×1×8×8
B, T = video.shape[:2]
f = self.cnn(video.reshape(B * T, *video.shape[2:])).view(B, T, -1) # سمات كل إطار
_, (h, _) = self.lstm(f)
return self.out(h[-1])
# 3) إعداد البيانات
# مقاطع "فيديو" من 6 إطارات 8×8: نقطة تتحرك يميناً (0) أو يساراً (1). أي إطار منفرد لا يكفي لمعرفة الاتجاه.
def make(n, T=6):
X = torch.randn(n, T, 1, 8, 8) * 0.2
y = torch.randint(0, 2, (n,))
row = torch.randint(1, 7, (n,)); start = torch.randint(0, 3, (n,))
for i in range(n):
for t in range(T):
c = start[i] + t if y[i] == 0 else 7 - start[i] - t
c = int(c.clamp(0, 7)); X[i, t, 0, row[i], c] += 2.0
return X, y
X_train, y_train = make(1200)
X_test, y_test = make(300)
model = CNNLSTM()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 10, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.6 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 17٬986.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصمم المعماريات العصبية
- مختبر السلاسل الزمنية قسم آخر في الموقع
معماريات مرتبطة
الذاكرة الطويلة قصيرة المدى
Long Short-Term Memory (LSTM)
شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.
الشبكة العصبية الالتفافية
Convolutional Neural Network (CNN)
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
الشبكات الهجينة CNN–GRU
CNN-GRU
التفافات أحادية البعد تلتقط أنماطاً محلية في الإشارة وتقلل طولها، ثم GRU (غالباً ثنائية الاتجاه) تنمذج العلاقات عبر الزمن بعدد معاملات أقل من LSTM.
الشبكات الهجينة CNN–Transformer
CNN-Transformer Hybrids
تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- CNN-LSTM لتقدير جزء القذف القلبي من مقاطع الإيكو مع مقارنة بمحوّل فيديو.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا تُشارك أوزان CNN بين الإطارات في CNN-LSTM؟
لماذا؟ مثل مشاركة الأوزان عبر الزمن في RNN.
ما الفرق الجوهري بين LRCN وConvLSTM؟
لماذا؟ الحالة خريطة لا متجه.
إذا كان الدخل $B\times T\times C\times H\times W$، ما شكله قبل تمريره إلى CNN؟
لماذا؟ تُعامل كل الإطارات كدفعة واحدة.
المراجع
Donahue, J., Hendricks, L. A., Guadarrama, S., Rohrbach, M., Venugopalan, S., Darrell, T., & Saenko, K. (2015). Long-term recurrent convolutional networks for visual recognition and description. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2625–2634. https://doi.org/10.1109/CVPR.2015.7298878
Shi, X., Chen, Z., Wang, H., Yeung, D.-Y., Wong, W.-K., & Woo, W.-C. (2015). Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Advances in Neural Information Processing Systems (NeurIPS) 28. https://arxiv.org/abs/1506.04214
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. https://doi.org/10.1109/5.726791
