كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

أساسيالشبكات الزمنية والمتسلسلةالمعماريات الهجينة

الشبكات الهجينة CNN–LSTM

CNN-LSTM

CNN تستخرج تمثيلاً من كل عنصر مكاني (إطار فيديو، نافذة إشارة، صورة)، ثم LSTM تنمذج تتابع هذه التمثيلات عبر الزمن؛ وفي البديل ConvLSTM يُدمج الالتفاف داخل بوابات LSTM نفسها.

نظرة عامة

الاسمالشبكات الهجينة CNN–LSTM – CNN-LSTM
سنة الظهور2015
الباحثونJeff Donahue، Lisa Anne Hendricks، Sergio Guadarrama، Marcus Rohrbach، Subhashini Venugopalan، Trevor Darrell، Kate Saenko (LRCN)
الجهةUC Berkeley / UT Austin / UMass Lowell
الورقة الأصليةLong-term recurrent convolutional networks for visual recognition and description DOI arXiv
نوع البياناتصور، تسلسلات وسلاسل زمنية
المجالاتالتنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، الصوت والكلام، تحليل الصور الطبية
الكلفة الحسابية$T$ تمريرات CNN + LSTM تسلسلية.
حجم البياناتصغيرة إلى متوسطة.

المشكلة التي تحلها

بيانات مثل الفيديو أو سلاسل الصور الطبية لها بنية مكانية داخل كل خطوة وبنية زمنية عبر الخطوات؛ CNN وحدها لا ترى الزمن وLSTM وحدها لا تناسب البكسلات.

الخلفية والتطور

ما قبلها: الشبكة العصبية الالتفافية، الذاكرة الطويلة قصيرة المدى

  1. 2015

    LRCN: CNN لكل إطار ثم LSTM للتعرف على الأنشطة ووصف الفيديو. [مرجع]

  2. 2015

    ConvLSTM للتنبؤ بالهطول من صور الرادار. [مرجع]

الفكرة الأساسية

الأوزان الالتفافية مشتركة بين كل الإطارات، فيتحول الفيديو $B\times T\times C\times H\times W$ إلى تسلسل متجهات $B\times T\times d$، ثم تتابعه LSTM. هذا يفصل "ماذا يوجد في الإطار" عن "كيف يتغير".

مثال: تصنيف مقاطع الموجات فوق الصوتية للقلب حسب حركة الصمام عبر الإطارات.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Shared CNN encoderلكل إطار
Temporal LSTM
Headآخر حالة أو كل الخطوات
ConvLSTM (بديل)التفاف داخل البوابات

المعادلات

1. التركيب

$$f_t=\mathrm{CNN}_\phi(x_t),\qquad (h_t,c_t)=\mathrm{LSTM}_\theta(f_t,h_{t-1},c_{t-1}),\qquad \hat y=W h_T$$

الرموز
$x_t$الإطار t
$f_t$سماته
الأبعاد
$f_t\in\mathbb{R}^{d}$، $h_t\in\mathbb{R}^{h}$
مثال عددي
$T=6$ إطارات، $d=32$، $h=32$: معاملات LSTM $=4(32\cdot32+32\cdot32+2\cdot32)=8448$ في PyTorch (بانحيازين).
علاقتها بالمعمارية
يفصل التمثيل المكاني عن النمذجة الزمنية.

2. ConvLSTM (بوابة الإدخال مثالاً)

$$i_t=\sigma\!\left(W_{xi}*X_t+W_{hi}*H_{t-1}+W_{ci}\circ C_{t-1}+b_i\right)$$

الرموز
$*$التفاف
$\circ$ضرب عنصري
الأبعاد
$X_t,H_t,C_t\in\mathbb{R}^{C\times H\times W}$
مثال عددي
الحالة نفسها خريطة مكانية، فيحتفظ النموذج بالبنية المكانية عبر الزمن.
علاقتها بالمعمارية
بديل حين تكون المخرجات مكانية (مثل التنبؤ بالإطار التالي).

آلية العمل خطوة بخطوة

  1. طبّق CNN على كل إطار.
  2. رتّب السمات تسلسلاً.
  3. مرّر عبر LSTM.
  4. صنّف أو ولّد.

المزايا والقيود

المزايا

  • بسيط ومجرب.
  • يعيد استخدام CNN مدربة مسبقاً.
  • مناسب لأطوال متغيرة.

القيود

  • تسلسلي في الزمن.
  • قد يفقد التفاصيل المكانية بعد الضغط لمتجه.
  • تتفوق عليه محوّلات الفيديو مع بيانات كبيرة.

متى تُستخدم؟ ومتى لا؟

تناسب

  • فيديو قصير أو سلاسل صور.
  • إشارات متعددة القنوات.

لا تناسب

  • سياقات زمنية طويلة جداً.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةالتعرف على الأنشطة.
تحليل الصور الطبيةتحليل مقاطع الموجات فوق الصوتية والتنظير.
التنبؤ بالسلاسل الزمنيةتنبؤ بالطقس من صور الرادار (ConvLSTM).
الصوت والكلامالتعرف على الكلام من المخططات الطيفية.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# CNN-LSTM: تمييز اتجاه حركة نقطة في مقطع قصير
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class CNNLSTM(nn.Module):
    """CNN مشتركة الأوزان تستخرج متجه سمات من كل إطار، ثم LSTM تنمذج التغير عبر الإطارات (نمط LRCN)."""
    def __init__(self, feat=32, h=32, n_classes=2):
        super().__init__()
        self.cnn = nn.Sequential(nn.Conv2d(1, 8, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
                                 nn.Conv2d(8, 16, 3, padding=1), nn.ReLU(), nn.Flatten(), nn.Linear(16 * 4 * 4, feat), nn.ReLU())
        self.lstm = nn.LSTM(feat, h, batch_first=True)
        self.out = nn.Linear(h, n_classes)
    def forward(self, video):                                  # B×T×1×8×8
        B, T = video.shape[:2]
        f = self.cnn(video.reshape(B * T, *video.shape[2:])).view(B, T, -1)   # سمات كل إطار
        _, (h, _) = self.lstm(f)
        return self.out(h[-1])

# 3) إعداد البيانات
# مقاطع "فيديو" من 6 إطارات 8×8: نقطة تتحرك يميناً (0) أو يساراً (1). أي إطار منفرد لا يكفي لمعرفة الاتجاه.
def make(n, T=6):
    X = torch.randn(n, T, 1, 8, 8) * 0.2
    y = torch.randint(0, 2, (n,))
    row = torch.randint(1, 7, (n,)); start = torch.randint(0, 3, (n,))
    for i in range(n):
        for t in range(T):
            c = start[i] + t if y[i] == 0 else 7 - start[i] - t
            c = int(c.clamp(0, 7)); X[i, t, 0, row[i], c] += 2.0
    return X, y
X_train, y_train = make(1200)
X_test, y_test = make(300)
model = CNNLSTM()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=3e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 10, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.6 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 17٬986.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي1997

الذاكرة الطويلة قصيرة المدى

Long Short-Term Memory (LSTM)

شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.

الشبكات الزمنية والمتسلسلة

مبتدئ1998

الشبكة العصبية الالتفافية

Convolutional Neural Network (CNN)

شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.

الأساسيات

أساسي2014

الشبكات الهجينة CNN–GRU

CNN-GRU

التفافات أحادية البعد تلتقط أنماطاً محلية في الإشارة وتقلل طولها، ثم GRU (غالباً ثنائية الاتجاه) تنمذج العلاقات عبر الزمن بعدد معاملات أقل من LSTM.

الشبكات الزمنية والمتسلسلةالمعماريات الهجينة

متوسط2021

الشبكات الهجينة CNN–Transformer

CNN-Transformer Hybrids

تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.

المعماريات الهجينةمعماريات المحولات

أفكار بحثية

  • CNN-LSTM لتقدير جزء القذف القلبي من مقاطع الإيكو مع مقارنة بمحوّل فيديو.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    لماذا تُشارك أوزان CNN بين الإطارات في CNN-LSTM؟

  2. مقارنة

    ما الفرق الجوهري بين LRCN وConvLSTM؟

  3. رياضي

    إذا كان الدخل $B\times T\times C\times H\times W$، ما شكله قبل تمريره إلى CNN؟

المراجع

  1. Donahue, J., Hendricks, L. A., Guadarrama, S., Rohrbach, M., Venugopalan, S., Darrell, T., & Saenko, K. (2015). Long-term recurrent convolutional networks for visual recognition and description. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2625–2634. https://doi.org/10.1109/CVPR.2015.7298878

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  2. Shi, X., Chen, Z., Wang, H., Yeung, D.-Y., Wong, W.-K., & Woo, W.-C. (2015). Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Advances in Neural Information Processing Systems (NeurIPS) 28. https://arxiv.org/abs/1506.04214

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735

    DOIتحقق آلي عبر Crossref – 2026-11-20

  4. LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. https://doi.org/10.1109/5.726791

    DOIتحقق آلي عبر Crossref – 2026-11-20