LSTM ثنائية الاتجاه (BiLSTM)
Bidirectional LSTM
طبقتان متكررتان تقرأ إحداهما التسلسل من البداية والأخرى من النهاية، وتُربط حالتاهما فيرى كل موضع سياقه السابق واللاحق.
نظرة عامة
| الاسم | LSTM ثنائية الاتجاه – Bidirectional LSTM |
|---|---|
| سنة الظهور | 1997 |
| الباحثون | Mike Schuster، Kuldip K. Paliwal (RNN ثنائية الاتجاه)؛ Alex Graves، Jürgen Schmidhuber (BiLSTM، 2005) |
| الورقة الأصلية | Bidirectional recurrent neural networks DOI |
| نوع البيانات | تسلسلات وسلاسل زمنية، نصوص |
| المجالات | الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية |
المشكلة التي تحلها
في مهام مثل وسم الكلمات أو تصنيف الأصوات، يعتمد معنى العنصر على ما بعده أيضاً، والشبكة أحادية الاتجاه لا ترى المستقبل.
الخلفية والتطور
ما قبلها: الشبكة العصبية المتكررة، الذاكرة الطويلة قصيرة المدى
الفكرة الأساسية
تُحسب حالة أمامية $\overrightarrow{h}_t$ من البداية حتى t، وحالة خلفية $\overleftarrow{h}_t$ من النهاية حتى t، ثم تُربطان. لا تصلح للتنبؤ الحي بالمستقبل لأنها تحتاج التسلسل كاملاً.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Forward LSTM | من اليسار إلى اليمين |
| Backward LSTM | من اليمين إلى اليسار |
| Concatenation | ربط الحالتين |
| Output layer | لكل موضع أو للتسلسل |
المعادلات
1. ربط الاتجاهين
| $\overrightarrow{h}_t$ | الحالة الأمامية |
| $\overleftarrow{h}_t$ | الحالة الخلفية |
آلية العمل خطوة بخطوة
- تمر الشبكة الأمامية على التسلسل.
- تمر الشبكة الخلفية بالعكس.
- تُربط الحالتان لكل موضع.
- يطبق المصنف على كل موضع أو على تجميع.
المزايا والقيود
المزايا
- سياق كامل لكل موضع.
- تحسن واضح في مهام الوسم والتعرف على الكلام.
القيود
- لا تصلح للتنبؤ الآني أو التوليد خطوة بخطوة.
- ضعف الكلفة الحسابية لـ LSTM واحدة.
متى تُستخدم؟ ومتى لا؟
تناسب
- وسم الكلمات والتعرف على الكيانات.
- تصنيف إشارات مسجلة كاملة.
لا تناسب
- التنبؤ المستقبلي في الزمن الحقيقي.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | التعرف على الكيانات المسماة ووسم أجزاء الكلام. |
| الصوت والكلام | تصنيف الأصوات على مستوى الإطار. |
| تحليل الصور الطبية | تصنيف نبضات ECG المسجلة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Bidirectional LSTM — وسم لكل موضع
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class BiLSTMTagger(nn.Module):
def __init__(self, d_in=1, h=32, n_tags=2):
super().__init__()
self.lstm = nn.LSTM(d_in, h, batch_first=True, bidirectional=True)
self.out = nn.Linear(2 * h, n_tags)
def forward(self, x):
H, _ = self.lstm(x) # B×T×2h
return self.out(H).transpose(1, 2) # B×tags×T (شكل CrossEntropy للتسلسلات)
# 3) إعداد البيانات
# الوسم الصحيح لكل موضع: هل القيمة التالية أكبر من الحالية؟ (يتطلب رؤية المستقبل)
X = torch.randn(800, 20, 1)
nxt = torch.cat([X[:, 1:, 0], X[:, -1:, 0]], 1)
Y = (nxt > X[:, :, 0]).long()
X_train, y_train, X_test, y_test = X[:640], Y[:640], X[640:], Y[640:]
model = BiLSTMTagger()
# 4) الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=1e-2)
# 5) حلقة التدريب
for epoch in range(15):
model.train()
for i in range(0, len(X_train), 64):
loss = loss_fn(model(X_train[i:i + 64]), y_train[i:i + 64])
opt.zero_grad(); loss.backward(); opt.step()
if epoch % 5 == 0: print(f"epoch {epoch} loss={loss.item():.4f}")
# 6) التقييم (دقة على مستوى المواضع)
model.eval()
with torch.no_grad():
acc = (model(X_test).argmax(1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال: أوسام أول 10 مواضع
with torch.no_grad():
print("tags:", model(X_test[:1]).argmax(1)[0, :10].tolist())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 0.989
عدد المعاملات القابلة للتدريب في المثال: model = 9٬090.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- أطلس نماذج الذكاء الاصطناعي قسم آخر في الموقع
- مختبر معالجة اللغة الطبيعية قسم آخر في الموقع
معماريات مرتبطة
الذاكرة الطويلة قصيرة المدى
Long Short-Term Memory (LSTM)
شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.
الوحدة المتكررة ذات البوابات
Gated Recurrent Unit (GRU)
تبسيط لـ LSTM ببوابتين فقط (تحديث وإعادة ضبط) ودون حالة خلية منفصلة، بأداء مقارب في كثير من المهام ومعاملات أقل.
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- BiLSTM-CRF مقابل نماذج Transformer صغيرة للتعرف على الكيانات في نصوص طبية عربية.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا لا تصلح BiLSTM للتنبؤ الآني بالمستقبل؟
لماذا؟ القراءة من النهاية تتطلب وجود النهاية.
ما بعد خرج كل موضع في BiLSTM بحالة مخفية h=128 لكل اتجاه؟
لماذا؟ ربط حالتين كل منهما 128.
في أي مهمة تتفوق BiLSTM عادة على LSTM أحادية الاتجاه؟
لماذا؟ معنى الكلمة يعتمد على ما قبلها وما بعدها.
المراجع
Schuster, M., & Paliwal, K. K. (1997). Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681. https://doi.org/10.1109/78.650093
Graves, A., & Schmidhuber, J. (2005). Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Networks, 18(5–6), 602–610. https://doi.org/10.1016/j.neunet.2005.06.042
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
