معماريات معالجة اللغة
Language Processing Architectures
RNN ← LSTM ← GRU ← Attention ← Transformer.
أهداف المسار
- فهم الحالة المخفية ومشكلة تلاشي التدرج.
- شرح البوابات في LSTM وGRU وما تحفظه.
- تفسير كيف أزال الانتباه عنق الزجاجة في نماذج المشفّر والمفكّك.
- بناء كتلة Transformer وفهم الترميز الموضعي.
المتطلبات السابقة
- مسار الأساسيات.
- معرفة التضمينات (Embeddings) وتقطيع النص.
ترتيب التعلّم
- الشبكة العصبية المتكررة Recurrent Neural Network
شبكة تعالج التسلسل عنصراً بعنصر وتحمل حالة مخفية تنقل المعلومات من الخطوات السابقة، باستخدام الأوزان نفسها في كل خطوة.
- الذاكرة الطويلة قصيرة المدى Long Short-Term Memory
شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.
- الوحدة المتكررة ذات البوابات Gated Recurrent Unit
تبسيط لـ LSTM ببوابتين فقط (تحديث وإعادة ضبط) ودون حالة خلية منفصلة، بأداء مقارب في كثير من المهام ومعاملات أقل.
- LSTM ثنائية الاتجاه Bidirectional LSTM
طبقتان متكررتان تقرأ إحداهما التسلسل من البداية والأخرى من النهاية، وتُربط حالتاهما فيرى كل موضع سياقه السابق واللاحق.
- آلية الانتباه Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
- المحوّل Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة وا…
المختبرات
مشاريع مقترحة
- درّب أمثلة RNN وLSTM وGRU في الموسوعة على مهمة الذاكرة نفسها وقارن الدقة مع طول التسلسل.
- في مصوّر المحولات غيّر عدد الرؤوس ولاحظ تغيّر خرائط الانتباه.
- صمم مقارنة لتصنيف نصوص عربية قصيرة بين BiLSTM وTransformer صغير مع الإبلاغ عن F1 لكل فئة.
اختبار المسار
تحتاج GRU إلى معاملات أكثر من LSTM بالحجم المخفي نفسه.
لماذا؟ لـ GRU ثلاث مجموعات أوزان مقابل أربع في LSTM، فهي أقل معاملات.
لماذا يحتاج Transformer إلى ترميز موضعي؟
لماذا؟ الانتباه دالة متكافئة مع التبديل؛ دون معلومة الموضع تعطي الجملة ومقلوبها التمثيل نفسه.
ما الذي تحله بوابة النسيان في LSTM؟
لماذا؟ حالة الخلية تُحدَّث بجمع موزون بالبوابات، فلا يتلاشى التدرج بالسرعة نفسها كما في RNN البسيطة.
في BiLSTM يُستخدم سياق المستقبل، لذلك لا تصلح كما هي للتنبؤ الفوري خطوة بخطوة.
لماذا؟ الاتجاه العكسي يحتاج التسلسل كاملاً قبل حساب الخرج.
