كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

معماريات معالجة اللغة

Language Processing Architectures

RNN ← LSTM ← GRU ← Attention ← Transformer.

أساسي

أهداف المسار

  • فهم الحالة المخفية ومشكلة تلاشي التدرج.
  • شرح البوابات في LSTM وGRU وما تحفظه.
  • تفسير كيف أزال الانتباه عنق الزجاجة في نماذج المشفّر والمفكّك.
  • بناء كتلة Transformer وفهم الترميز الموضعي.

المتطلبات السابقة

  • مسار الأساسيات.
  • معرفة التضمينات (Embeddings) وتقطيع النص.

ترتيب التعلّم

  1. الشبكة العصبية المتكررة Recurrent Neural Network

    شبكة تعالج التسلسل عنصراً بعنصر وتحمل حالة مخفية تنقل المعلومات من الخطوات السابقة، باستخدام الأوزان نفسها في كل خطوة.

  2. الذاكرة الطويلة قصيرة المدى Long Short-Term Memory

    شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.

  3. الوحدة المتكررة ذات البوابات Gated Recurrent Unit

    تبسيط لـ LSTM ببوابتين فقط (تحديث وإعادة ضبط) ودون حالة خلية منفصلة، بأداء مقارب في كثير من المهام ومعاملات أقل.

  4. LSTM ثنائية الاتجاه Bidirectional LSTM

    طبقتان متكررتان تقرأ إحداهما التسلسل من البداية والأخرى من النهاية، وتُربط حالتاهما فيرى كل موضع سياقه السابق واللاحق.

  5. آلية الانتباه Attention Mechanism

    آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.

  6. المحوّل Transformer

    معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة وا…

المختبرات

مشاريع مقترحة

  1. درّب أمثلة RNN وLSTM وGRU في الموسوعة على مهمة الذاكرة نفسها وقارن الدقة مع طول التسلسل.
  2. في مصوّر المحولات غيّر عدد الرؤوس ولاحظ تغيّر خرائط الانتباه.
  3. صمم مقارنة لتصنيف نصوص عربية قصيرة بين BiLSTM وTransformer صغير مع الإبلاغ عن F1 لكل فئة.

اختبار المسار

  1. صح أو خطأ

    تحتاج GRU إلى معاملات أكثر من LSTM بالحجم المخفي نفسه.

  2. مفهوم

    لماذا يحتاج Transformer إلى ترميز موضعي؟

  3. مفهوم

    ما الذي تحله بوابة النسيان في LSTM؟

  4. صح أو خطأ

    في BiLSTM يُستخدم سياق المستقبل، لذلك لا تصلح كما هي للتنبؤ الفوري خطوة بخطوة.