أساسيات معماريات التعلم العميق
Deep Learning Architecture Foundations
من الشبكات العصبية التقليدية إلى المعماريات الحديثة: كيف أضاف كل جيل تحيّزاً استقرائياً جديداً.
أهداف المسار
- فهم التحويل الخطي ودوال التنشيط والانتشار العكسي.
- تفسير سبب نجاح الالتفاف مع الصور والوصلات المتبقية مع العمق.
- شرح فكرة الضغط في المشفّر التلقائي.
- حساب الانتباه بالضرب النقطي المقيّس خطوة بخطوة.
- قراءة مخطط كتلة Transformer وتتبّع أبعادها.
المتطلبات السابقة
- جبر خطي أساسي: ضرب المصفوفات والمتجهات.
- مشتقات وقاعدة السلسلة.
- بايثون وأساسيات NumPy أو PyTorch.
ترتيب التعلّم
- الإدراك متعدد الطبقات Multilayer Perceptron
شبكة من طبقات خطية متتالية تفصل بينها دوال تنشيط غير خطية، وهي اللبنة الأولى التي تُبنى عليها معظم المعماريات الحديثة.
- الشبكة العصبية الالتفافية Convolutional Neural Network
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
- الشبكة المتبقية Residual Network
تضيف وصلات تخطٍّ (skip connections) تجعل كل كتلة تتعلم الفرق المتبقي F(x) بدلاً من التحويل الكامل، فيصبح تدريب شبكات بمئات الطبقات ممكناً.
- المشفّر التلقائي Autoencoder
شبكة تضغط الدخل إلى تمثيل كامن صغير (encoder) ثم تعيد بناءه (decoder)، فتتعلم تمثيلاً مضغوطاً دون تسميات.
- آلية الانتباه Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
- المحوّل Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة وا…
المختبرات
مشاريع مقترحة
- ابنِ في مصمم المعماريات شبكة MLP ثم CNN لصور 28×28، وقارن عدد المعاملات في الحالتين.
- درّب مثال ResNet في الموسوعة مرة بالوصلات المتبقية ومرة دونها بعمق أكبر، وسجّل الفرق في الخسارة.
- نفّذ الانتباه بالضرب النقطي يدوياً بـ NumPy وقارن الناتج مع nn.MultiheadAttention.
اختبار المسار
تركيب طبقتين خطيتين دون دالة تنشيط يكافئ طبقة خطية واحدة.
لماذا؟ حاصل ضرب مصفوفتين مصفوفة واحدة، فلا تزيد القدرة التعبيرية.
الوصلة المتبقية في ResNet تضيف معاملات كثيرة إلى كل كتلة.
لماذا؟ وصلة الهوية لا تحمل أي معاملات؛ هي جمع مباشر للدخل على الخرج.
ما الذي يجعل الالتفاف أوفر في المعاملات من الطبقة الكاملة الاتصال على الصور؟
لماذا؟ المرشّح الواحد يطبَّق على كل المواضع بالأوزان نفسها، فلا يتناسب عدد المعاملات مع حجم الصورة.
في الانتباه $\mathrm{softmax}(QK^\top/\sqrt{d_k})V$، لماذا نقسم على $\sqrt{d_k}$؟
لماذا؟ تباين الضرب النقطي يكبر مع $d_k$؛ القسمة تعيده إلى مقياس ثابت تقريباً. أما مجموع الأوزان فتضمنه Softmax نفسها.
