المعماريات المتقدمة والبحثية
Advanced and Research Architectures
KAN ← SNN ← PINN ← Neural ODE ← MoE ← SSM.
أهداف المسار
- فهم بدائل وحدة الحساب التقليدية (KAN والنبضات).
- إدخال القوانين الفيزيائية في الخسارة.
- نمذجة العمق كزمن مستمر.
- زيادة السعة بالحساب المشروط.
- فهم نماذج فضاء الحالة كبديل للانتباه في التسلسلات الطويلة.
المتطلبات السابقة
- مسارا الأساسيات واللغة.
- معادلات تفاضلية عادية أساسية.
ترتيب التعلّم
- شبكات كولموغوروف–أرنولد Kolmogorov–Arnold Networks
شبكات تضع دوال تنشيط قابلة للتعلم (منحنيات B-spline) على الحواف بدلاً من أوزان ثابتة، بينما تجمع العقد مدخلاتها بالجمع فقط، استلهاماً من نظرية تمثيل…
- الشبكات العصبية النبضية Spiking Neural Networks
شبكات تتواصل عصبوناتها بنبضات ثنائية متقطعة في الزمن، مثل الدماغ. يتراكم الجهد الغشائي ويُطلق نبضة عند تجاوز العتبة، ثم يُعاد ضبطه.
- الشبكات العصبية المستندة إلى الفيزياء Physics-Informed Neural Networks
شبكة تقرّب حل معادلة تفاضلية جزئية u_θ(x,t)، وتُدرَّب بخسارة تجمع باقي المعادلة (محسوباً بالاشتقاق التلقائي) مع الشروط الابتدائية والحدية وأي قياسات…
- المعادلات التفاضلية العصبية Neural Ordinary Differential Equations
تُعرّف الحالة المخفية بمعادلة تفاضلية مستمرة تُعطى مشتقتها بشبكة عصبية، ويُحسب الخرج بحلّال عددي، فتصبح الشبكة "مستمرة العمق".
- خليط الخبراء Mixture of Experts
عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.
- خليط الخبراء المتناثر Sparse Mixture of Experts
طبقة خبراء يُفعّل فيها لكل رمز عدد صغير فقط من الخبراء (top-k)، فيزداد عدد معاملات النموذج كثيراً دون زيادة مماثلة في الحساب لكل رمز، مع آليات لموازن…
- نماذج فضاء الحالة Structured State Space Models
طبقات تسلسلية مبنية على نموذج فضاء الحالة الخطي المستمر، تُقطَّع زمنياً ويمكن حسابها كتكرار سريع في الاستدلال أو كالتفاف طويل متوازٍ في التدريب، مع ت…
- مامبا: نماذج فضاء الحالة الانتقائية Mamba (Selective State Space Models)
SSM تكون فيها المعاملات B وC والخطوة Δ دوال للدخل (انتقائية)، فتقرر الطبقة ما تتذكره وما تتجاهله حسب المحتوى، مع خوارزمية مسح متوازٍ واعية بالعتاد تح…
المختبرات
مشاريع مقترحة
- في مستكشف KAN قارن KAN مع MLP على دالة ملساء ثم على دالة غير ملساء، وفسّر النتيجة.
- غيّر العتبة وثابت التسرّب في محاكي الشبكات النبضية واربط معدل الإطلاق بالتيار.
- صمم دراسة مقارنة بين SSM وTransformer على سلسلة زمنية طويلة مع قياس الذاكرة والزمن، لا الدقة فقط.
اختبار المسار
في KAN توضع الدوال القابلة للتعلم على الحواف بدلاً من أوزان عددية.
لماذا؟ كل حافة تحمل دالة أحادية المتغير (B-spline)، والعقدة تجمع فقط.
ما الذي تقلّله خسارة PINN إضافة إلى خطأ البيانات؟
لماذا؟ تُحسب المشتقات بالاشتقاق التلقائي ويُعاقب أي انحراف عن المعادلة.
في Sparse MoE بتوجيه top-2 من 8 خبراء، كم خبيراً يُحسب لكل رمز؟
لماذا؟ يُحسب الخبيران الأعلى درجة فقط، وهذا ما يجعل الحساب أقل من حجم المعاملات الكلي.
Mamba تجعل معاملات SSM دالة في المدخل، فتختار ما تحفظه من التسلسل.
لماذا؟ هذا هو الاختيار (Selectivity) الذي يميّزها عن S4.
