الدرس 2 من 2 · التحليل الدالي

طرق النواة وفضاءات هلبرت ذات النواة المولدة Kernel Methods and RKHS

النواة k(x, x′) = ⟨φ(x), φ(x′)⟩ تحسب جداءً داخلياً في فضاء ميزات قد يكون لانهائي الأبعاد دون حساب φ صراحة (حيلة النواة)؛ وشرط ميرسر أن تكون كل مصفوفة غرام موجبة شبه محددة، ومبرهنة التمثيل تجعل الحل تركيبة خطية من k(xᵢ, ·).

الرياضيات المتقدمة للذكاء الاصطناعي الصعوبة: خبير زمن الدراسة: 55 دقيقة
محتويات الدرس
  1. مقدمة
  2. لماذا ندرس هذا الموضوع؟
  3. الشرح النظري
  4. التعريفات الرياضية
  5. المعادلات
  6. مثال محلول
  7. التطبيق في الذكاء الاصطناعي
  8. المختبر التفاعلي
  9. تمارين تدريبية
  10. الملخص
  11. اختبار قصير
  12. دروس مرتبطة

1 مقدمة

نموذج خطي لا يفصل نقاطاً على دائرتين متحدتي المركز. لو أضفنا ميزة \(x_1^2 + x_2^2\) لأصبح الفصل خطياً. طرق النواة تعمم هذه الفكرة: نعمل في فضاء ميزات غني جداً، لكننا لا نحتاج إلى بنائه أبداً، لأن الخوارزمية لا تحتاج إلا إلى جداءات داخلية.

الأهداف التعليمية

  • تعريف النواة وفضاء الميزات المقابل
  • حساب النوى الخطية وكثيرة الحدود والغاوسية
  • بناء مصفوفة غرام والتحقق من شرط ميرسر
  • تطبيق انحدار الحافة بالنواة وفهم مبرهنة التمثيل

2 لماذا ندرس هذا الموضوع؟

SVM بالنواة والعمليات الغاوسية وانحدار الحافة بالنواة وPCA بالنواة كلها مبنية على هذا الإطار. وفي التعلم العميق تقدم «نواة الظل العصبية» (Neural Tangent Kernel) وصفاً لسلوك الشبكات العريضة جداً، وآلية الانتباه نفسها تُقرأ كنوع من انحدار النواة.

3 الشرح النظري

حيلة النواة

لنواة كثيرة الحدود \(k(x, y) = (x^\top y)^2\) في بعدين، الخريطة الصريحة \(\phi(x) = (x_1^2, \sqrt2 x_1x_2, x_2^2)\) تحقق \(k(x, y) = \phi(x)^\top\phi(y)\). لكن حساب \((x^\top y)^2\) أرخص كثيراً، وفي 100 بعد ودرجة 3 يصل عدد الميزات إلى \(\binom{103}{3} = 176,851\) بينما تبقى النواة جداءً نقطياً واحداً.

نوى شائعة

النواةالصيغةفضاء الميزات
خطية\(x^\top y\)الفضاء الأصلي
كثيرة حدود\((x^\top y + c)^d\)كل وحيدات الحد حتى الدرجة d
غاوسية RBF\(\exp(-\gamma\|x - y\|^2)\)لانهائي الأبعاد

مصفوفة غرام وشرط ميرسر

لنقاط \(x_1, \dots, x_n\) تكون \(K_{ij} = k(x_i, x_j)\). الدالة k نواة صالحة (تقابل جداءً داخلياً في فضاء ما) إذا وفقط إذا كانت متماثلة وكل مصفوفة غرام منها موجبة شبه محددة: \(c^\top Kc \ge 0\) لكل c (شرط ميرسر). المصفوفة \(\begin{bmatrix}1&2\\2&1\end{bmatrix}\) لها قيمة ذاتية \(-1\) فلا تأتي من أي نواة.

فضاء هلبرت ذو النواة المولدة RKHS

كل نواة صالحة تولد فضاء هلبرت من الدوال \(\mathcal H_k\) عناصره تركيبات من \(k(x_i, \cdot)\)، ويتحقق فيه \(f(x) = \langle f, k(x, \cdot)\rangle\) (خاصية التوليد). معيار f في هذا الفضاء يقيس «تعقيدها»؛ للنواة الغاوسية تعني القيمة الصغيرة دالة ناعمة.

مبرهنة التمثيل وانحدار الحافة بالنواة

لمسائل من نوع \(\min_{f \in \mathcal H_k} \sum_i L(y_i, f(x_i)) + \lambda\|f\|^2\) يكون الحل \(f^*(x) = \sum_{i=1}^n \alpha_i k(x_i, x)\): مسألة لانهائية الأبعاد تصبح n معاملاً. لانحدار الحافة:

\[\alpha = (K + \lambda I)^{-1}y\]

γ الكبيرة تجعل النواة ضيقة فتتبع الدالة كل نقطة (ملاءمة زائدة)، وλ الكبيرة تنعّم الحل.

4 التعريفات الرياضية

النواة
دالة تحسب جداءً داخلياً في فضاء ميزات.
\[k(x,y)=\langle\phi(x),\phi(y)\rangle\]
مصفوفة غرام
مصفوفة قيم النواة لكل أزواج النقاط.
\[K_{ij}=k(x_i,x_j)\]
شرط ميرسر
النواة صالحة إذا كانت متماثلة وكل مصفوفة غرام منها موجبة شبه محددة.
\[c^\top Kc\ge0\]
مبرهنة التمثيل
حل مسائل التنظيم في RKHS تركيبة خطية من النواة عند نقاط التدريب.
\[f^*=\sum_i\alpha_ik(x_i,\cdot)\]
حيلة النواة (Kernel Trick)
حساب الجداءات الداخلية في فضاء ميزات غني مباشرة بدالة نواة دون بناء الميزات.
\[k(x,y)=\langle\phi(x),\phi(y)\rangle\]
مصفوفة غرام (Gram Matrix)
مصفوفة قيم النواة بين كل أزواج النقاط، ويجب أن تكون موجبة شبه محددة.
\[K_{ij}=k(x_i,x_j)\]
مبرهنة التمثيل (Representer Theorem)
حل مسائل التنظيم في فضاء النواة تركيبة خطية من النواة عند نقاط التدريب.
\[f^*(x)=\sum_i\alpha_ik(x_i,x)\]
النواة الغاوسية (RBF Kernel)
نواة تتناقص أسياً مع مربع المسافة، وفضاء ميزاتها لانهائي الأبعاد.
\[e^{-\gamma\|x-y\|^2}\]

5 المعادلات

\[k(x, y) = \langle \phi(x), \phi(y)\rangle\]
تعريف النواة
\[k_{\text{RBF}}(x, y) = e^{-\gamma\|x-y\|^2}\]
النواة الغاوسية
\[\alpha = (K + \lambda I)^{-1}y,\quad \hat f(x) = \sum_i \alpha_i k(x_i, x)\]
انحدار الحافة بالنواة
\[f(x) = \langle f, k(x, \cdot)\rangle_{\mathcal H}\]
خاصية التوليد

6 مثال محلول خطوة بخطوة

نواة كثيرة حدود

المسألة: احسب \(k(x, y) = (x^\top y + 1)^2\) لـ \(x = (1, 2)\) و\(y = (3, 1)\).

  1. \(x^\top y = 3 + 2 = 5\).
  2. \((5 + 1)^2\).

النتيجة: \(36\)

نواة غاوسية

المسألة: احسب \(k_{\text{RBF}}\) بـ \(\gamma = 0.5\) بين \((0, 0)\) و\((1, 1)\).

  1. \(\|x - y\|^2 = 2\).
  2. \(e^{-0.5 \cdot 2} = e^{-1}\).

النتيجة: \(\approx 0.3679\)

انحدار الحافة بالنواة

المسألة: نقاط \(x = (0, 1, 2)\) وقيم \(y = (0, 1, 0)\)، نواة غاوسية \(\gamma = 1\) و\(\lambda = 0.1\). احسب \(\hat f(1)\).

  1. ابنِ K: \(K_{ij} = e^{-(x_i - x_j)^2}\).
  2. \(\alpha = (K + 0.1I)^{-1}y \approx (-0.383, 1.166, -0.383)\).
  3. \(\hat f(1) = \sum_i\alpha_i k(x_i, 1)\).

النتيجة: \(\hat f(1) \approx 0.883\) (أقل من 1 بسبب التنظيم)

7 تطبيق عملي في الذكاء الاصطناعي

  • SVM بالنواة: يفصل البيانات غير القابلة للفصل الخطي بالعمل ضمنياً في فضاء ميزات غني.
  • العمليات الغاوسية: النواة هي دالة التغاير، فاختيارها يحدد نعومة الدوال المتوقعة وعدم اليقين حولها.
  • الانتباه كانحدار نواة: وزن الانتباه \(\operatorname{softmax}(q^\top k)\) يشبه انحدار ناداريا–واتسون بنواة أسية على الجداء النقطي.

8 مختبر تفاعلي مرتبط بالدرس

مصفوفة غرام لنواة غاوسية أو كثيرة حدود أو خطية مع فحص الإيجابية شبه المحددة، وانحدار الحافة بالنواة مع أثر γ وλ، والجداء الداخلي في L² والتعامد ومتسلسلة فورييه كإسقاط متعامد.

افتح مختبر النوى وفضاءات الدوال

9 تمارين تدريبية

أسئلة مراجعة للتفكير

  • لماذا تجعل حيلة النواة العمل في فضاء لانهائي الأبعاد ممكناً؟
  • كيف تتحقق من أن دالة تشابه نواة صالحة؟
  • ما أثر زيادة λ على \(\hat f\)؟

أخطاء شائعة

  • استخدام دالة تشابه غير موجبة شبه محددة كنواة في SVM.
  • نسيان أن تكلفة حل \((K + \lambda I)^{-1}\) من رتبة \(n^3\) فلا تصلح للبيانات الضخمة دون تقريب.
  • اختيار γ كبيرة جداً فيحفظ النموذج نقاط التدريب.
  • محاولة حساب φ صراحة للنواة الغاوسية؛ فضاؤها لانهائي الأبعاد.

تدرب على 9 أسئلة من بنك الأسئلة لهذا الدرس

10 ملخص الدرس

  • النواة جداء داخلي في فضاء ميزات دون حسابه.
  • شرط ميرسر: مصفوفات غرام موجبة شبه محددة.
  • مبرهنة التمثيل تحول المسألة إلى n معاملاً.
  • γ وλ يتحكمان في الموازنة بين الملاءمة والنعومة.

11 اختبار قصير

5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.