الدرس 2 من 5 · حساب الموترات

العمليات على الموترات Tensor Operations

العمليات العنصرية، والبث (Broadcasting)، وإعادة التشكيل، وتبديل المحاور، والاختزال على محور؛ وهي العمليات التي تُكتب بها طبقات الشبكات الحديثة.

رياضيات التعلم العميق الصعوبة: متوسط زمن الدراسة: 40 دقيقة
محتويات الدرس
  1. مقدمة
  2. لماذا ندرس هذا الموضوع؟
  3. الشرح النظري
  4. التعريفات الرياضية
  5. المعادلات
  6. مثال محلول
  7. التطبيق في الذكاء الاصطناعي
  8. المختبر التفاعلي
  9. تمارين تدريبية
  10. الملخص
  11. اختبار قصير
  12. دروس مرتبطة

1 مقدمة

معظم الحسابات داخل الشبكة العصبية عمليات قليلة تتكرر: جمع وضرب عنصري، وبث لمحاذاة الأشكال، وإعادة تشكيل، وتبديل محاور، واختزال (مجموع أو متوسط) على محور معين.

الأهداف التعليمية

  • تطبيق العمليات العنصرية
  • التنبؤ بشكل ناتج البث وقواعده
  • استخدام إعادة التشكيل وتبديل المحاور
  • حساب الاختزال على محور محدد

2 لماذا ندرس هذا الموضوع؟

إضافة الانحياز إلى مخرجات طبقة هي بث، وتطبيع الدفعات اختزال على محور الدفعة، وتقسيم الانتباه إلى رؤوس (Multi-head) إعادة تشكيل وتبديل محاور. إتقان هذه العمليات يجعل الكود أوضح وأسرع لأنه يتجنب الحلقات.

3 الشرح النظري

العمليات العنصرية

تُطبَّق على كل عنصر منفرداً لموترين من الشكل نفسه: \((\mathcal{A}\odot\mathcal{B})_{ijk} = a_{ijk}b_{ijk}\)، وكذلك الدوال مثل \(\exp\) وReLU.

قواعد البث (Broadcasting)

  1. نحاذي الشكلين من اليمين.
  2. المحوران متوافقان إذا تساويا أو كان أحدهما 1.
  3. المحور الناقص يعامل كأنه 1.
  4. المحور الذي طوله 1 يُكرَّر ليطابق الآخر (دون نسخ فعلي في الذاكرة).

مثال: \((2,3) + (3,) \to (2,3)\)؛ و\((4,1) + (1,5) \to (4,5)\)؛ أما \((2,3) + (2,)\) فغير متوافق.

إعادة التشكيل وتبديل المحاور

إعادة التشكيل (Reshape) تغيّر الشكل مع الحفاظ على عدد العناصر وترتيبها في الذاكرة. وتبديل المحاور (Transpose/Permute) يغير ترتيب المحاور، مثل \((B, H, W, C) \to (B, C, H, W)\).

الاختزال على محور

مجموع أو متوسط أو قيمة عظمى على محور يحذف ذلك المحور: متوسط \((B, d)\) على المحور 0 يعطي \((d)\)، وهذا ما يحسبه تطبيع الدفعات.

4 التعريفات الرياضية

البث
محاذاة موترين مختلفي الشكل بتكرار المحاور ذات الطول 1 ضمنياً.
\[(m,n) + (1,n) \to (m,n)\]
الاختزال
تطبيق عملية تجميع على محور فيُحذف من الشكل.
\[\mathbf{s}_j = \sum_i X_{ij}\]
إعادة التشكيل
تغيير شكل الموتر مع الحفاظ على عدد عناصره.
\[(2,3,4) \to (6,4)\]
البث (Broadcasting)
قواعد لمحاذاة موترين مختلفي الشكل في العمليات العنصرية بتمديد المحاور ذات الطول 1 ضمنياً.
\[(m,n)+(n)\to(m,n)\]

5 المعادلات

\[Y_{ij} = X_{ij} + b_j\]
إضافة الانحياز بالبث
\[\mu_j = \frac{1}{B}\sum_{i=1}^{B} X_{ij}\]
متوسط الدفعة لكل خاصية
\[\operatorname{softmax}(\mathbf{z})_k = \frac{e^{z_k}}{\sum_j e^{z_j}}\]
اختزال بالمجموع ثم قسمة عنصرية

6 مثال محلول خطوة بخطوة

بث الانحياز

المسألة: لتكن \(X = \begin{bmatrix}0 & 1 & 2 \\ 3 & 4 & 5\end{bmatrix}\) (شكلها 2×3) و\(\mathbf{b} = (10, 20, 30)\). احسب \(X + \mathbf{b}\).

  1. المحاذاة من اليمين: \((2,3)\) و\((3,)\) متوافقان.
  2. يُكرر b لكل صف.
  3. نجمع عنصراً بعنصر.

النتيجة: \(\begin{bmatrix}10 & 21 & 32 \\ 13 & 24 & 35\end{bmatrix}\)

أشكال الانتباه متعدد الرؤوس

المسألة: موتر \((B, T, d) = (2, 10, 64)\) يُقسم إلى 8 رؤوس. ما الشكل بعد إعادة التشكيل ثم التبديل إلى \((B, h, T, d_h)\)؟

  1. \(d_h = 64/8 = 8\).
  2. إعادة التشكيل: \((2, 10, 8, 8)\).
  3. تبديل المحورين 1 و2: \((2, 8, 10, 8)\).

النتيجة: \((2, 8, 10, 8)\)

7 تطبيق عملي في الذكاء الاصطناعي

  • الانحياز: إضافة متجه الانحياز إلى كل عينة في الدفعة بالبث.
  • التطبيع: Batch Norm وLayer Norm اختزالات على محاور مختلفة.
  • الانتباه متعدد الرؤوس: إعادة تشكيل وتبديل محاور لتوزيع البعد على الرؤوس.

8 مختبر تفاعلي مرتبط بالدرس

شبكة صغيرة (مدخلان، طبقة مخفية بعصبونين، مخرج واحد) تُحسب كاملة داخل المتصفح: المدخلات، الأوزان والانحيازات، المجموع الموزون، دوال التنشيط، الانتشار الأمامي، الخسارة، الانتشار العكسي، حساب التدرجات مع التحقق العددي، وتحديث الأوزان.

افتح مختبر رياضيات الشبكات العصبية

9 تمارين تدريبية

أسئلة مراجعة للتفكير

  • ما شكل ناتج \((8, 1, 6) + (7, 1)\)؟
  • لماذا يعد البث أكفأ من النسخ الصريح؟

أخطاء شائعة

  • بث غير مقصود ينتج شكلاً أكبر بصمت، مثل \((n,1) + (n,) \to (n,n)\).
  • الخلط بين إعادة التشكيل وتبديل المحاور؛ الأولى لا تغير ترتيب العناصر في الذاكرة.
  • الاختزال على المحور الخطأ.

تدرب على 5 أسئلة من بنك الأسئلة لهذا الدرس

10 ملخص الدرس

  • العمليات العنصرية تتطلب أشكالاً متوافقة.
  • البث يحاذي من اليمين ويمدد المحاور ذات الطول 1.
  • الاختزال يحذف المحور الذي يُجمَّع عليه.

11 اختبار قصير

5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.