الدرس 1 من 2 · النمذجة الاحتمالية

النماذج ذات المتغيرات الكامنة وخوارزمية EM Latent Variable Models and the EM Algorithm

النموذج ذو المتغير الكامن يفترض سبباً غير مرصود وراء البيانات، مثل المكوّن الذي جاءت منه النقطة في خليط الغاوسيات؛ وخوارزمية EM تتناوب بين حساب مسؤوليات المكونات (E) وإعادة تقدير المعاملات بها (M) فترفع الأرجحية في كل دورة.

رياضيات التعلم العميق الصعوبة: متقدم زمن الدراسة: 55 دقيقة
محتويات الدرس
  1. مقدمة
  2. لماذا ندرس هذا الموضوع؟
  3. الشرح النظري
  4. التعريفات الرياضية
  5. المعادلات
  6. مثال محلول
  7. التطبيق في الذكاء الاصطناعي
  8. المختبر التفاعلي
  9. تمارين تدريبية
  10. الملخص
  11. اختبار قصير
  12. دروس مرتبطة

1 مقدمة

لو رصدنا أطوال مجموعة من الناس دون أن نعرف جنسهم، لرأينا توزيعاً بقمتين. التفسير الطبيعي أن وراء كل قياس متغيراً لم نرصده. النماذج ذات المتغيرات الكامنة تجعل هذا الافتراض صريحاً وتتعلمه من البيانات.

الأهداف التعليمية

  • كتابة نموذج خليط الغاوسيات وتوزيعه الهامشي
  • حساب المسؤوليات بمبرهنة بايز
  • تنفيذ دورة EM واحدة يدوياً
  • ربط EM بفكرة الحد الأدنى للأرجحية في VAE

2 لماذا ندرس هذا الموضوع؟

خليط الغاوسيات أساس التجميع الناعم وتقدير الكثافة، وخوارزمية EM نمط عام لتعلم النماذج ذات البيانات الناقصة. والمشفّر التلقائي المتغير (VAE) ونماذج الانتشار نماذج متغيرات كامنة أيضاً، تُدرَّب بتعظيم حد أدنى للأرجحية (ELBO) هو تعميم لفكرة EM.

3 الشرح النظري

خليط الغاوسيات

نفترض متغيراً كامناً \(z \in \{1, \dots, K\}\) باحتمالات \(\pi_k\)، ثم \(x \mid z = k \sim \mathcal N(\mu_k, \sigma_k^2)\). بتهميش z:

\[p(x) = \sum_{k=1}^K \pi_k\, \mathcal N(x \mid \mu_k, \sigma_k^2)\]

المسؤوليات

بعد رصد x نسأل: ما احتمال أن تكون جاءت من المكون k؟ بمبرهنة بايز:

\[\gamma_k(x) = p(z = k \mid x) = \frac{\pi_k\,\mathcal N(x \mid \mu_k, \sigma_k^2)}{\sum_j \pi_j\,\mathcal N(x \mid \mu_j, \sigma_j^2)}\]

لمكونين متساويي الوزن \(\mu = (0, 4)\) و\(\sigma = 1\): \(\gamma_1(1) \approx 0.982\) و\(\gamma_1(2) = 0.5\) لأن 2 في المنتصف تماماً.

خوارزمية EM

  • الخطوة E: احسب \(\gamma_{ik}\) لكل نقطة ومكون بالمعاملات الحالية.
  • الخطوة M: أعد التقدير بمتوسطات موزونة:
  • \(N_k = \sum_i \gamma_{ik}\)، \(\pi_k = N_k/n\)، \(\mu_k = \frac{1}{N_k}\sum_i \gamma_{ik}x_i\)، \(\sigma_k^2 = \frac{1}{N_k}\sum_i \gamma_{ik}(x_i - \mu_k)^2\).

كل دورة لا تنقص الأرجحية، فتتقارب EM إلى قيمة عظمى محلية؛ ولذلك تُعاد من عدة بدايات. و K-means حالة حدية لـ EM عندما تكون المسؤوليات صلبة (0 أو 1) والتباينات متساوية صغيرة.

من EM إلى VAE

حين يكون التوزيع اللاحق \(p(z \mid x)\) صعب الحساب، نستبدله بتقريب \(q(z \mid x)\) ونعظم الحد الأدنى:

\[\log p(x) \ge \mathbb E_{q}[\log p(x \mid z)] - D_{\mathrm{KL}}(q(z \mid x)\,\|\,p(z))\]

وهذا هو ELBO الذي يدرب به المشفّر التلقائي المتغير.

خليط غاوسيين: الكثافة الكلية (المتصل) مجموع المكونين الموزونين (المتقطع)

4 التعريفات الرياضية

المتغير الكامن
متغير عشوائي غير مرصود يُفترض أنه يولد البيانات أو يفسرها.
\[z\]
خليط الغاوسيات
توزيع هو مجموع موزون لتوزيعات طبيعية.
\[p(x)=\sum_k\pi_k\mathcal N(x|\mu_k,\sigma_k^2)\]
المسؤولية
الاحتمال اللاحق لانتماء نقطة إلى مكون.
\[\gamma_k(x)=p(z=k|x)\]
خوارزمية EM
تكرار خطوتي التوقع والتعظيم لتعلم نموذج بمتغيرات كامنة.
المتغير الكامن (Latent Variable)
متغير غير مرصود يفترض النموذج أنه يولد البيانات، مثل المكون في خليط.
\[p(x)=\sum_z p(x|z)p(z)\]
خليط الغاوسيات (Gaussian Mixture Model)
توزيع هو مجموع موزون لتوزيعات طبيعية، يستخدم للتجميع الناعم وتقدير الكثافة.
\[p(x)=\sum_k\pi_k\mathcal N(x|\mu_k,\sigma_k^2)\]
خوارزمية EM (Expectation–Maximization)
تكرار حساب المسؤوليات ثم إعادة تقدير المعاملات، مع عدم تناقص الأرجحية.
\[\mu_k=\frac{\sum_i\gamma_{ik}x_i}{\sum_i\gamma_{ik}}\]
الحد الأدنى للدليل (Evidence Lower Bound (ELBO))
حد أدنى للوغاريتم الأرجحية يُعظَّم بدلاً منها عندما يصعب حساب التوزيع اللاحق.
\[\mathbb E_q[\log p(x|z)]-D_{KL}(q\|p)\]

5 المعادلات

\[p(x) = \sum_k \pi_k\,\mathcal N(x \mid \mu_k, \sigma_k^2)\]
خليط الغاوسيات
\[\gamma_{ik} = \frac{\pi_k\mathcal N(x_i|\mu_k,\sigma_k^2)}{\sum_j \pi_j\mathcal N(x_i|\mu_j,\sigma_j^2)}\]
الخطوة E
\[\mu_k = \frac{\sum_i\gamma_{ik}x_i}{\sum_i\gamma_{ik}}\]
الخطوة M للمتوسط
\[\log p(x) \ge \mathbb E_q[\log p(x|z)] - D_{\mathrm{KL}}(q\|p)\]
ELBO

6 مثال محلول خطوة بخطوة

حساب مسؤولية

المسألة: لخليط بمكونين \(\pi = (0.5, 0.5)\)، \(\mu = (0, 4)\)، \(\sigma = 1\)، احسب \(\gamma_1(1)\).

  1. النسبة \(\frac{\mathcal N(1|0,1)}{\mathcal N(1|4,1)} = e^{(9-1)/2} = e^{4}\).
  2. \(\gamma_1 = \frac{e^4}{e^4 + 1}\).

النتيجة: \(\gamma_1(1) \approx 0.982\)

دورة EM

المسألة: للبيانات \((-1, 0, 1, 3, 4, 5)\) والمعاملات نفسها، أعد تقدير \(\pi_1\) و\(\mu_1\).

  1. احسب \(\gamma_{i1}\) لكل نقطة: قريبة من 1 للنقاط السالبة والصفر والواحد.
  2. \(N_1 = \sum_i\gamma_{i1} \approx 3\).
  3. \(\mu_1 = \sum_i\gamma_{i1}x_i/N_1\).

النتيجة: \(\pi_1 \approx 0.5\) و\(\mu_1 \approx 0.012\)

7 تطبيق عملي في الذكاء الاصطناعي

  • التجميع الناعم: خليط الغاوسيات يعطي كل نقطة احتمال انتماء لكل عنقود بدل قرار صلب كما في K-means.
  • VAE: المشفّر التلقائي المتغير نموذج متغير كامن مستمر يُدرَّب بتعظيم ELBO.
  • كشف الشذوذ: النقاط ذات الكثافة المنخفضة جداً تحت خليط مدرَّب تُعد شاذة.

8 مختبر تفاعلي مرتبط بالدرس

حاسبة الاحتمالات، والتوزيع الطبيعي والتوزيع ذو الحدين مع الرسم، والإحصاءات الوصفية (المتوسط والوسيط والمنوال والتباين والانحراف المعياري)، والارتباط، والمعاينة العشوائية، وحاسبة مبرهنة بايز.

افتح مختبر الاحتمالات والإحصاء

9 تمارين تدريبية

أسئلة مراجعة للتفكير

  • لماذا تساوي المسؤولية 0.5 عند منتصف المسافة بين متوسطين متساويي الوزن والتباين؟
  • ما العلاقة بين K-means و EM؟

أخطاء شائعة

  • تفسير المسؤولية على أنها احتمال المكون قبل رؤية البيانات (هي لاحقة).
  • تشغيل EM من بداية واحدة فقط والوثوق بالنتيجة.
  • السماح بتباين يقترب من الصفر لمكون التقط نقطة واحدة فتنفجر الأرجحية.
  • افتراض أن EM تجد القيمة العظمى العامة.

تدرب على 9 أسئلة من بنك الأسئلة لهذا الدرس

10 ملخص الدرس

  • المتغير الكامن سبب غير مرصود للبيانات.
  • المسؤوليات تُحسب بمبرهنة بايز.
  • EM تتناوب بين E و M ولا تنقص الأرجحية.
  • ELBO في VAE تعميم لفكرة EM.

11 اختبار قصير

5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.