الدرس 2 من 2 · العمليات العشوائية

المشي العشوائي ونماذج الانتشار Random Walks and Diffusion

المشي العشوائي مجموع خطوات مستقلة؛ متوسطه ينمو خطياً مع n وتباينه ينمو خطياً أيضاً فينمو انحرافه المعياري مثل √n، وحده المستمر هو الحركة البراونية؛ وعلى هذا تقوم عملية إضافة الضوضاء في نماذج الانتشار.

الرياضيات المتقدمة للذكاء الاصطناعي الصعوبة: خبير زمن الدراسة: 50 دقيقة
محتويات الدرس
  1. مقدمة
  2. لماذا ندرس هذا الموضوع؟
  3. الشرح النظري
  4. التعريفات الرياضية
  5. المعادلات
  6. مثال محلول
  7. التطبيق في الذكاء الاصطناعي
  8. المختبر التفاعلي
  9. تمارين تدريبية
  10. الملخص
  11. اختبار قصير
  12. دروس مرتبطة

1 مقدمة

رجل يمشي في ممر: في كل ثانية يخطو خطوة يميناً أو يساراً بالتساوي. أين يكون بعد 100 ثانية؟ في المتوسط عند نقطة البداية، لكن بعيداً عنها بنحو 10 خطوات عادة. هذه الفكرة البسيطة تقود إلى الحركة البراونية وإلى نماذج الانتشار التي تولد الصور اليوم.

الأهداف التعليمية

  • حساب متوسط المشي العشوائي البسيط وتباينه
  • تفسير نمو الانحراف المعياري مثل √n
  • وصف الحركة البراونية بوصفها حداً مستمراً
  • اشتقاق صيغة الخطوة الأمامية في نماذج الانتشار

2 لماذا ندرس هذا الموضوع؟

نماذج الانتشار (DDPM) تضيف ضوضاء غاوسية صغيرة على مراحل حتى تصبح الصورة ضوضاء خالصة، ثم تتعلم عكس العملية. فهم كيف تتراكم الضوضاء (التباين يجمع) هو ما يعطي الصيغة المغلقة \(x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1 - \bar\alpha_t}\,\epsilon\). والفكرة نفسها تفسر انتشار الضوضاء في SGD ونمو الخطأ في المحاكاة.

3 الشرح النظري

المشي العشوائي البسيط

\(S_n = \sum_{i=1}^n \xi_i\) حيث \(\xi_i = +1\) باحتمال p و\(-1\) باحتمال \(1 - p\)، والخطوات مستقلة. بخطية التوقع وجمع تباينات المستقلات:

\[\mathbb E[S_n] = (2p - 1)n,\qquad \operatorname{Var}(S_n) = 4p(1-p)n\]

للمشي المتماثل \(p = 0.5\): المتوسط 0 والتباين n، فالانحراف المعياري \(\sqrt n\). بعد 100 خطوة يكون \(\sigma = 10\).

قاعدة √n

التباين يجمع لكن الانحراف المعياري لا يجمع: \(n\) خطوة مستقلة تبتعد نحو \(\sqrt n\) لا n. وبمبرهنة النهاية المركزية \(S_n/\sqrt n\) يقترب من \(\mathcal N(0, 1)\) للمشي المتماثل. والمشي العشوائي سلسلة ماركوف: الموقع التالي يعتمد على الحالي فقط.

الحركة البراونية

إذا صغّرنا الخطوة والزمن معاً بالتناسب الصحيح نحصل على الحركة البراونية \(W_t\): تغيراتها على فترات غير متداخلة مستقلة، و\(W_t - W_s \sim \mathcal N(0, t - s)\). مساراتها متصلة لكنها غير قابلة للاشتقاق في أي نقطة.

الخطوة الأمامية في نماذج الانتشار

تضيف DDPM ضوضاء في كل خطوة:

\[x_t = \sqrt{1 - \beta_t}\,x_{t-1} + \sqrt{\beta_t}\,\epsilon_t,\qquad \epsilon_t \sim \mathcal N(0, I)\]

ولأن مجموع غاوسيات مستقلة غاوسي وتباينه مجموع التباينات، نصل إلى صيغة مغلقة:

\[x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1 - \bar\alpha_t}\,\epsilon,\qquad \bar\alpha_t = \prod_{s=1}^t (1 - \beta_s)\]

مع \(\beta = 0.02\) ثابتة و\(t = 50\): \(\bar\alpha_{50} = 0.98^{50} \approx 0.3642\). المعامل \(\sqrt{1-\beta}\) يحافظ على تباين البيانات المعيارية عند 1 بدل أن ينمو كما في المشي العشوائي البسيط.

نطاق المشي العشوائي المتماثل: الانحراف المعياري ينمو مثل √n لا مثل n

4 التعريفات الرياضية

المشي العشوائي
مجموع تراكمي لخطوات عشوائية مستقلة.
\[S_n=\sum_{i=1}^n\xi_i\]
الحركة البراونية
عملية مستمرة بزيادات غاوسية مستقلة تباينها يساوي طول الفترة.
\[W_t-W_s\sim\mathcal N(0,t-s)\]
العملية الأمامية للانتشار
سلسلة ماركوف تضيف ضوضاء غاوسية تدريجياً إلى البيانات.
\[q(x_t|x_{t-1})=\mathcal N(\sqrt{1-\beta_t}x_{t-1},\beta_tI)\]
جدول الضوضاء
قيم \(\beta_t\) التي تحدد مقدار الضوضاء المضافة في كل خطوة.
المشي العشوائي (Random Walk)
مجموع تراكمي لخطوات عشوائية مستقلة، تباينه ينمو خطياً مع عدد الخطوات.
\[\operatorname{Var}(S_n)=4p(1-p)n\]
الحركة البراونية (Brownian Motion)
عملية مستمرة بزيادات غاوسية مستقلة تباينها يساوي طول الفترة.
\[W_t-W_s\sim\mathcal N(0,t-s)\]
العملية الأمامية للانتشار (Diffusion Forward Process)
سلسلة ماركوف تضيف ضوضاء غاوسية تدريجياً ولها صيغة مغلقة.
\[x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon\]

5 المعادلات

\[\mathbb E[S_n] = (2p-1)n,\quad \operatorname{Var}(S_n) = 4p(1-p)n\]
عزوم المشي العشوائي
\[x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon\]
الصيغة المغلقة لـ DDPM
\[\bar\alpha_t = \prod_{s=1}^t(1-\beta_s)\]
المعامل التراكمي

6 مثال محلول خطوة بخطوة

انحراف بعد 100 خطوة

المسألة: مشي متماثل من 100 خطوة. ما الانحراف المعياري لموقعه؟

  1. \(\operatorname{Var} = 4(0.5)(0.5)(100) = 100\).

النتيجة: \(\sigma = 10\)

مشي منحاز

المسألة: مشي باحتمال \(p = 0.6\) للخطوة +1 لمدة 50 خطوة. احسب المتوسط والتباين.

  1. \(\mathbb E = (1.2 - 1)(50)\).
  2. \(\operatorname{Var} = 4(0.6)(0.4)(50)\).

النتيجة: المتوسط \(10\) والتباين \(48\)

معامل الإشارة في الانتشار

المسألة: مع \(\beta = 0.02\) ثابتة، ما نسبة الإشارة الأصلية \(\sqrt{\bar\alpha_{50}}\) بعد 50 خطوة؟

  1. \(\bar\alpha_{50} = 0.98^{50} \approx 0.3642\).
  2. نأخذ الجذر.

النتيجة: \(\approx 0.6035\)

7 تطبيق عملي في الذكاء الاصطناعي

  • نماذج الانتشار: DDPM وما بعدها تضيف ضوضاء بعملية ماركوف وتتعلم عكسها لتوليد الصور والصوت.
  • ضوضاء SGD: تحديثات SGD بدفعات صغيرة تتصرف قرب القيمة الصغرى كمشي عشوائي، وتحليل تباينها يفسر أثر حجم الدفعة ومعدل التعلم.
  • الاستكشاف في التعلم المعزز: إضافة ضوضاء متراكمة إلى الأفعال طريقة شائعة للاستكشاف في التحكم المستمر.

8 مختبر تفاعلي مرتبط بالدرس

مصفوفة انتقال تعدّلها مع تطور التوزيع والتوزيع المستقر وقيمتها الذاتية الثانية، ومحاكاة مسار السلسلة ومقارنة التكرار التجريبي بالتوزيع المستقر، والمشي العشوائي مع نطاق الانحراف المعياري.

افتح مختبر سلاسل ماركوف

9 تمارين تدريبية

أسئلة مراجعة للتفكير

  • لماذا ينمو الانحراف المعياري مثل √n؟
  • لماذا تُضرب \(x_{t-1}\) في \(\sqrt{1 - \beta_t}\) في نماذج الانتشار؟

أخطاء شائعة

  • جمع الانحرافات المعيارية بدل التباينات لمتغيرات مستقلة.
  • الظن أن المشي المتماثل يبقى قرب الصفر لأن متوسطه صفر.
  • نسيان أن \(\bar\alpha_t\) جداء وليس مجموعاً.
  • تطبيق صيغة جمع التباينات على خطوات مترابطة.

تدرب على 9 أسئلة من بنك الأسئلة لهذا الدرس

10 ملخص الدرس

  • المشي العشوائي مجموع خطوات مستقلة وسلسلة ماركوف.
  • التباين ينمو مثل n والانحراف مثل √n.
  • الحركة البراونية حده المستمر.
  • الخطوة الأمامية في DDPM لها صيغة مغلقة بفضل جمع التباينات.

11 اختبار قصير

5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.