الدرس 1 من 5 · نظرية المعلومات

محتوى المعلومات Information Content

محتوى المعلومات (المفاجأة) لحدث احتماله p هو \(-\log p\): الأحداث النادرة تحمل معلومات أكثر، ووحدتها البت أو النات حسب أساس اللوغاريتم.

رياضيات التعلم العميق الصعوبة: متوسط زمن الدراسة: 30 دقيقة
محتويات الدرس
  1. مقدمة
  2. لماذا ندرس هذا الموضوع؟
  3. الشرح النظري
  4. التعريفات الرياضية
  5. المعادلات
  6. مثال محلول
  7. التطبيق في الذكاء الاصطناعي
  8. المختبر التفاعلي
  9. تمارين تدريبية
  10. الملخص
  11. اختبار قصير
  12. دروس مرتبطة

1 مقدمة

حين يخبرك أحدهم أن الشمس أشرقت اليوم فلن تتعلم شيئاً تقريباً، أما إذا أخبرك بحدث نادر فالمعلومة كبيرة. نظرية المعلومات (Information Theory) التي أسسها كلود شانون تقيس هذا الحدس بدقة.

الأهداف التعليمية

  • تعريف محتوى المعلومات وتبرير صيغته
  • التحويل بين البت والنات
  • حساب معلومات أحداث مستقلة بالجمع
  • ربط الخسارة اللوغاريتمية بالمفاجأة

2 لماذا ندرس هذا الموضوع؟

دالة الخسارة الأكثر استخداماً في التصنيف والنماذج اللغوية، الانتروبيا التقاطعية، هي متوسط محتوى المعلومات للإجابات الصحيحة تحت توقعات النموذج. فخسارة \(-\log\hat p\) هي بالضبط "مفاجأة" النموذج بالإجابة الصحيحة.

3 الشرح النظري

التعريف

\[I(x) = -\log_b p(x) = \log_b\frac{1}{p(x)}\]

إذا كان الأساس \(b = 2\) فالوحدة البت (Bit)، وإذا كان \(e\) فالوحدة النات (Nat). والتحويل: \(1\,\text{nat} = 1/\ln 2 \approx 1.4427\,\text{bit}\).

لماذا اللوغاريتم؟

  • الحدث المؤكد (\(p = 1\)) لا يحمل معلومات: \(I = 0\).
  • الأقل احتمالاً يحمل معلومات أكثر: \(I\) متناقصة في p.
  • معلومات حدثين مستقلين تساوي مجموع معلوماتهما، لأن \(-\log(pq) = -\log p - \log q\). اللوغاريتم هو الدالة المتصلة الوحيدة (حتى ثابت) التي تحقق ذلك.

أمثلة

الحدثpالمعلومات (بت)
رمية عملة منتظمة1/21
وجه محدد لنرد1/62.585
بطاقة محددة من 521/525.7
حدث مؤكد10
كلما قل الاحتمال زادت المعلومات

4 التعريفات الرياضية

محتوى المعلومات
مقدار المفاجأة عند وقوع حدث احتماله p.
\[I(x) = -\log p(x)\]
البت
وحدة المعلومات عند استخدام اللوغاريتم ذي الأساس 2؛ وهي معلومات رمية عملة منتظمة.
\[1\,\text{bit} = -\log_2\tfrac12\]
محتوى المعلومات (Information Content)
مقدار المفاجأة عند وقوع حدث، ويساوي سالب لوغاريتم احتماله.
\[I(x)=-\log p(x)\]

5 المعادلات

\[I(x) = -\log_2 p(x)\]
بالبت
\[I(x,y) = I(x) + I(y)\;\text{للمستقلين}\]
الجمع
\[\ell = -\log\hat p_{y}\]
الخسارة اللوغاريتمية = مفاجأة النموذج

6 مثال محلول خطوة بخطوة

معلومات حدث نادر

المسألة: نموذج لغوي أعطى الكلمة الصحيحة احتمال 1/8. ما مفاجأته بالبت والنات؟

  1. \(I = -\log_2(1/8) = 3\) بت.
  2. بالنات: \(\ln 8 \approx 2.0794\).

النتيجة: 3 بت أو نحو 2.0794 نات

7 تطبيق عملي في الذكاء الاصطناعي

  • الخسارة اللوغاريتمية: خسارة المصنف لعينة واحدة هي محتوى المعلومات للفئة الصحيحة تحت توزيع النموذج.
  • ضغط البيانات: الرمز الأقل احتمالاً يحتاج إلى عدد أكبر من البتات في الترميز الأمثل.
  • كشف الشذوذ: العينات ذات المفاجأة العالية تحت نموذج البيانات مرشحة لأن تكون شاذة.

8 مختبر تفاعلي مرتبط بالدرس

حاسبات الانتروبيا والانتروبيا التقاطعية وتباعد KL وكسب المعلومات، ومقارنة توزيعين احتماليين بصرياً.

افتح مختبر نظرية المعلومات

9 تمارين تدريبية

أسئلة مراجعة للتفكير

  • لماذا تكون معلومات حدث احتماله صفر غير منتهية؟
  • ما معلومات تسلسل من 10 رميات عملة منتظمة؟

أخطاء شائعة

  • نسيان الإشارة السالبة فتظهر المعلومات سالبة.
  • الخلط بين أساسي اللوغاريتم 2 وe.
  • الاعتقاد بأن الحدث الأكثر احتمالاً يحمل معلومات أكثر.

تدرب على 5 أسئلة من بنك الأسئلة لهذا الدرس

10 ملخص الدرس

  • \(I(x) = -\log p(x)\).
  • البت للأساس 2، والنات للأساس e.
  • معلومات الأحداث المستقلة تُجمع.

11 اختبار قصير

5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.