نظرية المعلومات Information Theory

تعريف بالمسار

الأهداف التعليمية

• حساب محتوى المعلومات والانتروبيا
• حساب الانتروبيا التقاطعية وتباعد KL
• ربط الانتروبيا التقاطعية بخسارة التصنيف
• حساب المعلومات المتبادلة وكسب المعلومات

قائمة الدروس

1. 1 محتوى المعلومات Information Contentمحتوى المعلومات (المفاجأة) لحدث احتماله p هو \(-\log p\): الأحداث النادرة تحمل معلومات أكثر، ووحدتها البت أو النات حسب أساس اللوغاريتم. متوسط · 30 د
2. 2 الانتروبيا Entropyالانتروبيا متوسط محتوى المعلومات لتوزيع ما، وتقيس عدم اليقين فيه؛ أكبر ما تكون للتوزيع المنتظم وأصغرها صفر للتوزيع المؤكد. متوسط · 40 د
3. 3 الانتروبيا التقاطعية Cross Entropyالانتروبيا التقاطعية تقيس متوسط عدد البتات اللازمة لترميز بيانات من p باستخدام ترميز مصمم لـ q؛ وهي دالة خسارة التصنيف والنماذج اللغوية. متوسط · 45 د
4. 4 تباعد كولباك–لايبلر (KL) KL Divergenceتباعد KL يقيس "المسافة" المعلوماتية من توزيع إلى آخر؛ غير سالب وغير متماثل، ويظهر في VAE وتقطير المعرفة وتنظيم السياسات في التعلم المعزز. متقدم · 45 د
5. 5 المعلومات المتبادلة وكسب المعلومات Mutual Informationالمعلومات المتبادلة تقيس مقدار ما يخبرنا به متغير عن آخر، وتساوي نقصان الانتروبيا؛ وهي أساس كسب المعلومات في أشجار القرار واختيار الخصائص. متقدم · 45 د

التطبيقات في الذكاء الاصطناعي

• Entropy
• Cross Entropy Loss
• KL Divergence في VAE
• Information Gain في أشجار القرار

المراجع العلمية

1. Deep Learning — Ian Goodfellow, Yoshua Bengio, Aaron Courville (MIT Press) www.deeplearningbook.org
2. Mathematics for Machine Learning — Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong (Cambridge University Press) mml-book.github.io