Mutual Information
المعلومات المتبادلة
التعريف
مقدار ما يكشفه أحد المتغيرين عن الآخر، بما يشمل العلاقات غير الخطية.
تساوي صفراً إذا كان المتغيران مستقلين. تُستخدم في اختيار الخصائص وتقييم التجميع والتعلم التبايني. أعم من الارتباط الذي يلتقط العلاقة الخطية فقط.
Definition
Mutual information quantifies how much knowing one variable reduces uncertainty about another, capturing arbitrary dependence, and is zero if and only if they are independent.
شرح مبسّط للمبتدئين
كمعرفة الطقس تخبرك بنوع ملابس الناس: كل منهما يقلل غموض الآخر.
شرح أكاديمي متخصص
\(I(X;Y)=H(X)-H(X|Y)=\mathrm{KL}(p(x,y)\Vert p(x)p(y))\).
أمثلة عملية
- اختيار خصائص ذات معلومات عالية عن الهدف.
التطبيقات والاستخدامات
- اختيار الخصائص.
المزايا
- يلتقط علاقات غير خطية.
القيود والعيوب
- تقديره من عينات صعب.
