Information gain

في غابات القرار (decision forests)، الفرق بين إنتروبيا العقدة والمجموع الموزون (بعدد الأمثلة) لانتروبيا العقد التابعة لها. إنتروبيا العقدة هي إنتروبيا الأمثلة في تلك العقدة.
على سبيل المثال، ضع في اعتبارك قيم الانتروبيا التالية:
• إنتروبيا العقدة الأم = 0.6.
• إنتروبيا عقدة فرعية واحدة مع 16 مثالاً ذا صلة = 0.2.
• إنتروبيا عقدة فرعية أخرى مع 24 مثالاً ذا صلة = 0.1.
إذن 40٪ من الأمثلة موجودة في عقدة فرعية واحدة و60٪ في العقدة الفرعية الأخرى. وبالتالي:
• مجموع الانتروبيا الموزون للعقد الفرعية = (0.4 * 0.2) + (0.6 * 0.1) = 0.14
إذن، اكتساب المعلومات هو:
• اكتساب المعلومات = إنتروبيا العقدة الأصل – مجموع الانتروبيا المرجحة للعقد الفرعية.
• اكتساب المعلومات = 0.6 – 0.14 = 0.46.
يسعى معظم المقسمين (splitters) إلى خلق ظروف تزيد من اكتساب المعلومات إلى أقصى حد.