Random Forest
الغابة العشوائية
التعريف
نموذج تجميعي يدرّب عدداً كبيراً من أشجار القرار على عينات عشوائية ثم يجمع تنبؤاتها بالتصويت أو المتوسط.
قدّم Breiman الغابة العشوائية عام 2001. تُدرَّب كل شجرة على عينة بالإرجاع (Bootstrap) من بيانات التدريب، وعند كل تقسيم تُختبر مجموعة عشوائية فقط من الخصائص. هذا التنويع يقلل الارتباط بين الأشجار، فيقل تباين المتوسط مقارنة بشجرة واحدة.
في التصنيف تُجمع التنبؤات بتصويت الأغلبية، وفي الانحدار بالمتوسط. توفر أيضاً تقدير خطأ «خارج الحقيبة» (Out-of-Bag) ومقاييس لأهمية الخصائص.
Definition
A random forest is an ensemble learning method that trains many decision trees on bootstrap samples with random feature subsets and aggregates their predictions by majority vote or averaging.
شرح مبسّط للمبتدئين
بدلاً من سؤال خبير واحد قد يخطئ، تسأل مئة خبير لكل منهم خبرة مختلفة قليلاً، ثم تأخذ برأي الأغلبية.
شرح أكاديمي متخصص
إذا كان لكل شجرة تباين \(\sigma^2\) وارتباط زوجي \(\rho\) فإن تباين متوسط B شجرة هو \(\rho\sigma^2 + \frac{1-\rho}{B}\sigma^2\)؛ لذا يستهدف الاختيار العشوائي للخصائص تقليل \(\rho\).
أمثلة عملية
- كشف الاحتيال في المعاملات المالية.
- التنبؤ بأمراض من بيانات سريرية جدولية.
- تصنيف الغطاء الأرضي من صور الأقمار الصناعية.
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
X, y = load_breast_cancer(return_X_y=True)
rf = RandomForestClassifier(n_estimators=200, oob_score=True, random_state=0).fit(X, y)
print(round(rf.oob_score_, 3))شرح الكود
دقة خارج الحقيبة تقدير للأداء على بيانات لم تر كل شجرة أمثلتها، دون فصل مجموعة اختبار.
النتيجة المتوقعة
0.965
التطبيقات والاستخدامات
- البيانات الجدولية في الصحة والتمويل والبيئة.
- اختيار الخصائص بمقاييس الأهمية.
المزايا
- دقة قوية مع ضبط قليل.
- مقاومة جيدة لفرط التخصيص مقارنة بالشجرة الواحدة.
القيود والعيوب
- أقل قابلية للتفسير من شجرة واحدة.
- أبطأ وأكبر حجماً في التنبؤ.
- أهمية الخصائص المعتمدة على النقاء قد تنحاز للخصائص كثيرة القيم.
المعادلات الرياضية
تباين متوسط الأشجار
\mathrm{Var}\Big(\frac{1}{B}\sum_{b=1}^{B} T_b(x)\Big) = \rho\,\sigma^2 + \frac{1-\rho}{B}\,\sigma^2زيادة عدد الأشجار تقلل الحد الثاني، وتقليل الارتباط بينها يقلل الحد الأول.
| الرمز | المعنى |
|---|---|
| \(B\) | عدد الأشجار |
| \(T_b(x)\) | تنبؤ الشجرة b |
| \(\sigma^2\) | تباين الشجرة الواحدة |
| \(\rho\) | الارتباط بين الأشجار |
المصادر العلمية
مراجع ومصادر علمية
-
بحث علميRandom Forests الورقة الأصلية للغابة العشوائية.
-
كتابThe Elements of Statistical Learning (2nd ed.) مرجع إحصائي في التعلم الآلي، متاح مجاناً من موقع المؤلفين.
