التعلم العميق بالعربي الدكتور علاء طعيمة
تعلم الآلة علم البيانات متوسط محتوى تجريبي

Decision Tree

شجرة القرار

التعريف

نموذج يتنبأ بسلسلة أسئلة «إذا... وإلا» على الخصائص، مرتبة في شكل شجرة تنتهي أوراقها بالتنبؤ.

تقسم شجرة القرار البيانات تكرارياً: في كل عقدة تختار الخاصية والعتبة اللتين تجعلان المجموعتين الناتجتين أنقى ما يمكن، وفق مقياس مثل مؤشر جيني أو الإنتروبيا (كسب المعلومات) للتصنيف، أو تقليل التباين للانحدار.
من خوارزمياتها ID3 وC4.5 وCART. تتميز بسهولة التفسير والتعامل مع أنواع بيانات مختلفة، لكنها تميل إلى فرط التخصيص إذا لم يُحدد عمقها أو تُقلَّم (Pruning)، وهي أساس نماذج التجميع القوية مثل الغابة العشوائية والتعزيز التدريجي.

Definition

A decision tree is a model that predicts a target by learning simple if-then decision rules from the features, organised as a tree whose internal nodes test features and whose leaves give predictions.

شرح مبسّط للمبتدئين

لعبة «عشرين سؤالاً»: هل الحيوان يطير؟ لا. هل يعيش في الماء؟ نعم. إذن هو سمكة. كل سؤال يضيّق الاحتمالات.

شرح أكاديمي متخصص

بناء الشجرة المثلى مسألة NP-كاملة، لذا تستخدم الخوارزميات بحثاً جشعاً من الأعلى إلى الأسفل. والشجرة نموذج لاخطي غير معلمي ذو انحياز منخفض وتباين مرتفع.

أمثلة عملية

  • قرار منح قرض بناءً على الدخل والتاريخ الائتماني.
  • تشخيص أولي بناءً على الأعراض.
عرض قواعد شجرة قرار Python 
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, export_text

iris = load_iris()
t = DecisionTreeClassifier(max_depth=2, random_state=0).fit(iris.data, iris.target)
print(export_text(t, feature_names=list(iris.feature_names)))

شرح الكود

تطبع قواعد الشجرة نصاً مقروءاً، وهذا مثال على قابلية تفسيرها.

النتيجة المتوقعة

|--- petal width (cm) <= 0.80
|   |--- class: 0
|--- petal width (cm) >  0.80
|   |--- petal width (cm) <= 1.75
|   |   |--- class: 1
|   |--- petal width (cm) >  1.75
|   |   |--- class: 2

التطبيقات والاستخدامات

  • القرارات الائتمانية والطبية القابلة للتفسير.
  • مكوّن أساسي في الغابة العشوائية وXGBoost.

المزايا

  • سهلة الفهم والتفسير والرسم.
  • لا تحتاج تقييس الخصائص.

القيود والعيوب

  • غير مستقرة: تغيير بسيط في البيانات قد يغير الشجرة كلها.
  • تميل إلى فرط التخصيص.

المعادلات الرياضية

مؤشر جيني والإنتروبيا

G = 1 - \sum_{k=1}^{K} p_k^2, \qquad H = -\sum_{k=1}^{K} p_k \log_2 p_k

مقياسان لعدم نقاء العقدة؛ يساويان صفراً حين تنتمي كل الأمثلة إلى فئة واحدة.

شرح الرموز
الرمزالمعنى
\(p_k\)نسبة أمثلة الفئة k في العقدة
\(K\)عدد الفئات

مثال تطبيقي

عقدة فيها 50% من كل فئة: \(G=0.5\) و\(H=1\) بت. عقدة نقية: \(G=H=0\).

المصادر العلمية

مراجع ومصادر علمية

  • بحث علمي
    Induction of Decision Trees J. R. Quinlan · 1986 · Machine Learning 1 خوارزمية ID3 لبناء أشجار القرار.
  • كتاب
    The Elements of Statistical Learning (2nd ed.) Trevor Hastie, Robert Tibshirani, Jerome Friedman · 2009 · Springer مرجع إحصائي في التعلم الآلي، متاح مجاناً من موقع المؤلفين.

تعلّم وراجع

بطاقة مراجعة المصطلحراجعه مع المصطلحات المرتبطة به اختبار قصيرأسئلة عن هذا المصطلح وما يرتبط به

مصطلحات مقترحة للتعلّم بعده