أهمية السمات بالتبديل
Permutation Feature Importance
طريقة بسيطة ومستقلة عن النموذج لقياس اعتماده على كل سمة، ومزالقها.
الخوارزمية
- احسب أداء النموذج \(s\) على بيانات التقييم.
- لكل سمة \(j\): اخلط عمودها، واحسب الأداء \(s_j\)، وكرر \(K\) مرة.
- الأهمية = \(s – \overline{s_j}\).
from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import permutation_importance
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, stratify=y, random_state=0)
rf = RandomForestClassifier(n_estimators=300, random_state=0).fit(X_tr, y_tr)
r = permutation_importance(rf, X_te, y_te, n_repeats=20, random_state=0, scoring="roc_auc")
for i in r.importances_mean.argsort()[::-1][:5]:
print(f"{X.columns[i]:<25} {r.importances_mean[i]:.4f} ± {r.importances_std[i]:.4f}")مزالق
| المزلق | الأثر | العلاج |
|---|---|---|
| السمات المترابطة | تقاسم الأهمية أو اختفاؤها | تجميع السمات المترابطة وتبديلها معاً |
| أمثلة غير واقعية | تبديل الطول دون الوزن ينتج حالات مستحيلة | طرق شرطية، أو الحذر في التفسير |
| بيانات التدريب | أهمية لسمات ضجيجية | استخدام بيانات اختبار |
| MDI | انحياز للسمات ذات القيم الكثيرة | تفضيل أهمية التبديل |
الأهمية ليست سببية
أهمية سمة “عدد زيارات المستشفى” للتنبؤ بالوفاة لا تعني أن الزيارات تسبب الوفاة؛ قد تكون علامة على شدة المرض. الأسئلة السببية تحتاج إلى تصميم سببي (تجارب أو استدلال سببي)، لا إلى أدوات التفسير وحدها.
مصطلحات الدرس
- أهمية التبديل Permutation Importance
- مقدار انخفاض أداء النموذج عند خلط قيم سمة واحدة عشوائياً في مجموعة التقييم.
- أهمية الشوائب Mean Decrease in Impurity
- مقياس أهمية في الأشجار يجمع انخفاض الشوائب عند كل انقسام على السمة، وهو منحاز للسمات ذات القيم الكثيرة.
الملخص
أهمية التبديل تقيس انخفاض أداء النموذج عند خلط قيم سمة واحدة عشوائياً، فتنقطع علاقتها بالهدف. تُحسب على بيانات اختبار منفصلة، وتُكرر عدة مرات لتقدير التشتت. أهمية الشوائب في الأشجار (MDI) منحازة لصالح السمات ذات القيم الكثيرة. مع السمات المترابطة قد تتوزع الأهمية أو تختفي، والتبديل قد ينشئ أمثلة غير واقعية. الأهمية تعني اعتماد النموذج على السمة لا وجود علاقة سببية.
أسئلة مراجعة
-
لماذا نحسب أهمية التبديل على بيانات الاختبار لا التدريب؟
لأن النموذج المفرط في التخصيص قد يعتمد على سمات ضجيجية في التدريب لا تفيد في التعميم.
-
ماذا يحدث لأهمية سمتين شديدتي الارتباط؟
قد تبدو كل منهما قليلة الأهمية لأن النموذج يعوض بالأخرى عند خلط إحداهما.
المصادر والمراجع
إكمال الدرس
أكملت كل دروس المسار! يمكنك الآن طلب شهادة إكمال المسار.
اطلب الشهادة