قيم شابلي وSHAP
Shapley Values and SHAP
إسناد التنبؤ إلى السمات بطريقة مستمدة من نظرية الألعاب، مع خصائص رياضية واضحة.
تعريف قيمة شابلي
$$\phi_j = \sum_{S \subseteq F \setminus \{j\}} \frac{|S|!\,(|F|-|S|-1)!}{|F|!}\Big[v(S \cup \{j\}) – v(S)\Big]$$
\(v(S)\) قيمة التحالف \(S\)، وفي SHAP هي التنبؤ المتوقع عند معرفة السمات في \(S\) فقط.
الخاصية المفتاحية
$$f(x) = \mathbb{E}[f(X)] + \sum_{j=1}^{M} \phi_j$$
مثال عملي
# pip install shap xgboost
import shap, xgboost
from sklearn.datasets import fetch_california_housing
X, y = fetch_california_housing(return_X_y=True, as_frame=True)
model = xgboost.XGBRegressor(n_estimators=300, max_depth=4).fit(X, y)
explainer = shap.Explainer(model, X.sample(200, random_state=0)) # بيانات الخلفية
sv = explainer(X.iloc[:500])
shap.plots.waterfall(sv[0]) # تفسير مثال واحد
shap.plots.beeswarm(sv) # صورة عامةأنواع المفسرات
| المفسر | لأي نماذج | ملاحظة |
|---|---|---|
| TreeSHAP | الأشجار والمعززات | دقيق وسريع |
| KernelSHAP | أي نموذج | تقريبي وبطيء مع سمات كثيرة |
| DeepSHAP / GradientSHAP | الشبكات العصبية | تقريبات معتمدة على التدرج |
| LinearSHAP | النماذج الخطية | صيغة مغلقة |
قراءة الرسوم
- Waterfall: من القيمة الأساسية إلى التنبؤ عبر إسهام كل سمة.
- Beeswarm: لكل سمة نقطة لكل مثال؛ اللون قيمة السمة والموضع قيمة SHAP.
- Dependence: قيمة SHAP مقابل قيمة السمة، ويكشف التفاعلات.
تحذيرات
- اختيار بيانات الخلفية وتعريف “التدخل” أو “الشرط” يغيران النتائج.
- السمات المترابطة تتقاسم الإسهام بطرق قد تكون غير بديهية.
- الأرقام الدقيقة لا تعني يقيناً؛ قارن بطرق أخرى قبل الاستنتاج.
مصطلحات الدرس
- بيانات الخلفية Background Data
- عينة مرجعية تُستخدم لتمثيل غياب السمة عند حساب قيم SHAP.
- خاصية الكفاءة Efficiency Property
- مجموع قيم SHAP لكل السمات يساوي الفرق بين تنبؤ المثال والقيمة المتوقعة للنموذج.
- قيمة شابلي Shapley Value
- متوسط الإسهام الحدي للاعب عبر كل الترتيبات الممكنة لانضمام اللاعبين إلى التحالف.
الملخص
قيم شابلي توزع "مكسب" التحالف على اللاعبين بحسب متوسط إسهامهم الحدي عبر كل ترتيبات الانضمام. في SHAP اللاعبون هم السمات، والمكسب هو الفرق بين تنبؤ المثال والتنبؤ المتوسط. تحقق خصائص الكفاءة والتماثل واللاعب الصفري. الحساب الدقيق أسي، فتُستخدم تقريبات مثل KernelSHAP، وطرق دقيقة وسريعة للأشجار مثل TreeSHAP. النتائج تعتمد على بيانات الخلفية وتعريف "غياب" السمة، وهي ليست تفسيرات سببية.
أسئلة مراجعة
-
ماذا تعني خاصية الكفاءة عملياً؟
أن قيم SHAP لمثال تجمع بالضبط الفرق بين تنبؤه ومتوسط التنبؤات على بيانات الخلفية.
-
لماذا قد تتغير قيم SHAP عند تغيير بيانات الخلفية؟
لأن "غياب" السمة يُمثَّل بقيمها في الخلفية، فتغيير المرجع يغير الإسهامات.
المصادر والمراجع
إكمال الدرس
أكملت كل دروس المسار! يمكنك الآن طلب شهادة إكمال المسار.
اطلب الشهادة