تسرب البيانات: تصنيف شامل
Data Leakage: A Taxonomy
ثماني صور شائعة للتسرب في العلوم المعتمدة على تعلم الآلة، وكيف تكتشفها في أوراقك وأوراق غيرك.
تصنيف كابور ونارايانان (مختصر)
| الفئة | الصورة | مثال |
|---|---|---|
| غياب الفصل | المعالجة المسبقة على الكل | التطبيع أو الاستكمال قبل التقسيم |
| غياب الفصل | اختيار السمات على الكل | اختيار الجينات قبل التحقق المتقاطع |
| غياب الفصل | التكرار | نفس العينة في التدريب والاختبار |
| سمات غير مشروعة | معلومة غير متاحة وقت التنبؤ | وقت الخروج من المستشفى للتنبؤ بطول الإقامة |
| توزيع الاختبار | زمني | تدريب على 2023 واختبار على 2021 |
| توزيع الاختبار | اعتماد بين الأمثلة | صور المريض نفسه في التدريب والاختبار |
| توزيع الاختبار | انحياز الاختيار | اختبار على حالات “واضحة” فقط |
تجربة توضيحية: تسرب اختيار السمات
import numpy as np
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
rng = np.random.default_rng(0)
X, y = rng.normal(size=(100, 5000)), rng.integers(0, 2, 100) # بيانات عشوائية تماماً
X_bad = SelectKBest(f_classif, k=20).fit_transform(X, y) # خطأ: على كل البيانات
print("leaky:", cross_val_score(LogisticRegression(max_iter=1000), X_bad, y, cv=5).mean())
good = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=1000))
print("correct:", cross_val_score(good, X, y, cv=5).mean()) # قريب من 0.5الدقة “المتسربة” تكون عادة أعلى بوضوح من 0.5 رغم أن البيانات عشوائية؛ شغّل الكود لترى القيم الفعلية.
قائمة فحص سريعة
- هل كل معالجة تعتمد على البيانات داخل Pipeline؟
- هل التقسيم على مستوى الوحدة المستقلة (مريض، مستخدم، موقع)؟
- هل كل سمة متاحة فعلاً وقت التنبؤ؟
- هل الاختبار بعد التدريب زمنياً عند الحاجة؟
- هل استُخدم الاختبار مرة واحدة فقط؟
مصطلحات الدرس
- التحقق المتقاطع المتداخل Nested Cross-Validation
- حلقة خارجية لتقدير الأداء وحلقة داخلية لضبط المعاملات الفائقة، لتجنب التقدير المتفائل.
- السمة غير المشروعة Illegitimate Feature
- سمة تحمل معلومات عن الهدف لن تكون متاحة وقت استخدام النموذج فعلياً، أو تكون نتيجة للهدف لا سبباً له.
الملخص
وجد كابور ونارايانان أن التسرب أثر في مئات الأوراق عبر عشرات المجالات العلمية، واقترحا تصنيفاً: غياب فصل نظيف بين التدريب والاختبار (المعالجة المسبقة على كل البيانات، واختيار السمات على كل البيانات، والتكرار)، واستخدام سمات غير مشروعة لا تتاح وقت التنبؤ، وعدم تمثيل بيانات الاختبار لتوزيع الاستخدام (التسرب الزمني، والاعتماد بين الأمثلة مثل صور المريض نفسه، وانحياز الاختيار). واقترحا "بطاقات معلومات النموذج" لتوثيق الحجة على غياب التسرب.
أسئلة مراجعة
-
أعط مثالاً على سمة غير مشروعة.
استخدام "رمز دواء علاج المرض" للتنبؤ بتشخيص المرض نفسه.
-
لماذا يعد اختيار السمات على كل البيانات قبل التحقق المتقاطع تسرباً؟
لأن معلومات من طيات الاختبار تؤثر في اختيار السمات، فيصبح التقدير متفائلاً.
المصادر والمراجع
إكمال الدرس
أكملت كل دروس المسار! يمكنك الآن طلب شهادة إكمال المسار.
اطلب الشهادة