كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجة

الذكاء الاصطناعي في البحث العلمي متوسط · Intermediate 14 دقيقة

تسرب البيانات: تصنيف شامل

Data Leakage: A Taxonomy

ثماني صور شائعة للتسرب في العلوم المعتمدة على تعلم الآلة، وكيف تكتشفها في أوراقك وأوراق غيرك.

تقدّمك في المسار0%

تصنيف كابور ونارايانان (مختصر)

الفئةالصورةمثال
غياب الفصلالمعالجة المسبقة على الكلالتطبيع أو الاستكمال قبل التقسيم
غياب الفصلاختيار السمات على الكلاختيار الجينات قبل التحقق المتقاطع
غياب الفصلالتكرارنفس العينة في التدريب والاختبار
سمات غير مشروعةمعلومة غير متاحة وقت التنبؤوقت الخروج من المستشفى للتنبؤ بطول الإقامة
توزيع الاختبارزمنيتدريب على 2023 واختبار على 2021
توزيع الاختباراعتماد بين الأمثلةصور المريض نفسه في التدريب والاختبار
توزيع الاختبارانحياز الاختياراختبار على حالات “واضحة” فقط

تجربة توضيحية: تسرب اختيار السمات

import numpy as np
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
rng = np.random.default_rng(0)
X, y = rng.normal(size=(100, 5000)), rng.integers(0, 2, 100)   # بيانات عشوائية تماماً
X_bad = SelectKBest(f_classif, k=20).fit_transform(X, y)        # خطأ: على كل البيانات
print("leaky:", cross_val_score(LogisticRegression(max_iter=1000), X_bad, y, cv=5).mean())
good = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=1000))
print("correct:", cross_val_score(good, X, y, cv=5).mean())    # قريب من 0.5

الدقة “المتسربة” تكون عادة أعلى بوضوح من 0.5 رغم أن البيانات عشوائية؛ شغّل الكود لترى القيم الفعلية.

قائمة فحص سريعة

  • هل كل معالجة تعتمد على البيانات داخل Pipeline؟
  • هل التقسيم على مستوى الوحدة المستقلة (مريض، مستخدم، موقع)؟
  • هل كل سمة متاحة فعلاً وقت التنبؤ؟
  • هل الاختبار بعد التدريب زمنياً عند الحاجة؟
  • هل استُخدم الاختبار مرة واحدة فقط؟

مصطلحات الدرس

التحقق المتقاطع المتداخل Nested Cross-Validation
حلقة خارجية لتقدير الأداء وحلقة داخلية لضبط المعاملات الفائقة، لتجنب التقدير المتفائل.
السمة غير المشروعة Illegitimate Feature
سمة تحمل معلومات عن الهدف لن تكون متاحة وقت استخدام النموذج فعلياً، أو تكون نتيجة للهدف لا سبباً له.

الملخص

وجد كابور ونارايانان أن التسرب أثر في مئات الأوراق عبر عشرات المجالات العلمية، واقترحا تصنيفاً: غياب فصل نظيف بين التدريب والاختبار (المعالجة المسبقة على كل البيانات، واختيار السمات على كل البيانات، والتكرار)، واستخدام سمات غير مشروعة لا تتاح وقت التنبؤ، وعدم تمثيل بيانات الاختبار لتوزيع الاستخدام (التسرب الزمني، والاعتماد بين الأمثلة مثل صور المريض نفسه، وانحياز الاختيار). واقترحا "بطاقات معلومات النموذج" لتوثيق الحجة على غياب التسرب.

أسئلة مراجعة

  1. أعط مثالاً على سمة غير مشروعة.

    استخدام "رمز دواء علاج المرض" للتنبؤ بتشخيص المرض نفسه.

  2. لماذا يعد اختيار السمات على كل البيانات قبل التحقق المتقاطع تسرباً؟

    لأن معلومات من طيات الاختبار تؤثر في اختيار السمات، فيصبح التقدير متفائلاً.

المصادر والمراجع

  1. Kapoor & Narayanan (2023) — Leakage and the Reproducibility Crisis in ML-based Science (Patterns)
  2. scikit-learn — Common pitfalls and recommended practices
  3. Varoquaux & Cheplygina (2022) — Machine learning for medical imaging: methodological failures and recommendations

إكمال الدرس