مختبر توازن البيانات
Data Balance Lab
البيانات المتوازنة وغير المتوازنة وROS وRUS وSMOTE ومقاييس الأداء المناسبة، والتسرب عند تطبيق SMOTE قبل التقسيم، والفرق بين توازن الفئات وعدالة المجموعات.
Englishتجارب الوحدة (5)
المفاهيم والمعادلات
معادلة مقاييس التصنيف (Classification metrics)
الدقة والدقة الإيجابية والاستدعاء وF1 والدقة المتوازنة.
\mathrm{Acc}=\frac{TP+TN}{n},\;\mathrm{P}=\frac{TP}{TP+FP},\;\mathrm{R}=\frac{TP}{TP+FN},\;F_1=\frac{2PR}{P+R},\;\mathrm{BA}=\frac{\mathrm{TPR}+\mathrm{TNR}}{2}معادلة توليد مثال SMOTE (SMOTE synthesis)
x_nn أحد أقرب k جيران x_i من الفئة نفسها.
x_{\text{new}}=x_i+\lambda\,(x_{nn}-x_i),\quad \lambda\sim U(0,1)عدم توازن الفئات (Class Imbalance)
حين تكون إحدى فئات الهدف نادرة (مثل الاحتيال أو مرض نادر)، قد يحقق النموذج دقة عالية بتصنيف كل شيء كفئة الأغلبية. لذلك تُستخدم مقاييس مثل الاستدعاء وF1 والدقة المتوازنة ومصفوفة الالتباس.
SMOTE (Synthetic Minority Over-sampling Technique)
يولد أمثلة اصطناعية للفئة النادرة بالاستيفاء الخطي بين مثال وأحد أقرب جيرانه k من الفئة نفسها (Chawla وآخرون 2002). يجب تطبيقه على بيانات التدريب فقط وبعد التقسيم، وداخل كل طية في التحقق المتقاطع؛ تطبيقه قبل التقسيم يسرب معلومات الاختبار ويضخم النتائج.
زيادة العينات وتقليلها عشوائياً (ROS / RUS)
ROS يكرر أمثلة الفئة النادرة عشوائياً، وRUS يحذف أمثلة من فئة الأغلبية عشوائياً. الأول قد يسبب الإفراط في التعلم، والثاني يفقد معلومات.
تسرب البيانات (Data Leakage)
استخدام معلومات من بيانات الاختبار أثناء التدريب أو المعالجة، فتبدو النتائج أفضل من حقيقتها. أمثلته: تطبيق SMOTE أو التطبيع أو اختيار الخصائص قبل التقسيم.
مصفوفة الالتباس ومقاييس التصنيف
جدول من أربع خانات: TP إيجابي صحيح، FP إيجابي كاذب، TN سلبي صحيح، FN سلبي كاذب. تُشتق منه الدقة (Accuracy)، والدقة الإيجابية (Precision)، والاستدعاء (Recall)، وF1، والنوعية (Specificity)، والدقة المتوازنة. حسابها لكل مجموعة أساس قياس العدالة.
أسئلة وأدلة
هل SMOTE يعالج التحيز ضد المجموعات؟
لا بالضرورة. SMOTE يعالج ندرة فئة الهدف (مثل الحالات الإيجابية)، أما التحيز بين المجموعات السكانية فمشكلة مختلفة تحتاج قياس معدلات الخطأ لكل مجموعة ومعالجة خاصة. وطبّق SMOTE على بيانات التدريب فقط بعد التقسيم.
مراجع الوحدة
- imbalanced-learn — SMOTEimbalanced-learn developers (2025) — أداة
- SMOTE: Synthetic Minority Over-sampling Technique (arXiv:1106.1813)N. V. Chawla, K. W. Bowyer, L. O. Hall, W. P. Kegelmeyer (2002) — ورقة علمية
- Data preprocessing techniques for classification without discrimination. Knowledge and Information Systems 33. DOI 10.1007/s10115-011-0463-8F. Kamiran, T. Calders (2012) — ورقة علمية — مرجع مطبوع؛ لا يوجد رابط مفتوح موثق
