معالجة القيم المفقودة
متى نحذف ومتى نعوّض، ولماذا نحسب التعويض من التدريب فقط.
ماذا ستتعلم
- اختيار طريقة معالجة المفقود المناسبة
- تجنب تسرب البيانات أثناء التعويض
أسباب الفقد: خطأ إدخال، سؤال لم يُجب، جهاز تعطل. الخيارات: حذف الصفوف (إذا كان الفقد قليلاً وعشوائياً)، حذف العمود (إذا كان معظمه مفقوداً)، أو التعويض Imputation بالمتوسط أو الوسيط (للأرقام) أو القيمة الأكثر تكراراً (للفئات).
الوسيط أفضل من المتوسط عند وجود قيم شاذة. والتعويض بنموذج أدق لكنه أعقد.
قاعدة مهمة: احسب قيمة التعويض من بيانات التدريب فقط ثم طبقها على الاختبار، وإلا تسربت معلومات الاختبار إلى التدريب.
خطوات التطبيق بالأداة
- Orange: Impute (لكل عمود طريقته).
- KNIME: Missing Value.
- WEKA: مرشح ReplaceMissingValues.
- مختبر معالجة البيانات: قارن الجدول قبل وبعد.
سؤال مراجعة سريع
عمود الدخل فيه قيم شاذة كبيرة و5% مفقود. بماذا تعوّض؟
