أهداف الدرس
- اختيار طريقة معالجة القيم المفقودة
- كشف القيم الشاذة بثلاث طرق
- جعل السلسلة منتظمة زمنياً
القيم المفقودة
الحذف يكسر انتظام الزمن، لذلك نفضل الاستيفاء الخطي حسب الزمن، أو الملء الأمامي للقيم التي تبقى ثابتة حتى تتغير، أو المتوسط/الوسيط في حالات محدودة. المختبر يعرض عدد القيم المعدّلة قبل التطبيق ويمكنك التراجع.
القيم الشاذة
IQR يعدّ شاذاً ما خرج عن [Q1−1.5·IQR، Q3+1.5·IQR]، وZ-score ما زاد عن 3 انحرافات معيارية، وHampel يقارن كل قيمة بالوسيط المتحرك وMAD فيصلح للسلاسل ذات الاتجاه. لا تحذف القيمة الشاذة قبل أن تفهم سببها: قد تكون حدثاً حقيقياً مثل عطلة.
التواريخ المكررة وغير المرتبة
يرتب المختبر السلسلة زمنياً تلقائياً ويبلغك بذلك، ويطلب منك اختيار طريقة دمج التواريخ المكررة (متوسط، مجموع، أول، آخر).
الانتظام الزمني
كثير من النماذج تفترض فواصل ثابتة. خيار «جعل السلسلة منتظمة» يضيف الأوقات الناقصة كقيم مفقودة لتعالجها بعد ذلك بالاستيفاء. وإعادة التجميع (Resampling) تغير التردد، مثل تحويل الساعي إلى يومي.
تسرب البيانات في المعالجة
التطبيع بمتوسط السلسلة كلها يسرّب معلومات من فترة الاختبار. لهذا تحسب نماذج التعلم الآلي في المختبر معاملات التطبيع من بيانات التدريب فقط.
الخلاصة
- استوفِ بدل أن تحذف
- افهم القيمة الشاذة قبل إزالتها
- احسب معاملات التطبيع من التدريب فقط
طبّق الدرس في المعالجة المسبقة
