كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعي

تنظيف البيانات: القيم المفقودة والشاذة والانتظام الزمني

Missing Values, Outliers and Regularity

مبتدئ14 دقيقة

أهداف الدرس

  • اختيار طريقة معالجة القيم المفقودة
  • كشف القيم الشاذة بثلاث طرق
  • جعل السلسلة منتظمة زمنياً

القيم المفقودة

الحذف يكسر انتظام الزمن، لذلك نفضل الاستيفاء الخطي حسب الزمن، أو الملء الأمامي للقيم التي تبقى ثابتة حتى تتغير، أو المتوسط/الوسيط في حالات محدودة. المختبر يعرض عدد القيم المعدّلة قبل التطبيق ويمكنك التراجع.

القيم الشاذة

IQR يعدّ شاذاً ما خرج عن [Q1−1.5·IQR، Q3+1.5·IQR]، وZ-score ما زاد عن 3 انحرافات معيارية، وHampel يقارن كل قيمة بالوسيط المتحرك وMAD فيصلح للسلاسل ذات الاتجاه. لا تحذف القيمة الشاذة قبل أن تفهم سببها: قد تكون حدثاً حقيقياً مثل عطلة.

|y_t-\operatorname{med}_w| > 3 \times 1.4826\,\operatorname{MAD}_w

التواريخ المكررة وغير المرتبة

يرتب المختبر السلسلة زمنياً تلقائياً ويبلغك بذلك، ويطلب منك اختيار طريقة دمج التواريخ المكررة (متوسط، مجموع، أول، آخر).

الانتظام الزمني

كثير من النماذج تفترض فواصل ثابتة. خيار «جعل السلسلة منتظمة» يضيف الأوقات الناقصة كقيم مفقودة لتعالجها بعد ذلك بالاستيفاء. وإعادة التجميع (Resampling) تغير التردد، مثل تحويل الساعي إلى يومي.

تسرب البيانات في المعالجة

التطبيع بمتوسط السلسلة كلها يسرّب معلومات من فترة الاختبار. لهذا تحسب نماذج التعلم الآلي في المختبر معاملات التطبيع من بيانات التدريب فقط.

الخلاصة

  • استوفِ بدل أن تحذف
  • افهم القيمة الشاذة قبل إزالتها
  • احسب معاملات التطبيع من التدريب فقط

طبّق الدرس في المعالجة المسبقة

للاستزادة

  1. FPP3 §3.1 Transformations and adjustments