Regression
الانحدار
التعريف
مهمة تعلم موجّه يتنبأ فيها النموذج بقيمة عددية مستمرة، مثل السعر أو درجة الحرارة.
في الانحدار تكون المخرجات أعداداً حقيقية. أبسط نماذجه الانحدار الخطي الذي يفترض علاقة خطية بين الخصائص والهدف ويقدّر المعاملات بطريقة المربعات الصغرى. وهناك الانحدار متعدد الحدود، وRidge وLasso، وأشجار الانحدار، والشبكات العصبية.
يُقيَّم بمقاييس مثل متوسط مربع الخطأ (MSE) وجذره (RMSE) ومتوسط الخطأ المطلق (MAE) ومعامل التحديد \(R^2\). وتنبيه: «الانحدار اللوجستي» رغم اسمه نموذج تصنيف.
Definition
Regression is a supervised learning task in which a model predicts a continuous numerical output from input features.
شرح مبسّط للمبتدئين
توقع سعر شقة من مساحتها: كلما زادت المساحة زاد السعر تقريباً، فنرسم خطاً يمثل هذه العلاقة ونستعمله للتوقع.
شرح أكاديمي متخصص
بافتراض ضوضاء غاوسية مستقلة يكافئ تقليل مجموع مربعات الأخطاء تقدير الإمكان الأعظم (MLE)، وللانحدار الخطي حل مغلق بالمعادلات الطبيعية \(\hat{\boldsymbol\beta}=(X^\top X)^{-1}X^\top y\) حين تكون المصفوفة قابلة للعكس.
أمثلة عملية
- توقع أسعار العقارات.
- تقدير الطلب على الكهرباء.
- توقع درجة الطالب من ساعات الدراسة.
import numpy as np
from sklearn.linear_model import LinearRegression
X = np.array([[1], [2], [3], [4]])
y = np.array([3, 5, 7, 9]) # y = 2x + 1
m = LinearRegression().fit(X, y)
print(round(m.coef_[0], 2), round(m.intercept_, 2), m.predict([[5]]).round(2))شرح الكود
يستعيد النموذج الميل 2 والتقاطع 1 ويتنبأ بالقيمة 11 عند x=5.
النتيجة المتوقعة
2.0 1.0 [11.]
التطبيقات والاستخدامات
- الاقتصاد والتمويل والتنبؤ بالمبيعات.
- العلوم والهندسة (معايرة الأجهزة).
المزايا
- الانحدار الخطي سريع وسهل التفسير.
القيود والعيوب
- الانحدار الخطي لا يلتقط العلاقات غير الخطية دون تحويل الخصائص.
- حساس للقيم المتطرفة.
المعادلات الرياضية
الانحدار الخطي ومتوسط مربع الخطأ
\hat y = \beta_0 + \sum_{j=1}^{p} \beta_j x_j, \qquad \mathrm{MSE} = \frac{1}{n}\sum_{i=1}^{n} (y_i - \hat y_i)^2التنبؤ تركيب خطي من الخصائص، وتُختار المعاملات بحيث يكون متوسط مربع الخطأ أصغر ما يمكن.
| الرمز | المعنى |
|---|---|
| \(\beta_0\) | الحد الثابت (التقاطع) |
| \(\beta_j\) | معامل الخاصية j |
| \(x_j\) | قيمة الخاصية j |
| \(n\) | عدد الأمثلة |
مثال تطبيقي
للنقاط (1,2) و(2,4) و(3,6) يكون أفضل خط \(\hat y = 2x\) و\(\mathrm{MSE}=0\).
المصادر العلمية
مراجع ومصادر علمية
-
كتابThe Elements of Statistical Learning (2nd ed.) مرجع إحصائي في التعلم الآلي، متاح مجاناً من موقع المؤلفين.
-
كتابPattern Recognition and Machine Learning مرجع كلاسيكي في تعلم الآلة الاحتمالي.
