Logistic Regression
الانحدار اللوجستي
التعريف
نموذج تصنيف خطي يقدّر احتمال انتماء المثال إلى فئة باستخدام دالة سيجمويد على تركيب خطي من الخصائص.
رغم اسمه فهو نموذج تصنيف: يحسب مجموعاً موزوناً للخصائص ثم يمرره عبر دالة سيجمويد لينتج احتمالاً بين 0 و1، ويُحدَّد القرار بعتبة (غالباً 0.5).
يُدرَّب بتقليل الإنتروبيا التقاطعية. ويمتد إلى فئات متعددة بدالة Softmax.
Definition
Logistic regression is a linear classification model that estimates class probability by applying the sigmoid function to a linear combination of features, trained by maximum likelihood.
شرح مبسّط للمبتدئين
يحوّل مجموع درجاتك إلى احتمال النجاح: الدرجات العالية جداً تقترب من 100% والمنخفضة جداً من 0%.
شرح أكاديمي متخصص
ينمذج لوغاريتم نسبة الأرجحية خطياً: \(\log\frac{p}{1-p}=w^\top x+b\). والخسارة محدبة فلها حل أمثل عام.
أمثلة عملية
- توقع احتمال إصابة مريض بمرض من فحوصه.
التطبيقات والاستخدامات
- التشخيص.
- كشف الاحتيال.
- توقع نقر المستخدم على إعلان.
المزايا
- سهل التفسير.
- يعطي احتمالات.
- سريع التدريب.
القيود والعيوب
- حد قرار خطي فقط.
- يحتاج هندسة خصائص للعلاقات المعقدة.
المعادلات الرياضية
دالة سيجمويد
p(y=1\mid x)=\sigma(w^{\top}x+b)=\frac{1}{1+e^{-(w^{\top}x+b)}}تحوّل أي قيمة حقيقية إلى احتمال بين 0 و1.
| الرمز | المعنى |
|---|---|
| \(w\) | الأوزان |
| \(b\) | الحد الثابت |
| \(\sigma\) | دالة سيجمويد |
مثال تطبيقي
إذا كان \(w^\top x+b=0\) فالاحتمال \(0.5\).
