الانحدار اللوجستي
Logistic Regression
التعريف
نموذج تصنيف يحسب احتمال انتماء المثال إلى فئة عبر تمرير مجموع موزون للخصائص في دالة سينية Sigmoid.
الفكرة الأساسية
رغم اسمه فهو للتصنيف: يحوّل الناتج الخطي إلى احتمال بين 0 و1، ثم نقرر الفئة بعتبة (عادة 0.5).
آلية العمل
- نحسب z = w₀ + Σ wᵢxᵢ
- نحوّله إلى احتمال p = 1/(1+e^(−z))
- نتعلم الأوزان بتعظيم الأرجحية (تقليل Log Loss)
- للفئات المتعددة نستخدم Softmax أو واحد-ضد-الباقي
نوع البيانات ونوع المشكلة
| نوع البيانات | جدولية رقمية ويُفضّل التطبيع |
|---|---|
| نوع المشكلة | تصنيف ثنائي ومتعدد الفئات |
المزايا
- يعطي احتمالات مفيدة لاتخاذ القرار
- سريع وقابل للتفسير عبر الأوزان
- مرجع قوي في التصنيف الثنائي
القيود
- حدود قرار خطية فقط
- يحتاج تطبيعاً وترميزاً جيدين
- يتأثر بعدم توازن الفئات
المعاملات المهمة
- قوة التنظيم C
- نوع التنظيم L1/L2
- عتبة القرار
مقاييس التقييم
- Accuracy الدقة
- Precision وRecall
- F1-score
- Confusion Matrix مصفوفة الالتباس
- ROC AUC للتصنيف الثنائي
الأدوات التي تدعمها
| Orange | Logistic Regression |
|---|---|
| KNIME | Logistic Regression Learner + Logistic Regression Predictor |
| WEKA | functions.Logistic |
أمثلة تطبيقية
- التنبؤ بمغادرة العميل
- تصنيف ورم حميد أو خبيث (تعليمياً)
- تصنيف رسالة مزعجة أو سليمة
