مقارنة خوارزميات تعلم الآلة
وصف المشكلة
مقارنة منهجية لست خوارزميات تصنيف على بيانات Wine الحقيقية بنفس التقسيم والمقاييس، وفهم أثر التطبيع والإعدادات الافتراضية على النتيجة.
الأهداف
- تصميم مقارنة عادلة (نفس الطيات والمقاييس)
- قراءة الانحراف المعياري لا المتوسط فقط
- فهم أثر التطبيع
نوع المشكلة
تصنيف Classification
مجموعة البيانات
الأدوات المستخدمة
الخوارزميات
خطوات التنفيذ
- افتح algorithms-comparison.ows في Orange: ست خوارزميات متصلة بـ Test and Score واحد.
- في WEKA: Experimenter ← أضف wine.arff وست خوارزميات ← Run ← Analyse مع Paired T-Tester.
- استخدم مختبر مقارنة النماذج في الأكاديمية لتجربة سريعة في المتصفح.
مخطط سير العمل
قراءة البياناتمعالجة وتحويلنموذج / خوارزميةتنبؤتقييمعرض وتصوير
Orange
↔ اسحب المخطط أفقياً لرؤيته كاملاً.
الاتصالات نصاً (10)
- File → Data Table
- File → Test and Score
- Tree → Test and Score
- Random Forest → Test and Score
- kNN → Test and Score
- SVM → Test and Score
- Logistic Regression → Test and Score
- Naive Bayes → Test and Score
- Test and Score → Confusion Matrix
- File → Scatter Plot
KNIME
↔ اسحب المخطط أفقياً لرؤيته كاملاً.
الاتصالات نصاً (11)
- CSV Reader → Partitioning
- Partitioning → Decision Tree Learner
- Decision Tree Learner → Decision Tree Predictor
- Decision Tree Predictor → Scorer
- Partitioning → Decision Tree Predictor
- Partitioning → Random Forest Learner
- Random Forest Learner → Random Forest Predictor
- Random Forest Predictor → Scorer
- Partitioning → Random Forest Predictor
- Partitioning → K Nearest Neighbor
- K Nearest Neighbor → Scorer
ملفات المشروع
- مجموعة البيانات CSVCSV13.0 كيلوبايت
- ملف WEKA بصيغة ARFFWEKA ARFF13.8 كيلوبايت
- سير عمل Orange (.ows)Orange8.2 كيلوبايت
- البيانات بصيغة Orange (.tab) لسير العملOrange TAB13.2 كيلوبايت
- النتائج المرجعية المحسوبة (CSV)نتائج320.0 بايت
- دليل التنفيذ خطوة بخطوة (PDF)PDF353.3 كيلوبايت
- حزمة المشروع كاملة (ZIP)ZIP304.3 كيلوبايت
ملفات KNIME Workflow بصيغة KNWF غير مرفقة في هذا الإصدار لأننا لم نبنها ونختبرها داخل KNIME نفسها؛ مخطط عُقد KNIME مرسوم أعلاه لتبنيه بنفسك.
النتائج
نتائج فعلية محسوبة على الملفات المرفقة
• Decision Tree: Accuracy 90.0% (± 7.8%)، F1-macro 0.902
• Random Forest: Accuracy 98.9% (± 2.2%)، F1-macro 0.989
• kNN (k=5): Accuracy 97.2% (± 4.5%)، F1-macro 0.973
• SVM (RBF): Accuracy 97.8% (± 3.7%)، F1-macro 0.977
• Logistic Regression: Accuracy 98.3% (± 2.5%)، F1-macro 0.983
• Naive Bayes: Accuracy 97.8% (± 3.7%)، F1-macro 0.978
مرجع scikit-learn يطبّع الخصائص قبل kNN وSVM وLogistic Regression.
ونتائج مكتبة Orange 3.41.0 (10-fold، كإعدادات Test and Score الافتراضية):
• Tree: CA 91.0%، F1 0.910، AUC 0.931
• Random Forest: CA 97.2%، F1 0.972، AUC 0.997
• kNN: CA 67.4%، F1 0.667، AUC 0.865
• SVM: CA 98.3%، F1 0.983، AUC 0.987
• Logistic Regression: CA 94.4%، F1 0.944، AUC 0.992
• Naive Bayes: CA 97.2%، F1 0.972، AUC 0.997
مقاييس التقييم
- Accuracy مع الانحراف المعياري
- F1-macro
- ROC AUC
تفسير النتائج
أغلب الخوارزميات تتجاوز 97% في مرجع scikit-learn، والفروق بينها داخل الانحراف المعياري، فلا يصح إعلان «فائز» دون اختبار إحصائي. لاحظ هبوط kNN في Orange إلى 67.4% لأن المسافات تحسب هنا على خصائص غير مطبّعة (البرولين بالمئات يطغى على البقية)؛ أضف Preprocess ← Normalize قبل kNN وأعد التجربة؛ تحققنا بمكتبة Orange نفسها أن إضافة التطبيع ترفع kNN إلى 96.1% بالطيات ذاتها.
أسئلة للمناقشة
- لماذا لا نحكم بالفائز من فرق 0.5%؟
- ما أثر التطبيع على kNN وSVM وعلى الأشجار؟
- كيف تصمم مقارنة لا تتسرب فيها معلومات الاختبار إلى التطبيع؟
