أقرب الجيران
k-Nearest Neighbors (KNN)
التعريف
يصنّف المثال الجديد حسب فئات أقرب k أمثلة إليه في بيانات التدريب.
الفكرة الأساسية
لا يبني نموذجاً بالمعنى المعتاد (Lazy Learning)؛ يحفظ البيانات ويقيس المسافة عند التنبؤ. الأمثلة المتشابهة تقع قريباً من بعضها.
آلية العمل
- نطبّع الخصائص لأن المسافة تتأثر بالمقياس
- نحسب المسافة (إقليدية عادة) من المثال الجديد إلى كل مثال تدريب
- نأخذ أقرب k
- نصوّت على الفئة أو نأخذ متوسط القيم
نوع البيانات ونوع المشكلة
| نوع البيانات | جدولية رقمية مطبّعة |
|---|---|
| نوع المشكلة | تصنيف وانحدار |
المزايا
- بسيط جداً وبديهي
- لا تدريب تقريباً
- يلتقط حدوداً غير خطية
القيود
- بطيء في التنبؤ مع البيانات الكبيرة
- حساس للتطبيع والخصائص غير المفيدة
- يضعف مع الأبعاد الكثيرة
المعاملات المهمة
- عدد الجيران k
- مقياس المسافة
- الترجيح بالمسافة
مقاييس التقييم
- Accuracy الدقة
- Precision وRecall
- F1-score
- Confusion Matrix مصفوفة الالتباس
- ROC AUC للتصنيف الثنائي
الأدوات التي تدعمها
| Orange | kNN |
|---|---|
| KNIME | K Nearest Neighbor |
| WEKA | lazy.IBk |
أمثلة تطبيقية
- تصنيف الأرقام المكتوبة يدوياً 8×8
- التوصية بمنتجات مشابهة
- تصنيف أزهار Iris
