مقاييس التقييم المناسبة
Choosing the Right Evaluation Metrics
AUROC والحساسية والنوعية، وDice ومسافة هاوسدورف، والمعايرة، وإرشادات Metrics Reloaded.
التصنيف
| المقياس | يجيب عن | تحذير |
|---|---|---|
| AUROC | جودة الترتيب عبر كل العتبات | لا يحدد نقطة التشغيل |
| الحساسية والنوعية | الأداء عند عتبة | تعتمد على اختيار العتبة |
| القيم التنبؤية | معنى النتيجة للمريض | تعتمد على معدل الانتشار |
| AUPRC | الأداء مع الندرة | قيمتها الأساسية تساوي معدل الانتشار |
| المعايرة | صدق الاحتمالات | تحتاج إلى عينة كافية |
التقطيع
$$\mathrm{Dice} = \frac{2\lvert P \cap G \rvert}{\lvert P \rvert + \lvert G \rvert}$$
| المقياس | يقيس | ملاحظة |
|---|---|---|
| Dice / IoU | التداخل | قاسٍ مع البنى الصغيرة |
| HD95 | أسوأ انحراف للحدود | يحتاج إلى spacing فيزيائي |
| Dice السطحي (NSD) | تطابق السطح ضمن تسامح | التسامح يحدده الخبراء |
| خطأ الحجم | الفرق الحجمي | مهم في المتابعة |
import torch
from monai.metrics import DiceMetric, HausdorffDistanceMetric
dice = DiceMetric(include_background=False, reduction="mean")
hd95 = HausdorffDistanceMetric(include_background=False, percentile=95)
# pred و gt بصيغة one-hot بأبعاد (B, C, H, W, D)
# dice(pred, gt); hd95(pred, gt, spacing=(1.0, 1.0, 2.5))فترات الثقة
احسب فترات الثقة بالبوتستراب على مستوى المريض، لأن صور المريض الواحد غير مستقلة.
إطار Metrics Reloaded
يقترح اختيار المقاييس بحسب خصائص المسألة، مثل حجم البنية، ووجود حالات بلا آفة، وأهمية الحدود، وطريقة التجميع، بدلاً من الاعتماد على Dice بشكل تلقائي.
أبلغ عن المقاييس لكل مجموعة فرعية مهمة (المركز، الجهاز، الجنس، العمر، شدة المرض)، لا عن المتوسط فقط.
مصطلحات الدرس
- المعايرة Calibration
- مدى تطابق الاحتمالات المتنبأ بها مع التكرارات الفعلية، فمن بين الحالات ذات احتمال 0.8 يجب أن يكون نحو 80% إيجابياً.
- مسافة هاوسدورف Hausdorff Distance
- أكبر مسافة من نقطة على أحد السطحين إلى أقرب نقطة على الآخر، وتُستخدم نسختها المئوية 95 لتقليل أثر القيم الشاذة.
- نقطة التشغيل Operating Point
- العتبة المختارة لتحويل الاحتمال إلى قرار، وتحدد التوازن بين الحساسية والنوعية.
الملخص
المقياس يجب أن يعكس السؤال السريري. في التصنيف: AUROC يلخص الأداء عبر العتبات، لكن القرار يتطلب عتبة، فنبلغ عن الحساسية والنوعية والقيم التنبؤية عند نقطة التشغيل، مع AUPRC للفئات النادرة. في التقطيع: Dice يقيس التداخل لكنه يعاقب الأخطاء في البنى الصغيرة بشدة ولا يقيس دقة الحدود، فيكمَّل بمسافة هاوسدورف المئوية 95 أو Dice السطحي. المعايرة مهمة عندما تُستخدم الاحتمالات. Metrics Reloaded إطار لاختيار المقاييس بحسب خصائص المسألة.
أسئلة مراجعة
-
لماذا قد يكون Dice منخفضاً لآفة صغيرة رغم أن الكشف صحيح سريرياً؟
لأن خطأ بضع بكسلات على الحدود يمثل نسبة كبيرة من حجم الآفة الصغيرة.
-
متى يكون AUPRC أكثر إفادة من AUROC؟
عند الندرة الشديدة للفئة الإيجابية، لأنه يتأثر مباشرة بالإيجابيات الكاذبة نسبة إلى الإيجابيات الحقيقية.
المصادر والمراجع
إكمال الدرس
أكملت كل دروس المسار! يمكنك الآن طلب شهادة إكمال المسار.
اطلب الشهادة