Benchmark
معيار الأداء
التعريف
مجموعة بيانات ومقاييس موحدة لمقارنة أداء النماذج على مهام محددة.
من أمثلتها ImageNet وGLUE وMMLU. توفر مقارنة عادلة لكنها قد تتشبع أو تتسرب إلى بيانات التدريب فتضلل. يُنصح بتقييم متعدد وبشري.
Definition
A benchmark is a standardised dataset and metric set used to compare models on specific tasks, subject to saturation and contamination risks.
شرح مبسّط للمبتدئين
كاختبار موحد يخضع له كل الطلاب لمقارنة مستوياتهم.
شرح أكاديمي متخصص
ظاهرة قانون غودهارت: عندما يصبح المقياس هدفاً يفقد قيمته كمقياس.
أمثلة عملية
- MMLU لقياس المعرفة العامة.
التطبيقات والاستخدامات
- البحث والمقارنة.
المزايا
- مقارنة موحدة.
القيود والعيوب
- قد لا تعكس الأداء الواقعي.
