نقص التمثيل وأثره على الخطأ
Under-representation and error
قياس كيف يرتفع خطأ النموذج على المجموعة الأقل تمثيلاً كلما قلّ حجمها، مع تكرار التجربة ببذور متعددة.
Englishالفكرة
يجري المسح على نسب تمثيل متعددة، ويعرض متوسط الخطأ والانحراف المعياري لكل مجموعة.
وصف البيانات
بيانات اصطناعية تولّد في متصفحك من توزيعات معلنة؛ لا تحتوي أي بيانات شخصية حقيقية. علاقة الميزات بالنتيجة تختلف جزئياً بين المجموعتين بقدر «عدم التجانس» الذي تختاره.
التجربة التالية المقترحة
مفاهيم هذه التجربة
تحيز التمثيل ونقص التمثيل (Representation Bias)
يحدث حين تكون بعض المجموعات ممثلة في بيانات التدريب بنسبة أقل من حجمها في الواقع، فيتعلم النموذج نمط الأغلبية ويرتفع خطؤه على الأقلية. أظهرت دراسة Gender Shades أن أنظمة تجارية أخطأت أكثر بكثير مع النساء ذوات البشرة الداكنة.
المراجع العلمية للتجربة
- Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (PMLR 81:77–91)J. Buolamwini, T. Gebru (2018) — ورقة علمية
- A Framework for Understanding Sources of Harm throughout the ML Life Cycle (arXiv:1901.10002)H. Suresh, J. Guttag (2019) — ورقة علمية
