لماذا لا تتحقق كل مقاييس العدالة معاً؟
Why fairness metrics cannot all hold at once
فرض مقياس واحد (تكافؤ ديموغرافي أو تكافؤ فرص أو احتمالات متكافئة أو تكافؤ تنبؤي) وقياس ما يحدث للبقية.
Englishالفكرة
يبحث المختبر عن عتبة المجموعة ب التي تحقق المقياس المختار مع تثبيت عتبة أ، ثم يعرض بقية المقاييس.
وصف البيانات
بيانات اصطناعية تولّد في متصفحك من توزيعات معلنة؛ لا تحتوي أي بيانات شخصية حقيقية.
التجربة التالية المقترحة
مفاهيم هذه التجربة
هل يكفي مقياس عدالة واحد للحكم على النظام؟
لا. كل مقياس يجيب عن سؤال مختلف، وبعضها يتعارض رياضياً عند اختلاف المعدلات الأساسية. احسب عدة مقاييس، واختر الأنسب للسياق مع تبرير، وأضف تحليلاً نوعياً لمن يتضرر من كل خطأ.
نتائج الاستحالة في العدالة (Impossibility Results)
أثبت Kleinberg وMullainathan وRaghavan (2016) وChouldechova (2017) أنه عند اختلاف المعدلات الأساسية بين المجموعات لا يمكن الجمع بين المعايرة (أو التكافؤ التنبؤي) وتساوي معدلات الخطأ إلا في حالات خاصة (نموذج مثالي أو معدلات أساسية متساوية). لذلك يجب اختيار المعيار وتبريره.
ما قصة COMPAS ولماذا تُذكر في العدالة الخوارزمية؟
COMPAS أداة تجارية لتقدير خطر العودة للجريمة. وجد تحليل ProPublica (2016) أن المتهمين السود الذين لم يعودوا صُنفوا عالي الخطر بمعدل أعلى (فرق FPR)، بينما ردت الشركة بأن الأداة معايرة بين المجموعات. أظهرت أبحاث Kleinberg وChouldechova أن الادعاءين قد يصحان معاً لأن المقياسين لا يجتمعان عند اختلاف المعدلات الأساسية.
المراجع العلمية للتجربة
- Inherent Trade-Offs in the Fair Determination of Risk Scores (arXiv:1609.05807)J. Kleinberg, S. Mullainathan, M. Raghavan (2016) — ورقة علمية
- Fair prediction with disparate impact (arXiv:1610.07524)A. Chouldechova (2017) — ورقة علمية
- Machine BiasJ. Angwin, J. Larson, S. Mattu, L. Kirchner (ProPublica) (2016) — حالة موثقة
