الذكاء الاصطناعي القابل للتفسير
التحيز والعدالة والشفافية
Bias, Fairness and Transparency
مصادر التحيز في البيانات والنماذج، ومقاييس العدالة الجماعية (تكافؤ النتائج، تكافؤ الفرص، التأثير المتباين)، والتعارض بينها، وتوثيق النماذج بشفافية.
ستتعلم في هذا الدرس
- تحديد مصادر التحيز في دورة حياة النموذج
- حساب مقاييس العدالة لمجموعتين
- فهم أن مقاييس العدالة قد تتعارض
- كتابة بطاقة نموذج (Model card) شفافة
مقاييس العدالة
group = [1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2]; % مجموعتان
ytrue = [1 1 1 1 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0];
ypred = [1 1 1 0 1 0 0 0 0 0 1 1 1 1 1 0 1 0 0 0];
for g = 1:2
m = group == g;
sel = mean(ypred(m));
tpr = sum(ypred(m) & ytrue(m)) / sum(ytrue(m));
fpr = sum(ypred(m) & ~ytrue(m)) / sum(~ytrue(m));
acc = mean(ypred(m) == ytrue(m));
fprintf('group %d: selection %.2f, TPR %.3f, FPR %.3f, accuracy %.2f, base rate %.2f\n', g, sel, tpr, fpr, acc, mean(ytrue(m)));
S(g) = sel; T(g) = tpr; F(g) = fpr;
end
fprintf('statistical parity difference = %.2f\n', S(1) - S(2));
fprintf('disparate impact ratio = %.3f\n', S(1) / S(2));
fprintf('equal opportunity difference (TPR) = %.3f\n', T(1) - T(2));
fprintf('FPR difference = %.3f\n', F(1) - F(2));group 1: selection 0.40, TPR 0.750, FPR 0.167, accuracy 0.80, base rate 0.40 group 2: selection 0.60, TPR 0.833, FPR 0.250, accuracy 0.80, base rate 0.60 statistical parity difference = -0.20 disparate impact ratio = 0.667 equal opportunity difference (TPR) = -0.083 FPR difference = -0.083
معدل الأساس (نسبة الموجب الحقيقي) مختلف بين المجموعتين (0.4 مقابل 0.6)، لذلك حتى المصنف المثالي سيظهر فرقاً في نسبة القبول. اختيار المقياس قرار قيمي يعتمد على السياق لا قرار تقني فقط.
في MATLAB
load census1994 % بيانات مرفقة: adultdata
mdl = fitctree(adultdata, 'salary', 'PredictorNames', {'age','education_num','hours_per_week'});
pred = predict(mdl, adulttest);
evaluator = fairnessMetrics(adulttest, 'salary', 'SensitiveAttributeNames', 'sex', ...
'Predictions', pred); % R2022b+
report(evaluator, 'BiasMetrics', ["StatisticalParityDifference" "DisparateImpact" "EqualOpportunityDifference"])
w = fairnessWeights(adultdata, 'sex', 'salary'); % أوزان لإعادة التوازن قبل التدريبيتطلب هذا الكود: Statistics and Machine Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
تحقق من أسماء المقاييس في توثيق fairnessMetrics لإصدارك.
الشفافية والتوثيق
بطاقة النموذج وثيقة قصيرة ترافق كل نموذج منشور. اقتراح لعناصرها:
- الغرض والاستخدامات المقصودة وغير المقصودة.
- بيانات التدريب: المصدر والفترة والتوزيع والمجموعات الممثلة تمثيلاً ناقصاً.
- المقاييس الكلية ولكل مجموعة، مع فترات الثقة.
- طرق التفسير المستخدمة ونتائجها الرئيسية.
- القيود والمخاطر المعروفة وخطة المراقبة بعد النشر.
حذف السمة الحساسة (مثل الجنس) من المدخلات لا يضمن العدالة؛ قد يتعلمها النموذج من سمات بديلة مثل الاسم أو الرمز البريدي.
خلاصة الدرس
- التحيز قد يأتي من البيانات (تمثيل ناقص، تسميات منحازة) أو من الهدف أو من الاستخدام.
- Statistical parity: نسبة التنبؤات الموجبة متساوية بين المجموعات.
- Equal opportunity: معدل الإيجابيات الصحيحة (TPR) متساوٍ.
- Disparate impact: نسبة معدلي القبول؛ قاعدة الأربعة أخماس تعتبر أقل من 0.8 علامة تحذير.
- لا يمكن عادة تحقيق كل مقاييس العدالة معاً عندما تختلف معدلات الأساس بين المجموعات.
- fairnessMetrics وfairnessWeights في Statistics Toolbox (R2022b+).
شُغّل fairness_metrics.m في GNU Octave 8.4. مثال fairnessMetrics يحتاج Statistics Toolbox ولم يُشغّل.
المتطلبات البرمجية
- MATLAB
- Statistics and Machine Learning Toolbox
بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.
