التعلم العميق · Deep Learning
Softmax والخسارة التقاطعية
Softmax and Cross-Entropy
تحويل الدرجات إلى احتمالات بثبات عددي وحساب الخسارة لدفعة.
logits = [2.0 1.0 0.1; 0.5 2.5 0.3; 1.2 0.2 3.1];
labels = [1 2 3];
Z = logits - max(logits, [], 2);
P = exp(Z) ./ sum(exp(Z), 2);
fprintf('probabilities:\n'); fprintf(' %.4f %.4f %.4f\n', P');
idx = sub2ind(size(P), 1:3, labels);
loss = -mean(log(P(idx)));
[~, pred] = max(P, [], 2);
fprintf('cross-entropy = %.4f\n', loss);
fprintf('predictions = %s, accuracy = %.2f\n', mat2str(pred'), mean(pred' == labels));شرح الخطوات
- طرح أكبر قيمة في كل صف يمنع فيضان exp.
- sub2ind يلتقط احتمال الفئة الصحيحة لكل مثال.
- الخسارة متوسط سالب لوغاريتم تلك الاحتمالات.
المخرجات المتوقعة
probabilities: 0.6590 0.2424 0.0986 0.1086 0.8025 0.0889 0.1242 0.0457 0.8302 cross-entropy = 0.2744 predictions = [1 2 3], accuracy = 1.00
شُغّل هذا الكود في GNU Octave 8.4 أثناء إعداد المكتبة والمخرجات المعروضة ناتجه الفعلي. لم يُختبر في MATLAB نفسه، لكنه يستخدم دوال MATLAB الأساسية فقط والطباعة بـ fprintf/disp.
