تعلم الآلة · Machine Learning
الانحدار اللوجستي بالانحدار التدرجي
Logistic Regression with Gradient Descent
تدريب مصنف ثنائي بتقليل Cross-Entropy وحساب الدقة.
X = [0.5 1; 1 1.5; 1.5 0.5; 3 3.5; 3.5 2.5; 4 4];
y = [0 0 0 1 1 1]';
Xb = [ones(6,1) X];
w = zeros(3,1);
sig = @(z) 1 ./ (1 + exp(-z));
for it = 1:3000
p = sig(Xb * w);
w = w - 0.1 * Xb' * (p - y) / 6;
end
p = sig(Xb * w);
fprintf('weights = %s\n', mat2str(w', 4));
fprintf('loss = %.4f, accuracy = %.2f\n', -mean(y.*log(p) + (1-y).*log(1-p)), mean((p > 0.5) == y));
fprintf('P(class 1 | [2 2]) = %.4f\n', sig([1 2 2] * w));شرح الخطوات
- sigmoid تحول الدرجة إلى احتمال.
- تدرج Cross-Entropy هو Xᵀ(p − y)/n.
- مع بيانات قابلة للفصل تكبر الأوزان باستمرار؛ التنظيم (L2) يحد من ذلك.
المخرجات المتوقعة
weights = [-7.854 2.334 1.518] loss = 0.0166, accuracy = 1.00 P(class 1 | [2 2]) = 0.4625
شُغّل هذا الكود في GNU Octave 8.4 أثناء إعداد المكتبة والمخرجات المعروضة ناتجه الفعلي. لم يُختبر في MATLAB نفسه، لكنه يستخدم دوال MATLAB الأساسية فقط والطباعة بـ fprintf/disp.
