التعلم المعزز · Reinforcement Learning
تكرار القيمة لمسألة MDP صغيرة
Value Iteration on a Small MDP
حل معادلة بلمان بالتكرار واستخراج السياسة المثلى.
% 4 حالات، فعلان؛ P(s'|s,a) ومكافآت معروفة
P = zeros(4, 4, 2);
P(1,2,1) = 1; P(2,3,1) = 1; P(3,4,1) = 1; P(4,4,1) = 1; % الفعل 1: تقدم
P(1,1,2) = 1; P(2,1,2) = 1; P(3,2,2) = 1; P(4,4,2) = 1; % الفعل 2: رجوع
R = [-1 -1 10 0; -1 -1 -1 0]; % R(a, s)
gamma = 0.9; V = zeros(1, 4);
for it = 1:200
Qv = zeros(2, 4);
for a = 1:2
Qv(a, :) = R(a, :) + gamma * (squeeze(P(:, :, a)) * V')';
end
Vn = max(Qv); Vn(4) = 0; % 4 حالة نهائية
if max(abs(Vn - V)) < 1e-12, break; end
V = Vn;
end
[~, pol] = max(Qv);
fprintf('iterations: %d\n', it);
fprintf('V = %s\n', mat2str(V, 4));
fprintf('policy (1=forward, 2=back): %s\n', mat2str(pol(1:3)));شرح الخطوات
- P(:,:,a) مصفوفة الانتقال للفعل a.
- Q(a,s) = R(a,s) + γ·Σ P(s'|s,a)V(s').
- نتوقف عندما تتغير V بأقل من تسامح صغير.
المخرجات المتوقعة
iterations: 4 V = [6.2 8 10 0] policy (1=forward, 2=back): [1 1 1]
شُغّل هذا الكود في GNU Octave 8.4 أثناء إعداد المكتبة والمخرجات المعروضة ناتجه الفعلي. لم يُختبر في MATLAB نفسه، لكنه يستخدم دوال MATLAB الأساسية فقط والطباعة بـ fprintf/disp.
