التعلم المعزز · Reinforcement Learning
Q-Learning على ممر
Q-Learning on a Corridor
تعلم جدول Q بمولد أرقام حتمي يعطي النتيجة نفسها في كل مرة.
nS = 5; Q = zeros(nS, 2); alpha = 0.5; gamma = 0.9;
s = 7; rnd = @(s) mod(16807 * s, 2147483647);
for ep = 1:150
st = 1; eps = max(0.1, 1 - ep / 75);
for k = 1:30
s = rnd(s);
if s / 2147483647 < eps
s = rnd(s); a = 1 + (s / 2147483647 >= 0.5);
else
[~, a] = max(Q(st, :));
end
nx = min(max(st + 2*a - 3, 1), nS);
r = -1 + 6 * (nx == nS);
Q(st, a) = Q(st, a) + alpha * (r + gamma * max(Q(nx, :)) * (nx ~= nS) - Q(st, a));
st = nx;
if st == nS, break; end
end
end
fprintf('Q(:, right) = %s\n', mat2str(Q(1:4, 2)', 4));
[~, pol] = max(Q(1:4, :), [], 2);
fprintf('policy (1=left, 2=right): %s\n', mat2str(pol'));شرح الخطوات
- المكافأة −1 لكل خطوة و+5 عند الوصول.
- ε يتناقص من 1 إلى 0.1.
- السياسة الناتجة: يمين دائماً.
المخرجات المتوقعة
Q(:, right) = [0.935 2.15 3.5 5] policy (1=left, 2=right): [2 2 2 2]
شُغّل هذا الكود في GNU Octave 8.4 أثناء إعداد المكتبة والمخرجات المعروضة ناتجه الفعلي. لم يُختبر في MATLAB نفسه، لكنه يستخدم دوال MATLAB الأساسية فقط والطباعة بـ fprintf/disp.
