Markov Decision Process

التعريف

إطار رياضي لاتخاذ قرارات متتابعة: حالات وأفعال واحتمالات انتقال ومكافآت، حيث المستقبل يعتمد على الحالة الحالية فقط.

هو الأساس الرسمي للتعلم المعزَّز. الهدف إيجاد سياسة تعظّم العائد المخصوم المتوقع، وتحقق قيمة الحالة معادلات بيلمان.

A Markov decision process formalises sequential decision making with states, actions, transition probabilities and rewards under the Markov property.

كلعبة لوحية: موقعك الحالي وحركتك يحددان الاحتمالات القادمة دون حاجة لتاريخ الحركات.

\(V^*(s)=\max_a\sum_{s'}P(s'|s,a)[R+\gamma V^*(s')]\) معادلة بيلمان للأمثلية.

V^*(s)=\max_a\sum_{s'}P(s'\mid s,a)\left[R(s,a,s')+\gamma V^*(s')\right]

قيمة الحالة المثلى هي أفضل فعل يجمع المكافأة الفورية وقيمة الحالة التالية المخصومة.