الدرس 2 من 2 · نظرية التحكم
الاستقرار والتحكم الأمثل LQR Stability and Optimal Control (LQR)
النظام الخطي المتقطع \(x_{k+1} = Ax_k\) مستقر تقاربياً إذا وفقط إذا كان نصف القطر الطيفي \(\rho(A) \lt 1\). والمنظّم الخطي التربيعي يختار تحكماً خطياً \(u = -Kx\) يصغّر كلفة تربيعية، ويُحسب كسبه من معادلة ريكاتي، وهي حالة خاصة من برمجة بيلمان.
محتويات الدرس
1 مقدمة
لماذا تنفجر التدرجات في الشبكات المتكررة؟ ولماذا يتباعد الانحدار التدرجي إذا كبر معدل التعلم؟ الجواب في الحالتين واحد: نظام خطي متكرر يكبّر الحالة في كل خطوة. ونظرية الاستقرار تعطينا معياراً دقيقاً لذلك.
الأهداف التعليمية
- تحديد استقرار \(x_{k+1} = Ax_k\) من القيم الذاتية
- تطبيق المعيار على الانحدار التدرجي واستنتاج حد معدل التعلم
- صياغة مسألة LQR وحلها لنظام عددي بتكرار ريكاتي
- تفسير أثر الوزنين q و r على الكسب
2 لماذا ندرس هذا الموضوع؟
الانحدار التدرجي على دالة تربيعية نظام خطي، وشرط تقاربه \(\eta \lt 2/\lambda_{\max}\) نتيجة مباشرة لمعيار الاستقرار. والتحكم الأمثل هو الأصل الرياضي للتعلم المعزز: معادلة ريكاتي هي معادلة بيلمان لحالة خطية بكلفة تربيعية.
3 الشرح النظري
الاستقرار في الأنظمة المتقطعة
في النظام \(x_{k+1} = Ax_k\) يكون \(x_k = A^k x_0\). إذا كانت A قابلة للقطرنة فإن كل مركّب على متجه ذاتي يُضرب في \(\lambda_i^k\). لذلك:
\[x_k \to 0\;\text{لكل}\;x_0 \iff \rho(A) = \max_i |\lambda_i| \lt 1\]
المصفوفة \(\begin{bmatrix}0.9&0.2\\-0.2&0.9\end{bmatrix}\) قيمها الذاتية \(0.9 \pm 0.2i\) و\(\rho = \sqrt{0.85} \approx 0.922\)، فالمسار حلزون متضائل. أما \(\begin{bmatrix}1&0.25\\-0.25&1\end{bmatrix}\) فـ \(\rho \approx 1.031\) والحلزون يتسع.
الانحدار التدرجي نظام ديناميكي
على \(f(x) = \tfrac12 x^\top Hx\) يكون \(x_{k+1} = (I - \eta H)x_k\)، والقيم الذاتية \(1 - \eta\lambda_i\). الاستقرار يتطلب \(|1 - \eta\lambda_i| \lt 1\) لكل i، أي:
\[0 \lt \eta \lt \frac{2}{\lambda_{\max}(H)}\]
وبالمنطق نفسه، في الشبكة المتكررة تُضرب التدرجات بالمصفوفة نفسها مراراً، فتتلاشى إذا كان نصف قطرها الطيفي أصغر من 1 وتنفجر إذا كان أكبر.
المنظّم الخطي التربيعي
للنظام \(x_{k+1} = ax_k + bu_k\) نبحث عن تحكم يصغّر:
\[J = \sum_{k=0}^{\infty}\left(q\,x_k^2 + r\,u_k^2\right)\]
q يعاقب الابتعاد عن الصفر و r يعاقب الجهد. الحل الأمثل خطي \(u_k = -Kx_k\)، حيث P الحل الموجب لمعادلة ريكاتي:
\[P = q + a^2P - \frac{(abP)^2}{r + b^2P},\qquad K = \frac{abP}{r + b^2P}\]
والكلفة المثلى من \(x_0\) هي \(Px_0^2\). لـ \(a = 1.2,\; b = q = r = 1\) (نظام غير مستقر وحده) نحصل على \(P \approx 1.9522\) و\(K \approx 0.7935\)، والقطب المغلق \(a - bK \approx 0.4065\) داخل دائرة الوحدة.
الصلة بالتعلم المعزز
دالة القيمة \(V(x) = Px^2\) تحقق معادلة بيلمان \(V(x) = \min_u\,[qx^2 + ru^2 + V(ax + bu)]\)، وتكرار ريكاتي هو تكرار القيمة (Value Iteration) لهذه الحالة الخاصة. التعلم المعزز يعمم الفكرة إلى أنظمة غير خطية ومجهولة النموذج.
4 التعريفات الرياضية
- نصف القطر الطيفي
- أكبر قيمة مطلقة بين القيم الذاتية للمصفوفة.\[\rho(A)=\max_i|\lambda_i|\]
- الاستقرار التقاربي
- تقارب حالة النظام إلى نقطة التوازن من كل حالة ابتدائية.
- المنظّم الخطي التربيعي
- تحكم خطي في الحالة يصغّر كلفة تربيعية للحالة والجهد.\[u=-Kx\]
- معادلة ريكاتي
- معادلة يحققها معامل دالة القيمة في LQR، ومنها يُحسب الكسب الأمثل.
- نصف القطر الطيفي (Spectral Radius)
- أكبر قيمة مطلقة بين القيم الذاتية، ويحدد استقرار الأنظمة الخطية المتقطعة.\[\rho(A)=\max_i|\lambda_i|\]
- المنظّم الخطي التربيعي (Linear Quadratic Regulator)
- تحكم خطي \(u = -Kx\) يصغّر كلفة تربيعية، وكسبه من معادلة ريكاتي.\[K=\frac{abP}{r+b^2P}\]
5 المعادلات
6 مثال محلول خطوة بخطوة
نصف القطر الطيفي
المسألة: هل النظام \(A = \begin{bmatrix}0.9&0.2\\-0.2&0.9\end{bmatrix}\) مستقر؟
- القيم الذاتية \(0.9 \pm 0.2i\).
- \(|\lambda| = \sqrt{0.81 + 0.04}\).
النتيجة: \(\rho \approx 0.922 \lt 1\)، مستقر
معدل التعلم
المسألة: القيم الذاتية لهيسيان دالة تربيعية 1 و10. ما الحد الأعلى لمعدل التعلم؟ وماذا يحدث عند \(\eta = 0.25\)؟
- \(\eta \lt 2/10\).
- عند 0.25: \(|1 - 0.25 \times 10| = 1.5 \gt 1\).
النتيجة: \(\eta \lt 0.2\)؛ وعند 0.25 يتباعد
LQR
المسألة: احسب الكسب الأمثل لـ \(a = 1.2\) و\(b = q = r = 1\).
- كرر معادلة ريكاتي بدءاً من \(P = q\) حتى الثبات.
- \(K = 1.2P/(1 + P)\).
- تحقق: \(|a - bK| \lt 1\).
النتيجة: \(P \approx 1.9522\)، \(K \approx 0.7935\)، \(a - bK \approx 0.4065\)
7 تطبيق عملي في الذكاء الاصطناعي
- اختيار معدل التعلم: الحد \(2/\lambda_{\max}\) يفسر لماذا يتباعد التدريب بمعدل كبير، ولماذا يساعد التطبيع على تحسين الشرط.
- الشبكات المتكررة: تلاشي التدرجات وانفجارها مسألة استقرار لنظام خطي متكرر، وتُعالج بالبوابات وقص التدرجات.
- التعلم المعزز والروبوتات: LQR خط أساس للتحكم، وتكرار ريكاتي حالة خاصة من تكرار القيمة.
8 مختبر تفاعلي مرتبط بالدرس
متحكم PID لنظام من الرتبة الأولى مع التجاوز وزمن الاستقرار والخطأ المتبقي وإشباع المشغّل، واستقرار الأنظمة المتقطعة بنصف القطر الطيفي ومستوى الحالة، والمنظّم الخطي التربيعي LQR بمعادلة ريكاتي.
افتح مختبر نظرية التحكم9 تمارين تدريبية
أسئلة مراجعة للتفكير
- لماذا يكفي النظر إلى القيم الذاتية للحكم على الاستقرار؟
- كيف يتغير الكسب K إذا كبر r؟
أخطاء شائعة
- الحكم على الاستقرار من عناصر المصفوفة بدل قيمها الذاتية.
- استخدام شرط الأنظمة المستمرة (الجزء الحقيقي سالب) للأنظمة المتقطعة.
- نسيان أن زيادة r تعني تحكماً أهدأ واستقراراً أبطأ.
- الظن أن النظام غير المستقر وحده لا يمكن تثبيته بالتغذية الراجعة.
10 ملخص الدرس
- \(x_{k+1} = Ax_k\) مستقر إذا وفقط إذا \(\rho(A) \lt 1\).
- الانحدار التدرجي يتطلب \(\eta \lt 2/\lambda_{\max}\).
- LQR: \(u = -Kx\) من معادلة ريكاتي، والكلفة \(Px_0^2\).
- ريكاتي حالة خاصة من معادلة بيلمان.
11 اختبار قصير
5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.
