الدرس 9 من 9 · الجبر الخطي
تحليل القيم المنفردة (SVD) Singular Value Decomposition
SVD يكتب أي مصفوفة حاصل ضرب دوران وتمديد ودوران، ويمنح أفضل تقريب منخفض المرتبة؛ وهو أساس ضغط البيانات وPCA وأنظمة التوصية وتقنيات مثل LoRA.
محتويات الدرس
1 مقدمة
القيم الذاتية معرّفة للمصفوفات المربعة فقط، أما تحليل القيم المنفردة (Singular Value Decomposition) فيصلح لأي مصفوفة مستطيلة. يكتب المصفوفة \(A\) على الصورة \(U\Sigma V^\top\).
الأهداف التعليمية
- كتابة صيغة SVD وفهم دور كل عامل
- ربط القيم المنفردة بالقيم الذاتية لـ \(A^\top A\)
- بناء تقريب منخفض المرتبة وحساب نسبة الطاقة المحفوظة
2 لماذا ندرس هذا الموضوع؟
SVD أداة مركزية في تقليل الأبعاد: بالاحتفاظ بأكبر \(k\) قيمة منفردة نحصل على أفضل تقريب بمرتبة \(k\) (مبرهنة إيكارت–يونغ). ويُستخدم في ضغط الصور، وفي التحليل الدلالي الكامن للنصوص، وفي تحليل مصفوفات التقييم في نظم التوصية، وتعتمد فكرة التكييف منخفض المرتبة (LoRA) على أن تحديثات الأوزان يمكن تقريبها بمصفوفات منخفضة المرتبة.
3 الشرح النظري
الصيغة
لأي \(A\in\mathbb{R}^{m\times n}\):
\[A = U\Sigma V^\top\]
حيث \(U\in\mathbb{R}^{m\times m}\) و\(V\in\mathbb{R}^{n\times n}\) متعامدتان (\(U^\top U = I\))، و\(\Sigma\) قطرية مستطيلة عناصرها القيم المنفردة \(\sigma_1\ge\sigma_2\ge\dots\ge0\).
الصلة بالقيم الذاتية
\(A^\top A = V\Sigma^\top\Sigma V^\top\)، إذن أعمدة \(V\) متجهات ذاتية لـ \(A^\top A\)، و\(\sigma_i = \sqrt{\lambda_i(A^\top A)}\).
التفسير الهندسي
كل تحويل خطي يتكوّن من ثلاث خطوات: دوران (أو انعكاس) بـ \(V^\top\)، ثم تمديد على المحاور بـ \(\Sigma\)، ثم دوران بـ \(U\). فالدائرة الواحدية تتحول إلى قطع ناقص أنصاف محاوره القيم المنفردة.
التقريب منخفض المرتبة
\[A_k = \sum_{i=1}^{k} \sigma_i\,\mathbf{u}_i\mathbf{v}_i^\top\]
هو أفضل تقريب بمرتبة k وفق قاعدة فروبينيوس، ونسبة "الطاقة" المحفوظة \(\sum_{i\le k}\sigma_i^2 / \sum_i\sigma_i^2\).
4 التعريفات الرياضية
- القيم المنفردة
- الجذور التربيعية للقيم الذاتية للمصفوفة \(A^\top A\)، مرتبة تنازلياً.\[\sigma_i = \sqrt{\lambda_i(A^\top A)}\]
- تحليل القيم المنفردة
- تحليل أي مصفوفة إلى مصفوفة متعامدة ومصفوفة قطرية غير سالبة ومنقول مصفوفة متعامدة.\[A = U\Sigma V^\top\]
- مرتبة المصفوفة
- عدد القيم المنفردة غير الصفرية، ويساوي عدد الأعمدة المستقلة خطياً.\[\operatorname{rank}(A) = \#\{i: \sigma_i \gt 0\}\]
- تحليل القيم المنفردة (Singular Value Decomposition (SVD))
- تحليل أي مصفوفة إلى \(U\Sigma V^\top\) بمصفوفتين متعامدتين ومصفوفة قطرية من القيم المنفردة غير السالبة.\[A=U\Sigma V^\top\]
5 المعادلات
6 مثال محلول خطوة بخطوة
القيم المنفردة لمصفوفة 2×2
المسألة: احسب القيم المنفردة للمصفوفة \(A = \begin{bmatrix}3 & 0 \\ 4 & 5\end{bmatrix}\).
- \(A^\top A = \begin{bmatrix}25 & 20 \\ 20 & 25\end{bmatrix}\).
- المعادلة المميزة: \(\lambda^2 - 50\lambda + 225 = 0\) (الأثر 50 والمحدد \(25\cdot25 - 20\cdot20 = 225\)).
- الجذران: \(\lambda = 45\) و\(\lambda = 5\).
- القيم المنفردة: \(\sigma_1 = \sqrt{45} \approx 6.7082\) و\(\sigma_2 = \sqrt5 \approx 2.2361\).
- التحقق: \(\sigma_1\sigma_2 = \sqrt{225} = 15 = |\det A|\).
- نسبة الطاقة في المرتبة الأولى: \(45/50 = 90\%\).
النتيجة: \(\sigma_1 \approx 6.7082,\; \sigma_2 \approx 2.2361\)
7 تطبيق عملي في الذكاء الاصطناعي
- ضغط الصور: الاحتفاظ بعدد قليل من القيم المنفردة يحفظ معظم بنية الصورة بجزء من حجمها.
- أنظمة التوصية: تقريب مصفوفة المستخدمين×المنتجات بمرتبة منخفضة يكشف عوامل كامنة للتفضيلات.
- PCA: المكونات الرئيسية هي المتجهات المنفردة اليمنى لمصفوفة البيانات بعد توسيطها.
- الضبط الدقيق منخفض المرتبة: تفترض طريقة LoRA أن تحديث الأوزان \(\Delta W\) يمكن كتابته حاصل ضرب مصفوفتين صغيرتين.
8 مختبر تفاعلي مرتبط بالدرس
عمليات المتجهات (الجمع والطرح والجداء النقطي والطول والمسافة وتشابه جيب التمام)، والعمليات المصفوفية (الجمع والضرب والمنقول والمحدد والمعكوس)، والقيم والمتجهات الذاتية، وتحليل القيم المنفردة SVD مع إعادة البناء بمرتبة أقل.
افتح مختبر الجبر الخطي9 تمارين تدريبية
أسئلة مراجعة للتفكير
- لماذا يصلح SVD للمصفوفات المستطيلة بينما لا يصلح التحليل الذاتي لها؟
- كيف تختار k في ضغط صورة بـ SVD؟
أخطاء شائعة
- الخلط بين القيم المنفردة والقيم الذاتية لـ A نفسها (يتساويان فقط في حالات خاصة مثل المتماثلة الموجبة).
- نسيان أن القيم المنفردة غير سالبة ومرتبة تنازلياً.
- استخدام PCA دون توسيط البيانات.
10 ملخص الدرس
- أي مصفوفة تُكتب \(U\Sigma V^\top\).
- القيم المنفردة جذور القيم الذاتية لـ \(A^\top A\).
- أكبر k قيم منفردة تعطي أفضل تقريب بمرتبة k.
11 اختبار قصير
5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.
