الدرس 2 من 2 · الأسس واللوغاريتمات
اللوغاريتمات Logarithms
اللوغاريتم عكس الأس؛ نتعلم قوانينه وتغيير الأساس واللوغاريتم الطبيعي، ولماذا نستخدم لوغاريتم الإمكانية وحيلة Log-Sum-Exp في التعلم الآلي.
محتويات الدرس
1 مقدمة
اللوغاريتم (Logarithm) يجيب عن السؤال: إلى أي قوة نرفع الأساس لنحصل على العدد؟ \(\log_b y = x \iff b^x = y\). واللوغاريتم الطبيعي \(\ln\) أساسه \(e\).
الأهداف التعليمية
- التحويل بين الصيغتين الأسية واللوغاريتمية
- تطبيق قوانين اللوغاريتمات
- تغيير الأساس
- فهم لوغاريتم الإمكانية وحيلة Log-Sum-Exp
2 لماذا ندرس هذا الموضوع؟
نقلل سالب لوغاريتم الإمكانية بدلاً من تعظيم الإمكانية نفسها لأن اللوغاريتم يحول حاصل ضرب احتمالات صغيرة جداً إلى مجموع مستقر عددياً. والانتروبيا والانتروبيا التقاطعية وتباعد KL كلها مبنية على اللوغاريتم. ونرسم معدلات التعلم والخسارة غالباً على مقياس لوغاريتمي.
3 الشرح النظري
القوانين
| القانون | الصيغة |
|---|---|
| الضرب | \(\log(ab) = \log a + \log b\) |
| القسمة | \(\log(a/b) = \log a - \log b\) |
| القوة | \(\log(a^n) = n\log a\) |
| تغيير الأساس | \(\log_b a = \ln a/\ln b\) |
| قيم خاصة | \(\log_b 1 = 0\)، \(\log_b b = 1\) |
المجال والمدى
\(\ln x\) معرَّفة لـ \(x \gt 0\) فقط، ومداها كل الأعداد الحقيقية، ومتزايدة. ولأنها متزايدة فإن تعظيم دالة يكافئ تعظيم لوغاريتمها.
لوغاريتم الإمكانية
لعينات مستقلة: \(\log\prod_i p(x_i\mid\theta) = \sum_i\log p(x_i\mid\theta)\). حاصل ضرب ألف احتمال قيمة كل منها 0.1 يساوي \(10^{-1000}\) فيصبح صفراً في الحاسوب، أما مجموع لوغاريتماتها فيساوي \(-1000\ln10\) بلا مشكلة.
حيلة Log-Sum-Exp
\[\log\sum_j e^{z_j} = m + \log\sum_j e^{z_j - m},\quad m = \max_j z_j\]
تمنع الفيض عند حساب لوغاريتم مقام Softmax.
4 التعريفات الرياضية
- اللوغاريتم
- الأس الذي يُرفع إليه الأساس للحصول على العدد.\[\log_b y = x \iff b^x = y\]
- لوغاريتم الإمكانية
- مجموع لوغاريتمات احتمالات البيانات تحت النموذج.\[\ell(\theta) = \sum_i\log p(x_i\mid\theta)\]
- اللوغاريتم (Logarithm)
- عكس الدالة الأسية: الأس الذي يُرفع إليه الأساس للحصول على العدد، ويحوّل الضرب إلى جمع.\[\log_b y=x\iff b^x=y\]
5 المعادلات
6 مثال محلول خطوة بخطوة
قوانين وتغيير أساس
المسألة: احسب \(\log_2 32\) و\(\ln(e^3) - \ln 1\) و\(\log_2 10\) بتغيير الأساس.
- \(2^5 = 32\)، فـ \(\log_2 32 = 5\).
- \(\ln e^3 = 3\) و\(\ln 1 = 0\).
- \(\log_2 10 = \ln 10/\ln 2 \approx 3.3219\).
النتيجة: 5، 3، 3.3219
لوغاريتم الإمكانية
المسألة: نموذج أعطى ثلاث عينات مستقلة الاحتمالات 0.5 و0.25 و0.125. احسب لوغاريتم الإمكانية بالأساس 2.
- \(\log_2(0.5\cdot0.25\cdot0.125) = \log_2 0.5 + \log_2 0.25 + \log_2 0.125\).
- \(= -1 - 2 - 3\).
النتيجة: \(-6\)، وسالبه 6 هو الخسارة الكلية بالبت.
7 تطبيق عملي في الذكاء الاصطناعي
- خسارة الإمكانية: التدريب بتقليل \(-\sum_i\log p_\theta(y_i\mid\mathbf{x}_i)\).
- الاستقرار العددي: تحسب الأطر \(\log\operatorname{softmax}\) بحيلة Log-Sum-Exp.
- المقاييس اللوغاريتمية: البحث عن معدل التعلم على شبكة لوغاريتمية مثل \(10^{-4}, 10^{-3}, 10^{-2}\).
8 مختبر تفاعلي مرتبط بالدرس
رسم الدوال، وحساب المشتقة عددياً ورسم المماس، والمشتقات الجزئية والتدرج لدالة بمتغيرين، وعرض قاعدة السلسلة خطوة بخطوة، والتكامل العددي بطريقتي شبه المنحرف وسمبسون.
افتح مختبر التفاضل والتكامل9 تمارين تدريبية
أسئلة مراجعة للتفكير
- لماذا يكافئ تعظيم الإمكانية تعظيم لوغاريتمها؟
- احسب \(\log\sum e^{z}\) لـ \(\mathbf{z} = (1000, 1000)\) بالحيلة.
أخطاء شائعة
- كتابة \(\log(a + b) = \log a + \log b\).
- أخذ لوغاريتم صفر أو عدد سالب.
- الخلط بين \(\log\) بالأساس 10 و\(\ln\) في المكتبات البرمجية (log في NumPy هو الطبيعي).
10 ملخص الدرس
- اللوغاريتم عكس الأس.
- يحول الضرب إلى جمع.
- لوغاريتم الإمكانية وLog-Sum-Exp يمنعان مشكلات الدقة العددية.
11 اختبار قصير
5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.
