البحث في المدرسة
25 نتيجة لـ «log likelihood»
الدروس (7)
- اللوغاريتمات (Logarithms)…نستخدم لوغاريتم الإمكانية وحيلة Log-Sum-Exp في التعلم الآلي. اللوغاريتم (Logarithm) يجيب عن السؤال: إلى أي قوة نرفع الأساس لنحصل على العدد؟ \log_b y = x \iff b^x = y. واللوغاريتم ال…
- مبرهنة بايز (Bayes' Theorem)…(Prior)اعتقادنا قبل رؤية الدليلP(E\mid H)الإمكانية (Likelihood)مدى توافق الدليل مع الفرضيةP(H\mid E)الاحتمال اللاحق (Posterior)اعتقادنا بعد الدليلP(E)الدليل (Evidence)ثابت تطب…
- الانتروبيا التقاطعية (Cross Entropy)…مفاجأتنا. التعريف H(p, q) = -\sum_x p(x)\log q(x) وتحقق H(p,q) \ge H(p)، والفرق بينهما هو تباعد KL (الدرس التالي). مع التسميات الأحادية الساخنة إذا كانت الفئة الصحيحة y فإن p يس…
- الفاصلة العائمة والاستقرار العددي (Floating Point and Numerical Stability)…مثل Softmax بطرح القيمة العظمى وحيلة Log-Sum-Exp تتجنب هذه المشكلات. في الرياضيات 0.1 + 0.2 = 0.3 دائماً، أما في الحاسوب بدقة float64 فالناتج 0.30000000000000004. هذا الفرق الصغير ل…
- محتوى المعلومات (Information Content)محتوى المعلومات (المفاجأة) لحدث احتماله p هو -\log p: الأحداث النادرة تحمل معلومات أكثر، ووحدتها البت أو النات حسب أساس اللوغاريتم. حين يخبرك أحدهم أن الشمس أشرقت اليوم فلن تتعلم شيئاً ت…
- الانتروبيا (Entropy)…التوزيع. التعريف H(p) = -\sum_x p(x)\log p(x) = \mathbb{E}_{x\sim p}[-\log p(x)] باصطلاح 0\log 0 = 0. الحدود H(p) \ge 0، وتساوي صفراً إذا كانت إحدى النتائج مؤكدة. H(p) \le \…
- الألعاب الصفرية ومبرهنة Minimax والشبكات التنافسية (Zero-Sum Games, Minimax and GANs)…p_{\text{data}}}[\log D(x)] + \mathbb E_{z}[\log(1 - D(G(z)))] لمولّد ثابت يكون المميّز الأمثل D^*(x) = \frac{p_{\text{data}}(x)}{p_{\text{data}}(x) + p_g(x)}، وبالتعويض يصبح ه…
المفاهيم (3)
- اللوغاريتم (Logarithm)عكس الدالة الأسية: الأس الذي يُرفع إليه الأساس للحصول على العدد، ويحوّل الضرب إلى جمع. log₂ 32 = 5
- تقدير الإمكانية العظمى (Maximum Likelihood Estimation)اختيار معاملات التوزيع التي تجعل البيانات المرصودة أكثر احتمالاً. تقدير p في برنولي بنسبة النجاحات.
- الاستقرار العددي (Numerical Stability)خاصية الحساب الذي لا يضخم أخطاء التقريب، مثل Softmax بعد طرح القيمة العظمى. softmax(1000,1001,1002) = softmax(0,1,2)
المسارات (1)
المصطلحات (7)
- لوغاريتم الإمكانية (Log-likelihood)مجموع لوغاريتمات احتمالات البيانات تحت النموذج.
- الإمكانية (Likelihood)احتمال البيانات المرصودة بدلالة معاملات النموذج.
- حيلة Log-Sum-Exp (Log-Sum-Exp)حساب لوغاريتم مجموع الأسس بطرح القيمة العظمى لتجنب الفيض.
- تقدير الإمكانية العظمى (Maximum Likelihood Estimation)اختيار المعاملات التي تعظّم احتمال البيانات.
- احتمال لاحق (Posterior)احتمال الفرضية بعد رؤية البيانات.
- الغيض (Underflow)صغر الناتج عن أصغر قيمة موجبة ممثَّلة فيُقرَّب إلى صفر.
- الاستقرار العددي (Numerical Stability)قدرة الخوارزمية على عدم تضخيم أخطاء التقريب. Softmax بعد طرح القيمة العظمى
الأسئلة (7)
- احسب \(\log_3 81\).احسب \log_3 81.
- إذا كان \(\log_2 a = 3\) و\(\log_2 b = 5\)، فما \(\log_2(a^2 b)\)؟إذا كان \log_2 a = 3 و\log_2 b = 5، فما \log_2(a^2 b)؟
- احسب \(\log\big(e^{1000} + e^{1000}\big)\) (اللوغاريتم الطبيعي، أربع منازل).احسب \log\big(e^{1000} + e^{1000}\big) (اللوغاريتم الطبيعي، أربع منازل).
- ما قيمة \(\log(e^{1000} + e^{1000})\) (أربع منازل)؟ما قيمة \log(e^{1000} + e^{1000}) (أربع منازل)؟
- لماذا تعتمد دالة Log-Sum-Exp المستقرة على طرح القيمة العظمى تحديداً وليس أي ثابت؟لماذا تعتمد دالة Log-Sum-Exp المستقرة على طرح القيمة العظمى تحديداً وليس أي ثابت؟
- اكتب \(\log\sigma(x)\) حيث \(\sigma(x) = 1/(1+e^{-x})\) بدلالة log وexp (الصيغة المكافئة \(-\log(1+e^{-x})\)).اكتب \log\sigma(x) حيث \sigma(x) = 1/(1+e^{-x}) بدلالة log وexp (الصيغة المكافئة -\log(1+e^{-x})).
- اللوغاريتم الطبيعي أساسه العدد ______.اللوغاريتم الطبيعي أساسه العدد ______.
