KL Divergence
تباعد كولباك–لايبلر
التعريف
مقياس لمدى اختلاف توزيع احتمالي عن توزيع مرجعي، وهو غير متماثل.
يساوي صفراً إذا تطابق التوزيعان وموجب خلاف ذلك. تُنتج الإنتروبيا التقاطعية بإضافة إنتروبيا ثابتة. يُستخدم في VAE وRLHF والتقطير.
Definition
KL divergence measures how one probability distribution differs from a reference distribution; it is non-negative, asymmetric, and zero only if the distributions are equal.
شرح مبسّط للمبتدئين
كمقدار «المفاجأة الإضافية» إذا استخدمت توزيعاً خاطئاً بدل الحقيقي.
شرح أكاديمي متخصص
\(\mathrm{KL}(p\Vert q)=\sum_x p(x)\log\frac{p(x)}{q(x)}\).
أمثلة عملية
- مقارنة توزيع النموذج بتوزيع مرجعي.
import numpy as np
p = np.array([0.5, 0.5])
q = np.array([0.9, 0.1])
print(round(float((p * np.log(p / q)).sum()), 3))شرح الكود
تباعد توزيع عملة عادلة عن عملة متحيزة.
النتيجة المتوقعة
0.511
التطبيقات والاستخدامات
- VAE وRLHF والتقطير.
المزايا
- مقياس نظري أنيق.
القيود والعيوب
- غير متماثل وغير معرّف إن كان q صفراً.
المعادلات الرياضية
تباعد KL
\mathrm{KL}(p\,\Vert\,q)=\sum_{x}p(x)\log\frac{p(x)}{q(x)}متوسط الفرق اللوغاريتمي بين التوزيعين مرجَّحاً بالتوزيع الأول.
| الرمز | المعنى |
|---|---|
| \(p\) | التوزيع الحقيقي |
| \(q\) | التوزيع التقريبي |
