Temperature
درجة الحرارة (في التوليد)
التعريف
معامل يتحكم في عشوائية توليد النموذج اللغوي: القيم المنخفضة تجعله حاسماً، والمرتفعة تجعله أكثر تنوعاً.
قبل اختيار الرمز التالي تُقسَم درجات النموذج على درجة الحرارة ثم تُطبَّق Softmax. عند درجة منخفضة يقترب التوزيع من اختيار الرمز الأرجح دائماً، وعند درجة مرتفعة يصبح التوزيع أكثر تسطحاً فتزداد المفاجآت.
تُستعمل درجات منخفضة للمهام الدقيقة كالترميز والاستخراج، ومرتفعة للكتابة الإبداعية. وتُدمج غالباً مع top-p وtop-k.
Definition
Temperature is a sampling parameter that rescales logits before softmax in language model decoding: low values make outputs more deterministic and high values more diverse.
شرح مبسّط للمبتدئين
كمفتاح يتحكم في جرأة الكاتب: عند الصفر يكرر الأكثر توقعاً، وعند الارتفاع يجازف بكلمات غير متوقعة.
شرح أكاديمي متخصص
\(p_i=\exp(z_i/T)/\sum_j\exp(z_j/T)\)؛ يقترب \(T\to0\) من الاختيار الجشع، ويقترب \(T\to\infty\) من التوزيع المنتظم.
أمثلة عملية
- T=0.2 لاستخراج بيانات، وT=1.0 لكتابة قصة.
التطبيقات والاستخدامات
- ضبط أسلوب الإجابات.
- موازنة الدقة والإبداع.
المزايا
- تحكم بسيط في التنوع.
القيود والعيوب
- القيم العالية ترفع احتمال الأخطاء والهلوسة.
المعادلات الرياضية
Softmax بدرجة حرارة
p_i=\frac{\exp(z_i/T)}{\sum_j\exp(z_j/T)}القسمة على T تسطّح التوزيع عند T أكبر من 1 وتحدّده عند T أقل من 1.
| الرمز | المعنى |
|---|---|
| \(z_i\) | درجة الرمز i |
| \(T\) | درجة الحرارة |
