Top-p Sampling
أخذ عينات Top-p
التعريف
طريقة فك ترميز تختار الرمز التالي من أصغر مجموعة رموز يتجاوز مجموع احتمالاتها عتبة p.
تتكيف مع شكل التوزيع: عند ثقة عالية تضم رموزاً قليلة وعند عدم اليقين تضم أكثر. تُدمج غالباً مع درجة الحرارة وتقلل الرموز غير المنطقية في الذيل.
Definition
Top-p (nucleus) sampling samples the next token from the smallest set of tokens whose cumulative probability exceeds p, adapting set size to the distribution.
شرح مبسّط للمبتدئين
كاختيار من أبرز المرشحين الذين يغطون 90% من الأصوات فقط.
شرح أكاديمي متخصص
قدّمها Holtzman وآخرون (2019) لمعالجة نصوص مكررة أو شاذة.
أمثلة عملية
- p = 0.9.
التطبيقات والاستخدامات
- التوليد الإبداعي.
المزايا
- تنوع مع جودة.
القيود والعيوب
- قد تُرجّح رموزاً عشوائية إن كان التوزيع مسطحاً.
