Top-k Sampling

أخذ عينات Top-k

التعريف

طريقة فك ترميز تختار الرمز التالي عشوائياً من أرجح k رمزاً فقط.

تقطع الذيل غير المحتمل من التوزيع ثم تعيد التطبيع وتأخذ عينة. تعيبها أن k ثابتة لا تتكيف مع الثقة، فتُفضَّل Top-p أحياناً.

Definition

Top-k sampling restricts the next-token choice to the k most probable tokens, renormalises, and samples from them.

شرح مبسّط للمبتدئين

كاختيار كلمة عشوائياً من بين أفضل خمس كلمات مقترحة.

شرح أكاديمي متخصص

تتطلب فرزاً جزئياً للمعجم في كل خطوة.

أمثلة عملية

  • k = 40.

التطبيقات والاستخدامات

  • التوليد.

المزايا

  • تمنع رموزاً شاذة.

القيود والعيوب

  • لا تتكيف مع شكل التوزيع.

تعلّم وراجع

مصطلحات مقترحة للتعلّم بعده