Speculative Decoding
فك الترميز التخميني
التعريف
تسريع التوليد بنموذج صغير يقترح عدة رموز ونموذج كبير يتحقق منها دفعة واحدة.
يولّد النموذج المسودة عدة رموز بسرعة، ثم يتحقق منها النموذج الكبير في تمرير واحد ويقبل المتطابقة. تبقى المخرجات موزعة كما لو ولّدها النموذج الكبير وحده.
Definition
Speculative decoding speeds up generation by letting a small draft model propose several tokens that a large model verifies in one parallel pass, preserving the large model's output distribution.
شرح مبسّط للمبتدئين
كمتدرب يكتب مسودة فقرات سريعة ويراجعها الخبير دفعة واحدة بدل كتابة كل كلمة بنفسه.
شرح أكاديمي متخصص
يعتمد التسريع على معدل قبول المسودة.
أمثلة عملية
- نموذج مسودة بـ 1B لنموذج 70B.
التطبيقات والاستخدامات
- خدمة النماذج الكبيرة.
المزايا
- أسرع دون خسارة جودة.
القيود والعيوب
- يحتاج نموذجاً مساعداً.
