KV Cache
ذاكرة المفاتيح والقيم
التعريف
تخزين مفاتيح وقيم الانتباه للرموز السابقة لتجنب إعادة حسابها عند توليد كل رمز جديد.
في التوليد التتابعي يُعاد استخدام ما حُسب سابقاً، فيتحول التوليد من حساب كامل لكل خطوة إلى حساب للرمز الأخير فقط. تستهلك الذاكرة مع طول السياق وعدد الطلبات.
Definition
A KV cache stores attention keys and values of previously processed tokens so each new token needs only incremental computation during autoregressive generation.
شرح مبسّط للمبتدئين
كمن يحتفظ بملاحظات المحادثة السابقة بدل إعادة قراءتها من البداية في كل جملة.
شرح أكاديمي متخصص
حجمها \(\propto\) الطبقات × الرؤوس × الطول؛ وتُضغط بتقنيات مثل GQA وPagedAttention.
أمثلة عملية
- تسريع توليد نموذج لغوي.
التطبيقات والاستخدامات
- خدمة النماذج.
المزايا
- تسريع كبير للتوليد.
القيود والعيوب
- استهلاك ذاكرة كبير.
