GloVe
GloVe (Global Vectors)
طريقة تتعلم متجهات الكلمات من مصفوفة التواجد المشترك العالمية بتقريب لوغاريتم عدد التواجدات بحاصل الضرب النقطي للمتجهات.
طريقة العمل
تُبنى مصفوفة X حيث X_ij عدد مرات ظهور الكلمة j في سياق i، ثم تُقلل دالة خسارة مرجحة (w_i·w_j + b_i + b_j − log X_ij)².
الخطوات
- بناء مصفوفة التواجد
- تدريب بالمربعات الصغرى المرجحة
- جمع متجهي الكلمة والسياق
مثال
متجهات GloVe الإنجليزية الجاهزة شائعة في التعليم.
المزايا
- يستغل الإحصاءات العالمية
العيوب
- ذاكرة كبيرة لمصفوفة التواجد
- متجه واحد للكلمة
الاستخدامات
- ميزات للنماذج
- التحليل الدلالي
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP 2014.
هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح التضمينات الدلالية
