GloVe

GloVe (Global Vectors)

طريقة تتعلم متجهات الكلمات من مصفوفة التواجد المشترك العالمية بتقريب لوغاريتم عدد التواجدات بحاصل الضرب النقطي للمتجهات.

تعلّم آلي

طريقة العمل

تُبنى مصفوفة X حيث X_ij عدد مرات ظهور الكلمة j في سياق i، ثم تُقلل دالة خسارة مرجحة ‏(w_i·w_j + b_i + b_j − log X_ij)².

الخطوات

  1. بناء مصفوفة التواجد
  2. تدريب بالمربعات الصغرى المرجحة
  3. جمع متجهي الكلمة والسياق
المدخلاتمدونة
المخرجاتمتجهات كلمات
التعقيديعتمد على عدد العناصر غير الصفرية في المصفوفة

مثال

متجهات GloVe الإنجليزية الجاهزة شائعة في التعليم.

المزايا

  • يستغل الإحصاءات العالمية

العيوب

  • ذاكرة كبيرة لمصفوفة التواجد
  • متجه واحد للكلمة

الاستخدامات

  • ميزات للنماذج
  • التحليل الدلالي

مكتبات تطبّقها

GloVe (Stanford)

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP 2014.

هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح التضمينات الدلالية