GloVe

الفكرة

النسب بين احتمالات التواجد المشترك تحمل المعنى. مثلاً «جليد» يظهر مع «صلب» أكثر من «بخار»، و«بخار» يظهر مع «غاز» أكثر، بينما يظهر الاثنان بنسبة متقاربة مع «ماء». GloVe يصمم التضمينات بحيث تعكس هذه النسب.

دالة الهدف

$$J = \sum_{i,j} f(X_{ij})\left(\mathbf{w}_i^\top \tilde{\mathbf{w}}_j + b_i + \tilde{b}_j – \log X_{ij}\right)^2$$

حيث \(X_{ij}\) عدد مرات تواجد الكلمتين معاً، و\(f\) دالة وزن تحد من أثر الأزواج النادرة والشائعة جداً.

استخدام متجهات جاهزة

ملفات GloVe نصية: كل سطر كلمة متبوعة بقيم المتجه.

import numpy as np
def load_glove(path, limit=None):
    vecs = {}
    with open(path, encoding="utf-8") as f:
        for i, line in enumerate(f):
            if limit and i >= limit:
                break
            word, *vals = line.rstrip().split(" ")
            vecs[word] = np.asarray(vals, dtype=np.float32)
    return vecs
# glove = load_glove("glove.6B.100d.txt")   # بعد تنزيله من صفحة المشروع

المتجهات الرسمية المنشورة إنجليزية. للعربية تتوفر متجهات fastText مدربة على ويكيبيديا وCommon Crawl بلغات كثيرة منها العربية، ويمكن أيضاً تدريب GloVe أو Word2Vec على مجموعة عربية خاصة.

مقارنة

	Word2Vec	GloVe	fastText
المصدر	نوافذ محلية	إحصاءات عامة	نوافذ محلية + n-grams حرفية
الكلمات خارج المعجم	لا	لا	نعم (من أجزائها)
مناسبة للعربية	جيدة	جيدة	مناسبة جداً للصرف الغني

الموقع اليوم

التضمينات الثابتة خفيفة وسريعة ومفيدة للموارد المحدودة، لكن التضمينات السياقية من المحوّلات تتفوق عليها في معظم مهام الفهم.