تضمينات الكلمات

من المتناثر إلى الكثيف

في التمثيل الأحادي الساخن تكون كل كلمة متعامدة مع غيرها، فلا تشابه بين «طبيب» و«ممرض». التضمينات تضع الكلمات في فضاء متصل:

طبيب   → [0.21, -0.43, 0.77, ...]   (300 بعد مثلاً)
ممرض   → [0.19, -0.40, 0.70, ...]   قريب من «طبيب»
سيارة  → [-0.55, 0.12, 0.03, ...]  بعيد

فرضية التوزيع

«تعرف الكلمة من صحبتها» (Firth). إذا ظهرت «قهوة» و«شاي» في سياقات متشابهة (أشرب …، كوب …)، فستتقارب متجهاتهما.

التشابه

$$\text{sim}(\mathbf{u}, \mathbf{v}) = \frac{\mathbf{u}^\top\mathbf{v}}{\|\mathbf{u}\|\|\mathbf{v}\|}$$

import numpy as np
def most_similar(word, E, vocab, k=5):
    v = E[vocab[word]]
    sims = E @ v / (np.linalg.norm(E, axis=1) * np.linalg.norm(v) + 1e-9)
    inv = {i: w for w, i in vocab.items()}
    return [(inv[i], round(float(sims[i]), 3)) for i in sims.argsort()[::-1][1:k + 1]]

القياس

تلتقط التضمينات أحياناً علاقات خطية مثل:

$$\mathbf{v}_{\text{king}} – \mathbf{v}_{\text{man}} + \mathbf{v}_{\text{woman}} \approx \mathbf{v}_{\text{queen}}$$

هذه النتيجة مشهورة لكنها ليست مضمونة لكل العلاقات، وتعتمد على طريقة التقييم.

الاستخدامات

• مدخلات للنماذج العصبية (طبقة Embedding مهيأة مسبقاً).
• البحث الدلالي وتوسيع الاستعلامات.
• تجميع الكلمات والمستندات (متوسط متجهات الكلمات كتمثيل بسيط للمستند).

الحدود

• ثابتة: متجه واحد لكل كلمة مهما اختلف السياق. الحل: التضمينات السياقية مثل BERT.
• التحيز: تعكس الصور النمطية الموجودة في البيانات.
• الكلمات خارج المعجم: يعالجها fastText بتمثيل الكلمة من n-grams حرفية.