Word2Vec
Word2Vec (CBOW / Skip-gram)
طريقة لتعلم متجهات كثيفة للكلمات بشبكة ضحلة تتنبأ بالكلمة من سياقها (CBOW) أو بالسياق من الكلمة (Skip-gram).
طريقة العمل
تُدرَّب طبقة إسقاط على مدونة كبيرة باستخدام العينات السلبية (Negative Sampling) أو Softmax الهرمي، فتصبح أوزان الطبقة متجهات للكلمات تتقارب فيها الكلمات ذات السياقات المتشابهة.
الخطوات
- بناء المفردات
- إنشاء أزواج (كلمة، سياق) بنافذة
- التدريب بالعينات السلبية
- استخراج المتجهات
مثال
القياس الشهير: king − man + woman ≈ queen.
المزايا
- تدريب سريع على مدونات كبيرة
- متجهات مفيدة لمهام كثيرة
العيوب
- متجه واحد للكلمة مهما تعدد معناها
- لا يمثل الكلمات غير المرئية
الاستخدامات
- البحث الدلالي
- ميزات للمصنفات
- توسيع الاستعلامات
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781.
- Mikolov, T. et al. (2013). Distributed Representations of Words and Phrases and their Compositionality. NeurIPS 2013.
- Soliman, A. B., Eissa, K. & El-Beltagy, S. R. (2017). AraVec: A set of Arabic Word Embedding Models for use in Arabic NLP. ACLing 2017.
هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح التضمينات الدلالية
