التعلم العميق بالعربي الدكتور علاء طعيمة
معالجة اللغة الطبيعية التعلم العميق النماذج اللغوية الكبيرة متوسط محتوى تجريبي

Embedding

التضمين (المتجه الدلالي)

التعريف

تمثيل كائن (كلمة أو جملة أو صورة) بمتجه أعداد حقيقية في فضاء متعدد الأبعاد، بحيث تكون الكائنات المتشابهة في المعنى متقاربة.

لا تفهم الشبكات العصبية الكلمات مباشرة، فنحوّل كل رمز إلى متجه كثيف يُتعلَّم أثناء التدريب. في فضاء التضمين تقترب الكلمات المتشابهة دلالياً، ويمكن قياس التشابه بجيب التمام (Cosine Similarity).
تُستخدم تضمينات الجمل والمستندات في البحث الدلالي وأنظمة التوصية والاسترجاع المعزَّز بالتوليد (RAG).

Definition

An embedding is a learned dense vector representation of an object (a token, sentence, image, etc.) in a continuous space where semantic similarity corresponds to geometric closeness.

شرح مبسّط للمبتدئين

نضع كل كلمة في نقطة على خريطة كبيرة. الكلمات المتقاربة في المعنى مثل «طبيب» و«مستشفى» تكون نقاطها قريبة، والبعيدة في المعنى تكون متباعدة.

شرح أكاديمي متخصص

في word2vec تُتعلَّم التضمينات بتعظيم احتمال الكلمات السياقية بالنظر إلى الكلمة المركزية. وفي المحوّلات تكون مصفوفة التضمين \(E\in\mathbb{R}^{|V|\times d}\) جزءاً من النموذج تُحدَّث بالانتشار العكسي.

أمثلة عملية

  • البحث عن مقالات قريبة في المعنى من سؤال المستخدم حتى لو اختلفت الكلمات.
  • اقتراح كتب مشابهة لكتاب قرأه القارئ.

التطبيقات والاستخدامات

  • البحث الدلالي وRAG.
  • أنظمة التوصية.
  • التجميع وكشف التكرار.

المزايا

  • يلتقط التشابه الدلالي لا الحرفي فقط.
  • يقلل الأبعاد مقارنة بالتمثيل الأحادي الساخن (One-hot).

القيود والعيوب

  • قد يرمّز التحيزات الموجودة في البيانات.
  • أبعاد المتجه غير قابلة للتفسير مباشرة.

المعادلات الرياضية

تشابه جيب التمام بين متجهين

\cos(\mathbf{u},\mathbf{v}) = \frac{\mathbf{u}\cdot\mathbf{v}}{\lVert\mathbf{u}\rVert\,\lVert\mathbf{v}\rVert}

يقيس زاوية الاتجاه بين متجهين: القيمة 1 تعني اتجاهاً واحداً، و0 تعني تعامداً.

شرح الرموز
الرمزالمعنى
\(\mathbf{u}, \mathbf{v}\)متجها التضمين
\(\cdot\)الضرب النقطي
\(\lVert\cdot\rVert\)طول المتجه (المعيار الإقليدي)

المصادر العلمية

مراجع ومصادر علمية

تعلّم وراجع

بطاقة مراجعة المصطلحراجعه مع المصطلحات المرتبطة به اختبار قصيرأسئلة عن هذا المصطلح وما يرتبط به

مصطلحات مقترحة للتعلّم بعده