تضمينات الجمل
Sentence Embeddings (Sentence-BERT)
تمثيل الجملة كاملة بمتجه واحد بنموذج مدرب على أزواج جمل، ثم قياس التشابه الدلالي بجيب التمام.
طريقة العمل
يُدرَّب نموذج محول بشبكة سيامية (Siamese) على مهام الاستدلال والتشابه، فتتقارب متجهات الجمل المتقاربة في المعنى ولو اختلفت ألفاظها.
الخطوات
- ترميز الجملتين بالنموذج
- التجميع (Pooling)
- جيب التمام
مثال
«اشترى الطالب كتاباً» و«اقتنى التلميذ مؤلفاً» تتقاربان رغم غياب كلمات مشتركة.
المزايا
- يقيس المعنى لا الألفاظ
- سريع للبحث في ملايين الجمل
العيوب
- يحتاج إلى نموذج مدرب يدعم العربية
الاستخدامات
- البحث الدلالي
- تجميع الأسئلة المتشابهة
- RAG
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Reimers, N. & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP 2019.
- Cer, D. et al. (2017). SemEval-2017 Task 1: Semantic Textual Similarity. SemEval 2017.
هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح التشابه الدلالي
