التعرف على الكيانات بالمحولات
Transformer-based NER (BERT fine-tuning)
ضبط نموذج لغوي مدرب مسبقاً (مثل CAMeLBERT أو AraBERT) على بيانات موسومة بصيغة BIO لتصنيف كل رمز إلى نوع كيان.
طريقة العمل
تُرمَّز الجملة بمُجزِّئ النموذج، ويضاف فوق المحول طبقة تصنيف لكل رمز، ويُدرَّب النموذج كاملاً على بيانات موسومة، ثم تُجمع الرموز الفرعية إلى كلمات وكيانات.
الخطوات
- ترميز الجملة
- تمثيل سياقي بالمحول
- تصنيف كل رمز (B-PER، I-ORG، O...)
- تجميع الكيانات
مثال
CAMeL Tools تتيح نموذج NER عربياً مبنياً على CAMeLBERT.
المزايا
- أعلى دقة حالياً
- يكتشف الأسماء غير المعروفة من السياق
العيوب
- يحتاج إلى بيانات موسومة وموارد حوسبة
- أقل شفافية
الاستخدامات
- استخراج المعلومات
- أنظمة الأسئلة والأجوبة
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Devlin, J. et al. (2019). BERT. NAACL 2019.
- Inoue, G. et al. (2021). The Interplay of Variant, Size, and Task Type in Arabic Pre-trained Language Models. WANLP 2021.
هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح التعرف على الكيانات المسماة
