التعرف على الكيانات المسماة

الصياغة كوسم تسلسل

وصل     O
محمد    B-PER
علي     I-PER
إلى     O
جامعة   B-ORG
بغداد   I-ORG
يوم     O
الأحد   B-DATE

الأنواع الشائعة: PER (شخص)، LOC (موقع)، ORG (مؤسسة)، DATE، MISC.

النماذج

الجيل	النموذج
كلاسيكي	CRF مع سمات يدوية (شكل الكلمة، السوابق، القوائم)
عصبي	BiLSTM-CRF
حديث	محوّل مشفر + رأس تصنيف لكل رمز

باستخدام محوّل

from transformers import pipeline
ner = pipeline("token-classification",
               model="dslim/bert-base-NER",
               aggregation_strategy="simple")
print(ner("Sundar Pichai visited the University of Baghdad in Iraq."))

هذا النموذج إنجليزي. للعربية اضبط نموذجاً عربياً (مثل AraBERT أو CAMeLBERT) على بيانات كيانات عربية موسومة، أو ابحث عن نموذج منشور مع بطاقة توثق بيانات تدريبه وتقييمه.

مشكلة محاذاة الرموز

التقطيع الجزئي قد يقسم الكلمة إلى عدة رموز؛ يُعطى الوسم عادة لأول رمز من الكلمة وتُتجاهل البقية في الخسارة (القيمة -100 في PyTorch)، ثم تُجمع النتائج على مستوى الكلمة.

التقييم

from seqeval.metrics import classification_report
y_true = [["B-PER", "I-PER", "O", "B-ORG", "I-ORG"]]
y_pred = [["B-PER", "I-PER", "O", "B-ORG", "O"]]
print(classification_report(y_true, y_pred))

في المثال، كيان المؤسسة خاطئ لأن حدوده ناقصة، رغم أن معظم الرموز صحيحة.

التطبيقات

استخراج المعلومات من الأخبار، وفهرسة الوثائق، وإخفاء الهوية في السجلات الطبية، وبناء الرسوم المعرفية، وتحسين البحث.