الحقول العشوائية الشرطية

Conditional Random Fields (CRF)

نموذج تمييزي لوسم التسلسلات يحسب احتمال تسلسل الوسوم بأكمله بشرط الجملة، باستخدام ميزات يصممها الباحث.

تعلّم آلي

طريقة العمل

تُعرَّف ميزات (الكلمة، لواصقها، الكلمات المجاورة، وجودها في قائمة، الوسم السابق)، ويتعلم النموذج أوزانها من بيانات موسومة بتعظيم الاحتمال الشرطي، ثم يفك الترميز بفيتيربي.

الخطوات

  1. تصميم الميزات
  2. تدريب الأوزان
  3. فك الترميز
المدخلاتجملة + نموذج
المخرجاتوسوم BIO أو أقسام كلام
التعقيدالتدريب مكلف نسبياً؛ فك الترميز O(n·T²)

مثال

كان CRF الأساس في كثير من أنظمة NER العربية قبل المحولات.

المزايا

  • يستفيد من ميزات غنية متداخلة
  • أدق من HMM

العيوب

  • هندسة الميزات يدوية
  • تدريب أبطأ

الاستخدامات

  • NER
  • وسم أقسام الكلام
  • التقطيع

مكتبات تطبّقها

sklearn-crfsuiteCRF++

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Lafferty, J., McCallum, A. & Pereira, F. (2001). Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. ICML 2001.

هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح التعرف على الكيانات المسماة