الوسم بنموذج ماركوف المخفي

HMM POS Tagging

نموذج احتمالي يعد الوسوم حالات مخفية والكلمات مشاهدات، ويختار تسلسل الوسوم الأعلى احتمالاً بخوارزمية فيتيربي.

تعلّم آلي

طريقة العمل

يُقدَّر من مدونة موسومة احتمال الانتقال بين الوسوم P(t_i | t_{i-1}) واحتمال الإصدار P(w_i | t_i)، ثم يُبحث عن التسلسل الذي يعظم حاصل ضربهما بالبرمجة الديناميكية.

الخطوات

  1. عدّ الانتقالات والإصدارات في المدونة
  2. التنعيم للكلمات النادرة
  3. فك الترميز بفيتيربي
المدخلاتجملة + نموذج مدرب
المخرجاتتسلسل وسوم
التعقيدفيتيربي O(n·T²) حيث T عدد الوسوم

مثال

TnT من أشهر أدوات HMM من الدرجة الثانية.

المزايا

  • سريع وبسيط ومفهوم احتمالياً

العيوب

  • يفترض استقلالية قوية
  • أضعف من CRF والنماذج العصبية

الاستخدامات

  • وسم أقسام الكلام
  • التعرف على الكلام سابقاً

مكتبات تطبّقها

NLTK (HiddenMarkovModelTagger)

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Brants, T. (2000). TnT – A Statistical Part-of-Speech Tagger. ANLP 2000.
  • Rabiner, L. R. (1989). A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Proceedings of the IEEE, 77(2).

هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح تحديد أقسام الكلام