الوسم بنموذج ماركوف المخفي
HMM POS Tagging
نموذج احتمالي يعد الوسوم حالات مخفية والكلمات مشاهدات، ويختار تسلسل الوسوم الأعلى احتمالاً بخوارزمية فيتيربي.
طريقة العمل
يُقدَّر من مدونة موسومة احتمال الانتقال بين الوسوم P(t_i | t_{i-1}) واحتمال الإصدار P(w_i | t_i)، ثم يُبحث عن التسلسل الذي يعظم حاصل ضربهما بالبرمجة الديناميكية.
الخطوات
- عدّ الانتقالات والإصدارات في المدونة
- التنعيم للكلمات النادرة
- فك الترميز بفيتيربي
مثال
TnT من أشهر أدوات HMM من الدرجة الثانية.
المزايا
- سريع وبسيط ومفهوم احتمالياً
العيوب
- يفترض استقلالية قوية
- أضعف من CRF والنماذج العصبية
الاستخدامات
- وسم أقسام الكلام
- التعرف على الكلام سابقاً
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Brants, T. (2000). TnT – A Statistical Part-of-Speech Tagger. ANLP 2000.
- Rabiner, L. R. (1989). A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Proceedings of the IEEE, 77(2).
هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح تحديد أقسام الكلام
