تعريف اللهجة بنماذج n-gram

Character/Word n-gram Dialect Identification

تصنيف النص إلى لهجة باستخدام ميزات n-gram الحروف والكلمات (غالباً مع TF-IDF) ومصنف مثل Naive Bayes أو SVM، ويعمل جيداً على مستوى المدن.

تعلّم آلي

طريقة العمل

تُستخرج n-gram الحروف (1–5) والكلمات (1–3) من نصوص موسومة باللهجة، وتُوزن بـ TF-IDF، ويُدرَّب مصنف خطي أو احتمالي. في دراسة MADAR لمستوى 25 مدينة كان هذا النهج قوياً جداً.

الخطوات

  1. استخراج n-grams
  2. الترجيح بـ TF-IDF
  3. تدريب المصنف
  4. التصنيف
المدخلاتنص + نموذج
المخرجاتلهجة/مدينة واحتمال
التعقيدخطي في حجم الميزات

مثال

نماذج اللغة على مستوى الحروف تلتقط فروقاً مثل «اكو» و«فيه» و«كاين».

المزايا

  • دقة عالية مع بيانات كافية
  • خفيف مقارنة بالمحولات

العيوب

  • يحتاج إلى مدونة موسومة باللهجات
  • يتأثر بالمواضيع المرتبطة بالبلد

الاستخدامات

  • تعريف اللهجات على مستوى البلد والمدينة

مكتبات تطبّقها

scikit-learnCAMeL Tools (dialectid)

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Salameh, M., Bouamor, H. & Habash, N. (2018). Fine-Grained Arabic Dialect Identification. COLING 2018.
  • Abdul-Mageed, M. et al. (2020). NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task. WANLP 2020.

هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح التعرف على اللهجات العربية