تعريف اللهجة بالمطابقة المعجمية
Lexicon-based Dialect Identification
تقدير اللهجة بعدّ الكلمات المميزة لكل لهجة في النص، مع توزيع وزن الكلمات المشتركة بين اللهجات.
طريقة العمل
لكل مدخل في القاموس قائمة اللهجات التي يُستخدم فيها. يُطابق النص بالعبارات ثم الكلمات ثم الجذوع، وكل مطابقة تعطي كل لهجة من لهجاتها k وزناً قدره 1/k. تُعرض حصة كل لهجة ونسبة التغطية.
الخطوات
- تطبيع النص وتجزئته
- مطابقة العبارات والكلمات
- توزيع الأوزان
- حساب الحصص والتغطية
مثال
«شلونك؟ هسه وصلت» ← شلون (عراقية، خليجية) + هسه (عراقية) ← العراقية في المقدمة
المزايا
- شفاف ويشرح سبب الحكم
- لا يحتاج إلى بيانات تدريب
العيوب
- يفشل حين يخلو النص من الكلمات المميزة
- لا يميز لهجات المدن
- الكتابة العامية غير موحدة
الاستخدامات
- التعليم
- تحليل أولي لمدونات وسائل التواصل
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Zaidan, O. F. & Callison-Burch, C. (2014). Arabic Dialect Identification. Computational Linguistics, 40(1), 171–202.
- Bouamor, H. et al. (2018). The MADAR Arabic Dialect Corpus and Lexicon. LREC 2018.
