التعرف على اللهجات العربية

Arabic Dialect Lab

اكتشف المفردات الدالة على الفصحى والعراقية والمصرية والخليجية والشامية والمغاربية في النص، وقارن المفردات بين اللهجات.

ما هذه الوحدة؟

تعريف اللهجات العربية (Arabic Dialect Identification) مهمة صعبة لأن اللهجات تتشارك أغلب مفرداتها مع الفصحى ومع بعضها، وتختلف في كلمات وظيفية قليلة (أدوات الاستفهام والنفي والإشارة والظروف) وفي النطق والصرف. مشاريع مثل MADAR وNADI بنت مدونات لمدن ودول عربية ودرّبت مصنفات إحصائية وعصبية عليها. الوضع الافتراضي هنا مطابقة معجمية: كل كلمة مميزة تعطي دليلاً للهجة أو اللهجات التي تُستخدم فيها، والدليل المشترك بين لهجات عدة يُقسم بينها.

الأداة: التعرف على اللهجات العربية

يعمل في متصفحك (JavaScript) — لا يُرسل نصك إلى أي جهة
الإعدادات

كيف تعمل الأداة؟

  • تطبيع النص وتجزئته، ثم البحث عن العبارات (حتى 3 كلمات) ثم الكلمات المفردة ثم جذوعها بعد فصل اللواصق.
  • كلمة تخص لهجة واحدة تعطيها نقطة كاملة، وكلمة مشتركة بين k لهجات تعطي كل واحدة 1/k.
  • النتيجة: نصيب كل لهجة من مجموع الأدلة، والتغطية = الكلمات المطابقة ÷ كل الكلمات.

كيف تقرأ النتائج؟

النسب حصص من الأدلة المعجمية وليست احتمالات مصنف. نص قصير بكلمة دالة واحدة يعطي نسبة 100% لكن بثقة ضعيفة؛ انظر إلى عدد الأدلة والتغطية.

الخوارزميات والأساليب

نميّز دائماً بين الخوارزميات التقليدية والأساليب المعتمدة على مورد لغوي والنماذج المدرَّبة. الأدوات في هذه الصفحة تقليدية أو معجمية، أما النماذج المدرَّبة فمشروحة هنا ولا تعمل إلا عبر محرك خارجي يفعّله مدير الموقع.

القيود وحدود الدقة

هذا ليس مصنف لهجات مدرباً. القاموس محدود ومرشح للمراجعة العلمية، ويغفل الاختلاف بين مدن البلد الواحد، والكتابة العامية غير موحدة إملائياً. يمكن ربط مصنف مدرب (مثل نموذج CAMeLBERT للهجات) عبر محرك خارجي.

نتائج هذه الأداة تعليمية: تُظهر كيف تعمل الخوارزمية خطوة خطوة، ولا تُعرض بوصفها نتائج علمية مؤكدة.

من قاعدة المعرفة

معلومة لهجية

تصنيف اللهجات العربية الكبرى

تُجمع اللهجات العربية عادة في مجموعات: الرافدية (العراقية)، والخليجية، والشامية، والمصرية والسودانية، والمغاربية (المغربية والجزائرية والتونسية والليبية)، إضافة إلى لهجات اليمن والحجاز ونجد. الحدود بينها متدرجة وليست قاطعة.

معرفة عامة في اللهجات العربية

معلومة لهجية

كلمات «الآن» في اللهجات

من أوضح الكلمات المميزة للهجات: هسه (العراقية)، الحين (الخليجية)، دلوقتي (المصرية)، هلق/هلأ (الشامية)، دابا (المغربية)، درك (الجزائرية)، توا (التونسية). لذلك تظهر في أمثلة المختبر.

معرفة عامة

معلومة لهجية

أدوات الملكية في اللهجات

تستخدم كل لهجة أداة للملكية بدل الإضافة أحياناً: مال (العراقية)، بتاع (المصرية)، تبع (الشامية)، ديال (المغربية)، تاع (الجزائرية)، متاع (التونسية).

معرفة عامة

معلومة لهجية

موارد بحثية للهجات

من الموارد المنشورة: مدونة MADAR المتوازية (25 مدينة)، ومهام NADI لتحديد اللهجة، ومدونة PADIC، ومحللات CAMeL Tools للهجات المصرية والخليجية والشامية. تحقق من رخصة كل مورد وشروط استخدامه.

Bouamor et al. (2018); Abdul-Mageed et al. (2020); Obeid et al. (2020)

قراءة النتائج

كيف تقرأ نتيجة اللهجة

النسب توزيع للأدلة المعجمية وليست احتمالات من نموذج مدرب. الكلمات المشتركة توزع وزنها على لهجاتها، والكلمات منخفضة الثقة (الموجودة في الفصحى أيضاً) تُعطى وزناً أقل. إن كانت الكلمات المطابقة قليلة فالنتيجة غير حاسمة.

توثيق المختبر

أسئلة شائعة

كيف يتعرف المختبر على اللهجة؟

بمطابقة معجمية: لكل كلمة في النص يبحث عن مدخل في قاعدة اللهجات، ثم يجمع الأصوات لكل لهجة ويعرض الكلمات الدالة. هذه ليست أداة تصنيف مدربة، والنتيجة مؤشر وليست حكماً.

ما اللهجات التي يدعمها المختبر؟

الفصحى، والعراقية، والمصرية، والخليجية، والشامية، والمغربية، والجزائرية، والتونسية. التغطية الأوسع للعراقية لأنها محور «مختبر اللهجة العراقية».

لماذا تظهر لهجتان بنفس الدرجة؟

لأن كثيراً من الكلمات مشتركة بين لهجات متجاورة، مثل «شلون» بين العراقية والخليجية، و«هيك» بين الشامية وغيرها. الكلمات المشتركة توزع وزنها على كل لهجاتها.

ما الفرق بين التعرف المعجمي والتصنيف المدرب للهجات؟

المعجمي يعتمد على قوائم كلمات معروفة، وهو شفاف لكنه يفشل حين لا توجد كلمات مميزة. المدرب (مثل نماذج MADAR وNADI) يتعلم من آلاف الجمل الموسومة، ويستخدم مقاطع الحروف والسياق.

ما مشروع MADAR؟

مشروع بحثي أنتج مدونة متوازية لجمل في لهجات 25 مدينة عربية مع الفصحى والإنجليزية والفرنسية، وأُقيمت عليه مهمة مشتركة لتحديد اللهجة عام 2019. هو مرجع مهم لأبحاث اللهجات.

ما مهمة NADI؟

سلسلة مهام مشتركة لتحديد اللهجة العربية على مستوى الدولة والمحافظة من تغريدات، بدأت عام 2020. تُستخدم نتائجها معياراً لأنظمة تصنيف اللهجات.

لماذا كل مداخل اللهجات معلّمة «بحاجة إلى مراجعة»؟

لأن الكلمات اللهجية تختلف بين المدن والأجيال، وبعضها مشترك. وُضعت المداخل من مصادر منشورة ومعرفة لغوية، لكن لا ينبغي اعتبارها نهائية قبل مراجعة متخصص. يمكن للمدير تغيير الحالة بعد المراجعة.

هل يمكن إضافة كلمات لهجية؟

نعم، من لوحة «إدارة اللهجات» فردياً أو باستيراد ملف CSV فيه أعمدة الكلمة واللهجة والمقابل الفصيح والفئة والمثال.

ما معنى «النص يبدو فصيحاً» في النتيجة؟

أن الأداة لم تجد كلمات لهجية مميزة، ووجدت كلمات وظيفية فصيحة مثل «الذي» و«إنّ» و«سوف». قد يكون النص لهجياً بكلمات غير موجودة في القاعدة.

ما أبرز صعوبات معالجة اللهجات؟

غياب إملاء موحد، والتبادل مع الفصحى في الجملة نفسها (Code-switching)، والاقتراض من لغات أخرى، وندرة البيانات الموسومة، وتنوع اللهجة داخل البلد الواحد.

هل تفرّق الأداة بين لهجات المدن داخل البلد؟

لا. المختبر يعمل على مستوى اللهجات الكبرى فقط. التمييز بين لهجات المدن (مثل الموصل والبصرة) يحتاج إلى بيانات أدق وهو موضوع بحثي قائم.

كيف تتعامل الأداة مع «گ» و«چ» في العراقية؟

تتعرف عليهما كما هما، وتقبل عند المطابقة كتابة «گ» كافاً و«چ» جيماً إذا كان المدخل مكتوباً بهما، فتطابق «كال» مدخل «گال» بثقة منخفضة. لا تحوّلها إلى «قال» لأنها كلمة فصيحة شائعة ستضلل النتيجة. «چ» تُستخدم في العراقية والخليجية لصوت «تش»، مثل «چا» و«چم».

تمارين وتحديات

مبتدئ تطبيق في المختبر

ثماني لهجات

حمّل أمثلة اللهجات الثمانية واحداً واحداً. هل أصابت الأداة اللهجة في كل مرة؟ ما الكلمات الدالة؟

تلميح

انظر جدول الكلمات المطابقة.

إظهار الحل

غالباً تصيب لأن الجمل تحتوي كلمات مميزة (هسه، دلوقتي، الحين، هلق، دابا، درك، توا). العراقية والخليجية قد تتقاربان بسبب «شلونك».

متوسط سؤال مفاهيمي

كلمات مشتركة

اذكر ثلاث كلمات مشتركة بين العراقية والخليجية، وكلمة تميز كل واحدة منهما.

تلميح

ابحث في القاموس عن المداخل المشتركة.

إظهار الحل

مشتركة: شلون، وين، زين. عراقية مميزة: هسه، ماكو (وتُستخدم في الكويت أيضاً)، كلش. خليجية: الحين، وايد.

متوسط تطبيق في المختبر

خلط الفصحى واللهجة

اكتب جملة تبدأ بالفصحى وتنتهي بالعراقية. كيف توزعت النتيجة؟

تلميح

التبادل اللغوي (Code-switching).

إظهار الحل

تظهر الفصحى والعراقية معاً، وتعتمد النسبة على عدد الكلمات الدالة في كل جزء.

متقدم تحدٍّ بحثي

تصنيف اللهجات المدرب

صف بإيجاز كيف يُبنى مصنف لهجات بمقاطع الحروف ونموذج Naive Bayes، وما البيانات المناسبة.

تلميح

MADAR.

إظهار الحل

تُستخرج مقاطع حروف (1-5) وأحياناً كلمات، وتوزن بـ TF-IDF، ويُدرب Naive Bayes متعدد الحدود على مدونة موسومة مثل MADAR، ويُقيَّم بـ Macro-F1 على مجموعة اختبار منفصلة.

مبتدئ تطبيق في المختبر

نص فصيح

أدخل فقرة من خبر صحفي. ماذا تقول الأداة؟

تلميح

ابحث عن رسالة «يبدو فصيحاً».

إظهار الحل

غالباً «يبدو فصيحاً» لعدم وجود كلمات لهجية، مع ذكر الكلمات الوظيفية الفصيحة المطابقة.

متوسط سؤال مفاهيمي

حدود المطابقة المعجمية

لماذا قد يفشل الكشف المعجمي مع جملة لهجية قصيرة جداً؟

تلميح

فكّر في التغطية.

إظهار الحل

لأن الجملة قد لا تحتوي أي كلمة موجودة في القاعدة، أو تحتوي كلمات مشتركة فقط، فلا يوجد دليل كافٍ.

أقسام ذات صلة في الموقع