مقدمة في معالجة اللغات الطبيعية
Introduction to NLP
ما معالجة اللغات الطبيعية، وما مهامها، ولماذا اللغة صعبة على الحاسوب؟
تقدّمك في المسار0%
ما معالجة اللغات الطبيعية؟
مجال يجمع علوم الحاسوب واللسانيات وتعلم الآلة لبناء أنظمة تتعامل مع النصوص والكلام.
المهام الرئيسة
| المهمة | مثال |
|---|---|
| تصنيف النصوص | تصفية الرسائل المزعجة، تصنيف الأخبار |
| تحليل المشاعر | تقييمات المنتجات |
| التعرف على الكيانات المسماة | استخراج الأشخاص والأماكن والمؤسسات |
| الترجمة الآلية | من العربية إلى الإنجليزية |
| التلخيص | تلخيص المقالات |
| الإجابة عن الأسئلة | البحث في الوثائق |
| التوليد والحوار | المساعدات الحوارية |
لماذا هي صعبة؟
- الغموض المعجمي: «عين» قد تكون عضو الإبصار أو نبع ماء أو جاسوساً.
- الغموض التركيبي: «رأيت الرجل بالمنظار».
- السياق والمعرفة العامة: فهم الضمائر والمجاز والسخرية.
- التنوع: لغات ولهجات وأساليب كتابة مختلفة.
خصائص العربية
- صرف غني: «فسيكتبونها» = ف + س + يكتب + ون + ها.
- غياب التشكيل في أغلب النصوص.
- الازدواجية اللغوية: الفصحى إلى جانب لهجات كثيرة، وكتابة العربية بحروف لاتينية أحياناً (Arabizi).
- موارد أقل مقارنة بالإنجليزية، مع نمو مستمر في البيانات والنماذج العربية.
مراحل التطور
- القواعد اليدوية: معاجم وقواعد نحوية.
- الطرق الإحصائية: نماذج n-gram، ومصنفات مثل بايز الساذج وSVM.
- الشبكات العصبية: التضمينات وRNN.
- النماذج المدربة مسبقاً: المحوّلات وBERT وGPT والنماذج اللغوية الكبيرة.
مصطلحات الدرس
- الغموض اللغوي Linguistic Ambiguity
- احتمال أن تحمل الكلمة أو الجملة أكثر من معنى أو تركيب، ويُحسم غالباً بالسياق.
- معالجة اللغات الطبيعية Natural Language Processing
- مجال يطور طرقاً حاسوبية لتحليل اللغة البشرية وفهمها وتوليدها.
الملخص
معالجة اللغات الطبيعية مجال يهدف إلى تمكين الحواسيب من تحليل اللغة البشرية وفهمها وتوليدها. تشمل مهامها التصنيف، واستخراج المعلومات، والترجمة، والتلخيص، والإجابة عن الأسئلة، والحوار. تنبع صعوبتها من الغموض على مستويات متعددة، واعتماد المعنى على السياق، وتنوع اللغات. تطورت من القواعد اليدوية إلى الطرق الإحصائية ثم الشبكات العصبية والنماذج المدربة مسبقاً.
أسئلة مراجعة
-
اذكر أربع مهام في معالجة اللغات الطبيعية.
تصنيف النصوص، والترجمة الآلية، والتعرف على الكيانات المسماة، والتلخيص.
-
اذكر تحدياً خاصاً باللغة العربية.
الصرف الغني (كلمة واحدة قد تحمل حرف عطف وفعلاً وضميراً)، أو غياب التشكيل، أو تعدد اللهجات.
المصادر والمراجع
إكمال الدرس
أكملت كل دروس المسار! يمكنك الآن طلب شهادة إكمال المسار.
اطلب الشهادة