جرّب بنفسك كيف تفهم الحواسيب اللغة: قسّم النص، وطبّعه، واستخرج الجذور، ووسم أقسام الكلام والكيانات، وحلّل المشاعر واللهجات، وقِس التشابه، ولخّص. كل الأدوات تعمل في متصفحك دون نموذج لغوي ودون إرسال نصك إلى أي جهة، مع عناية خاصة بالعربية ولهجاتها.
كل وحدة فيها شرح وأداة تعمل فعلاً وأمثلة وتمارين وأسئلة شائعة. النتائج من خوارزميات تقليدية ومعاجم المختبر، ويُذكر بجانب كل نتيجة أنها تقريبية حين تكون كذلك.
تُقسم معالجة اللغة تقليدياً إلى مستويات: الصوتي (Phonology)، والصرفي (Morphology) لبنية الكلمة، والنحوي (Syntax) لبنية الجملة، والدلالي (Semantics) للمعنى، والتداولي (Pragmatics) للمعنى في السياق، ومستوى الخطاب (Discourse) للعلاقة بين الجمل. أدوات المختبر تغطي الصرف والنحو وجزءاً من الدلالة.
معرفة عامة في اللسانيات الحاسوبية
مفهوم
تطور مناهج NLP
مرت معالجة اللغة بثلاث مراحل كبرى: الأنظمة القاعدية التي يكتب قواعدها خبراء (حتى الثمانينيات تقريباً)، ثم الطرق الإحصائية وتعلم الآلة من المدونات (التسعينيات والألفية)، ثم التعلم العميق والتمثيلات الموزعة منذ نحو 2013، وصولاً إلى نماذج Transformer المدربة مسبقاً منذ 2018 والنماذج اللغوية الكبيرة.
Jurafsky & Martin, Speech and Language Processing (3rd ed. draft)
مفهوم
المدونة اللغوية
المدونة (Corpus) مجموعة نصوص مختارة لغرض محدد. قد تكون خاماً أو موسومة (بأقسام الكلام أو الكيانات أو الأشجار النحوية). جودة النموذج الإحصائي مرتبطة بحجم المدونة وتمثيلها للنصوص التي سيعمل عليها.
معرفة عامة
مفهوم
التمثيل العددي للنص
لا تعمل الخوارزميات على الحروف مباشرة، بل على أعداد. أبسط التمثيلات حقيبة الكلمات (Bag of Words) وأوزان TF-IDF، ثم المتجهات الكثيفة (Word2Vec وGloVe وFastText)، ثم التمثيلات السياقية من نماذج مثل BERT.
معرفة عامة
مفهوم
حقيبة الكلمات (Bag of Words)
تمثيل يعدّ تكرار كل كلمة في النص ويهمل ترتيبها. بسيط وفعال في التصنيف، لكنه لا يفرق بين «الكلب عض الرجل» و«الرجل عض الكلب».
معرفة عامة
مفهوم
TF-IDF
وزن الكلمة = تكرارها في الوثيقة (TF) × مقلوب شيوعها في الوثائق (IDF = log(N/df)). يرفع وزن الكلمات المميزة للوثيقة ويخفض الكلمات الشائعة في كل الوثائق. يستخدمه المختبر في التلخيص واستخراج الكلمات المفتاحية وفي المساعد.
Salton & Buckley (1988)
مفهوم
نماذج اللغة
نموذج اللغة يعطي احتمالاً لتسلسل الكلمات أو يتنبأ بالكلمة التالية. بدأت بنماذج n-gram الإحصائية، ثم الشبكات العصبية التكرارية، ثم Transformer. النماذج اللغوية الكبيرة نماذج لغة ضخمة مدربة على كميات هائلة من النص.
معرفة عامة
مفهوم
معمارية Transformer
معمارية نُشرت عام 2017 في ورقة «Attention Is All You Need» تعتمد على آلية الانتباه الذاتي بدل التكرار، فتسمح بمعالجة متوازية وتمثيل علاقات بعيدة بين الكلمات. هي أساس BERT وGPT وأغلب أنظمة الترجمة الحديثة.
Vaswani et al. (2017)
مفهوم
BERT والنماذج العربية
BERT نموذج Transformer يُدرب مسبقاً بتنبؤ الكلمات المحجوبة. له نسخ عربية منها AraBERT (الجامعة الأمريكية في بيروت)، وCAMeLBERT (جامعة نيويورك أبوظبي)، وMARBERT (جامعة كولومبيا البريطانية) المدرب على تغريدات تشمل اللهجات. تُضبط هذه النماذج (Fine-tuning) لمهام مثل التصنيف وNER.
Devlin et al. (2019); Antoun et al. (2020); Inoue et al. (2021); Abdul-Mageed et al. (2021)
مفهوم
الضبط الدقيق (Fine-tuning)
تدريب نموذج مدرب مسبقاً على بيانات مهمة محددة لعدد قليل من الدورات. يحتاج بيانات موسومة أقل بكثير من التدريب من الصفر، ويجب الانتباه إلى فصل بيانات الاختبار ومراقبة الإفراط في التكيف (Overfitting).
معرفة عامة
مفهوم
الاسترجاع المعزز بالتوليد (RAG)
نهج يسترجع مقاطع ذات صلة من قاعدة معرفة ثم يمررها إلى نموذج لغوي ليولد جواباً مستنداً إليها. يقلل الهلوسة ويسمح بذكر المصادر. وضع LLM في مساعد المختبر يستخدم هذا النهج على قاعدة معرفة المختبر.
Lewis et al. (2020)
مفهوم
الهلوسة في النماذج اللغوية
توليد معلومات تبدو مقنعة لكنها غير صحيحة أو غير موجودة في المصادر. لذلك يذكر مساعد المختبر مصادر جوابه، ويقول «لا أعرف» حين لا يجد معلومات كافية، ولا يرسل النص لنموذج خارجي إلا إذا فعّل المدير ذلك.
معرفة عامة
تحديات معالجة العربية
تحدٍّ
غياب التشكيل
أغلب النصوص العربية تُكتب بلا حركات، فتحتمل الكلمة عدة قراءات (مثل «كتب»: كَتَبَ، كُتُب، كُتِبَ). الحلول: محللات صرفية تعطي كل الاحتمالات ثم مزيلات غموض سياقية، أو أنظمة تشكيل آلي، أو نماذج سياقية تتعامل مع الغموض ضمنياً.
Habash (2010) Introduction to Arabic Natural Language Processing
تحدٍّ
الصرف الغني والالتصاق
العربية لغة اشتقاقية تلتصق بها السوابق واللواحق، فتتكاثر الصيغ المختلفة للكلمة الواحدة. يؤدي ذلك إلى مفردات ضخمة وتشتت إحصائي. الحلول: التجذيع الخفيف، أو التجزئة الصرفية (مثل نظام ATB)، أو الكلمات الفرعية (BPE/WordPiece).
Habash (2010)
تحدٍّ
التنوع الإملائي
تختلف كتابة الهمزات والياء والتاء المربوطة بين الكتّاب، وتُستخدم حروف فارسية أحياناً، وتظهر أخطاء شائعة. التطبيع يحل جزءاً من المشكلة لكنه قد يدمج كلمات مختلفة.
معرفة عامة
تحدٍّ
اللهجات وقلة الموارد
النصوص على الإنترنت تكثر فيها اللهجات، والموارد الموسومة لها أقل من الفصحى، وتختلف اللهجة داخل البلد الواحد. من الموارد المعروفة: مدونة MADAR، ومهام NADI المشتركة، ومحلل CALIMA للمصرية ضمن CAMeL Tools.
Bouamor et al. (2018); Abdul-Mageed et al. (2020)
تحدٍّ
العربيزي والكتابة المختلطة
كتابة العربية بالحروف اللاتينية والأرقام، وخلط العربية بالإنجليزية أو الفرنسية في الجملة نفسها. تحتاج أنظمة تحويل حرفي وتحديد لغة على مستوى الكلمة.
معرفة عامة
تحدٍّ
تقييم الأنظمة العربية
كثير من الأوراق تقيّم على مجموعات بيانات مختلفة أو بتقسيمات مختلفة، فيصعب المقارنة. يُنصح باستخدام مجموعات معيارية منشورة بتقسيماتها الرسمية، وذكر الإصدارات، وتكرار التجارب ببذور عشوائية مختلفة، واختبار الدلالة الإحصائية.
ممارسة بحثية عامة
اتجاهات بحثية
اتجاه بحثي
موضوعات بحث: اللهجة العراقية
من الفجوات القابلة للبحث: مدونات موسومة للهجة العراقية بأنواعها (بغدادية، موصلية، جنوبية)، وتحديد اللهجة على مستوى المحافظة، وتحليل المشاعر في التعليقات العراقية، والتجزئة الصرفية للعراقية، والترجمة بين العراقية والفصحى. يجب التحقق من الأدبيات الحديثة قبل تحديد الفجوة.
اقتراح بحثي (يحتاج مراجعة أدبيات)
اتجاه بحثي
موضوعات بحث: التفسير (XAI) في NLP العربية
دراسة مدى توافق تفسيرات طرق مثل الانتباه وSHAP وLIME وIntegrated Gradients مع أحكام لغويين في مهام عربية مثل المشاعر وتحديد اللهجة، وتأثير التجزئة إلى كلمات فرعية على قابلية التفسير.
اقتراح بحثي (يحتاج مراجعة أدبيات)
اتجاه بحثي
موضوعات بحث: الموارد قليلة الحجم
مقارنة الطرق التقليدية (مثل Naive Bayes على مقاطع الحروف) بالنماذج المدربة مسبقاً حين تكون البيانات قليلة جداً، وتقنيات زيادة البيانات للعربية، والتعلم بأمثلة قليلة (Few-shot) بنماذج اللغة الكبيرة.
اقتراح بحثي (يحتاج مراجعة أدبيات)
اتجاه بحثي
موضوعات مشاريع تخرج
أمثلة قابلة للتنفيذ: مصنف أخبار عربي بـ TF-IDF وSVM، ومحلل مشاعر لتعليقات منتج مع مقارنة معجمي/مدرب، ومستخرج كيانات لأخبار محلية بالقواعد والقوائم، وملخص استخراجي بـ TextRank مع تقييم ROUGE، وأداة بحث عربية بالتجذيع الخفيف ومقارنة الدقة مع وبدون تطبيع.
اقتراح تعليمي
اتجاه بحثي
منهجية تجربة NLP سليمة
حدد السؤال البحثي، واختر مجموعة بيانات معيارية، وقسّمها قبل أي معالجة تعتمد على الإحصاءات، وابنِ خط أساس بسيطاً، وقارن بمقاييس مناسبة (Macro-F1 للفئات غير المتوازنة)، وكرر التجربة ببذور مختلفة، واذكر فترات الثقة، وحلل الأخطاء يدوياً.
ممارسة بحثية عامة
عن المختبر
عن المختبر
المحركات في المختبر
المختبر مبني على طبقة محركات: محرك JavaScript داخل المتصفح (افتراضي)، ومحرك PHP على الخادم (للعمليات نفسها عند الحاجة وللمساعد)، ومحرك Python خارجي اختياري، وواجهة API خارجية اختيارية. لكل محرك قائمة قدرات، ولا تظهر وظيفة إلا إذا كان محركها مفعلاً ومختبراً.
توثيق المختبر
عن المختبر
الخصوصية في المختبر
نصوص الأدوات لا تغادر المتصفح في الوضع الافتراضي. الإحصاءات أعداد يومية لكل أداة بلا نصوص، وعدّ الزوار يستخدم بصمة مجزأة غير قابلة للعكس تُحذف بعد مدة الاحتفاظ. لا تُرسل أي بيانات إلى طرف خارجي إلا إذا فعّل المدير نموذجاً لغوياً أو محركاً خارجياً.
توثيق المختبر
عن المختبر
الفرق بين أقسام المختبر
يفصل المختبر بين أربعة أنواع: خوارزميات تقليدية تعمل فعلاً في المتصفح، وموارد لغوية (قواميس ومعاجم وقوائم) من قاعدة البيانات، ونماذج تعلم آلي وتعلم عميق تُشرح ولا تُشغل إلا بمحرك خارجي، ونماذج لغوية كبيرة اختيارية للمساعد فقط. كل نتيجة موسومة بنوعها.
توثيق المختبر
عن المختبر
المكتبات المرتبطة
يعرض «دليل المكتبات» أدوات حقيقية مثل CAMeL Tools وPyArabic وNLTK وspaCy وStanza وFarasa وHugging Face Transformers ونماذج AraBERT وCAMeLBERT وMARBERT وArabic WordNet وUniversal Dependencies، مع رخصة كل منها كما ظهرت في مصدرها الرسمي وتاريخ التحقق.
توثيق المختبر
كيف تقرأ النتائج
قراءة النتائج
كيف تقرأ درجة الثقة
«عالية» تعني أن القرار جاء من قاموس أو نمط ثابت. «متوسطة» تعني قاعدة شكلية أو مطابقة بعد فصل السوابق. «منخفضة» تعني تخميناً قاعدياً. النتائج المنخفضة تحتاج مراجعة بشرية، ولا تصلح لاستنتاجات علمية.
توثيق المختبر
أسئلة عامة عن المختبر والمساعد
ما معالجة اللغة الطبيعية؟
معالجة اللغة الطبيعية (NLP) فرع من الذكاء الاصطناعي وعلم الحاسوب يهتم بجعل الحاسوب يحلل اللغة البشرية ويفهمها ويولدها. تشمل مهامها التجزئة والتحليل الصرفي والنحوي والتعرف على الكيانات وتحليل المشاعر والترجمة والتلخيص.
ما الفرق بين الخوارزميات التقليدية والنماذج المدربة في هذا المختبر؟
الخوارزميات التقليدية قواعد وصيغ رياضية محددة (مثل Light10 وTF-IDF وTextRank) تعطي النتيجة نفسها دائماً ويمكن تتبع خطواتها. النماذج المدربة (مثل CRF وBERT) تتعلم من بيانات موسومة وتحتاج ملفات نماذج. المختبر يشغل التقليدية داخل المتصفح، ويعرض النماذج المدربة شرحاً فقط ما لم يُفعَّل محرك Python أو API خارجي.
هل يحتاج المختبر إلى إنترنت أو مفتاح API؟
لا. كل الأدوات الافتراضية تعمل داخل المتصفح بخوارزميات JavaScript وبيانات من قاعدة بيانات الموقع، ولا يُرسل النص إلى أي خدمة خارجية. نموذج اللغة الكبير ومحرك Python اختياريان ويفعّلهما المدير فقط.
هل تُحفظ النصوص التي أكتبها؟
لا تُحفظ نصوص الأدوات أبداً، لأن المعالجة تجري في متصفحك. تُحسب فقط أعداد الاستخدام لكل أداة (رقم يومي) إذا فعّلها المدير. أسئلة المساعد لا تُسجل نصّياً إلا إذا فعّل المدير خيار حفظ الأسئلة صراحة.
لماذا تظهر كلمة «تقريبي» بجانب بعض النتائج؟
لأن بعض الأدوات قاعدية أو معجمية محدودة التغطية، مثل الوسم القاعدي ورصد اللهجات والمشاعر المعجمية. المختبر يميز النتيجة الحتمية (مثل عدّ الكلمات) من النتيجة التقديرية، ويعرض درجة ثقة وسبباً لكل قرار حتى لا تُفهم النتيجة على أنها حكم علمي مؤكد.
ما أكبر تحديات معالجة اللغة العربية؟
من أبرزها: الغموض الناتج عن غياب التشكيل، والصرف الاشتقاقي الغني، والسوابق واللواحق الملتصقة بالكلمة، وتعدد اللهجات وكتابتها بلا معيار، والكتابة بالحروف اللاتينية (العربيزي)، وقلة الموارد الموسومة لبعض اللهجات مقارنة بالإنجليزية.
ما الفرق بين الفصحى واللهجات من منظور المعالجة الآلية؟
الفصحى لها قواعد إملائية ونحوية موحدة وموارد كثيرة، أما اللهجات فتختلف في المفردات والصرف والنطق، وتُكتب بلا إملاء موحد. لذلك تنخفض دقة الأدوات المبنية على الفصحى عند تطبيقها على نص لهجي.
ما خط المعالجة (Pipeline) في NLP؟
هو سلسلة مراحل يمر بها النص بالترتيب، مثل: تنظيف، ثم تطبيع، ثم تجزئة، ثم إزالة كلمات التوقف، ثم تجذيع، ثم تمثيل عددي، ثم نموذج. ترتيب المراحل يؤثر في النتيجة، ويمكنك تجربة ذلك في «مساحة التجارب».
هل أستطيع استخدام نتائج المختبر في بحث علمي؟
المختبر أداة تعليمية. يمكن الاستفادة منه لفهم الطرق ومقارنتها، لكن نتائج البحث يجب أن تُبنى على أدوات وموارد موثقة (مثل CAMeL Tools أو Farasa أو نماذج منشورة) وعلى مجموعات بيانات معيارية مع ذكر الإصدارات وإعدادات التقييم.
Precision نسبة ما أصاب من بين ما تنبأ به النظام، وRecall نسبة ما التقطه النظام من بين الحالات الصحيحة كلها. مقياس F1 هو المتوسط التوافقي لهما.
ما تسرب البيانات (Data Leakage) في تجارب NLP؟
هو وصول معلومات من بيانات الاختبار إلى التدريب، مثل بناء المفردات أو أوزان TF-IDF من كامل البيانات قبل التقسيم، أو وجود جمل مكررة بين التدريب والاختبار. يرفع ذلك النتائج بشكل زائف، والحل أن تُبنى كل الإحصاءات من مجموعة التدريب فقط.
ما المقصود بالعربيزي (Arabizi)؟
كتابة العربية أو اللهجات بالحروف اللاتينية والأرقام، مثل 3 للعين و7 للحاء و2 للهمزة. تحتاج إلى تحويل (Transliteration) قبل تطبيق أدوات العربية عليها، وهذا المختبر لا يحولها تلقائياً.
ما علاقة هذا المختبر بموسوعة المصطلحات وأكاديمية الذكاء الاصطناعي؟
المختبر يركز على التجربة العملية لمعالجة اللغة. للتعريفات الموسعة راجع موسوعة المصطلحات، وللدروس المتسلسلة راجع مسار NLP في أكاديمية الذكاء الاصطناعي. تظهر روابطهما في الصفحة الرئيسية للمختبر عند تثبيت الإضافتين.
ما الفرق بين NLP التقليدية والنماذج اللغوية الكبيرة (LLM)؟
NLP التقليدية تبني لكل مهمة خوارزمية أو نموذجاً مستقلاً بخصائص يصممها الباحث. النماذج اللغوية الكبيرة تُدرَّب مسبقاً على كميات ضخمة من النص ثم تُوجَّه بالتعليمات أو تُضبط للمهمة. هي أقوى في الفهم والتوليد، لكنها أعلى كلفة وقد تولد معلومات غير صحيحة (الهلوسة).
ما مساعد مختبر معالجة اللغة الطبيعية؟
مساعد يجيب عن أسئلة NLP من قاعدة المعرفة المحلية للمختبر بطرق استرجاع تقليدية (تطبيع، مرادفات، TF-IDF، مطابقة الأسئلة الشائعة). يعمل بلا إنترنت، ويعرض مصادر جوابه، وإذا لم يجد جواباً يقول ذلك ويقترح أدوات قريبة.
هل يستخدم المساعد ChatGPT أو نموذجاً لغوياً؟
ليس افتراضياً. يمكن للمدير تفعيل مزوّد نموذج لغوي (OpenAI أو Anthropic أو Gemini أو DeepSeek أو متوافق مع OpenAI) بمفتاحه الخاص، وعندها يُرسل للنموذج سؤالك مع المقاطع المسترجعة فقط، ويظهر الجواب موسوماً بمصدره.
لماذا قال المساعد إنه لم يجد جواباً؟
لأن سؤالك لا يطابق محتوى القاعدة بدرجة كافية. المساعد لا يخمن. جرّب كلمات أخرى، أو استخدم أحد الأقسام المقترحة، أو راجع موسوعة المصطلحات.
هل يفهم المساعد اللهجة العراقية؟
يفهم أدوات الاستفهام الشائعة مثل شنو وشلون وليش وشكد ووين، ويحولها إلى مقابلها الفصيح قبل البحث، ويتحمل بعض الأخطاء الإملائية.
هل تُحفظ أسئلتي للمساعد؟
افتراضياً يُحفظ فقط سجل مختصر بلا نص السؤال (القسم، والنية، والنتيجة، والتقييم) لتحسين القاعدة، ويُحذف تلقائياً بعد مدة الاحتفاظ. حفظ نص السؤال خيار يفعّله المدير صراحة.
ما فائدة تقييم الجواب؟
يُخزن تقييمك (مفيد أو غير مفيد) مع السجل المختصر ليعرف المدير الأسئلة التي تحتاج تحسيناً في قاعدة المعرفة.
هل يجيب المساعد عن أسئلة خارج NLP؟
لا. نطاقه معالجة اللغة الطبيعية وأدوات المختبر. للأسئلة الأخرى يقترح أقسام الموقع المناسبة.
أستاذ مساعد دكتور في الذكاء الاصطناعي والتعلم العميق
جامعة القادسية
نبذة تعريفية
باحث وأكاديمي متخصص في الذكاء الاصطناعي (AI)، والتعلم العميق (Deep Learning)، والرؤية الحاسوبية (Computer Vision)، ومعالجة اللغة الطبيعية (NLP). يهدف مشروع "التعلم العميق بالعربي" إلى إثراء المحتوى العلمي والتقني العربي بمراجع وتطبيقات برمجية رصينة ومجانية للباحثين والمهتمين في كل أرجاء الوطن العربي.
مساعد مختبر معالجة اللغة الطبيعية
أنا مساعد مختبر معالجة اللغة الطبيعية. اسألني عن مفهوم أو خوارزمية أو كلمة لهجية، وسأجيبك من قاعدة معرفة المختبر مع ذكر المصادر.
مساعد مختبر معالجة اللغة الطبيعية
الوضع المعرفي: قاعدة معرفة المختبر
يجيب من قاعدة معرفة المختبر فقط، دون نموذج لغوي خارجي ودون إرسال سؤالك إلى أي جهة.