مكتبة الخوارزميات

Algorithm Library

45 خوارزمية وأسلوباً في معالجة اللغة، لكل منها تعريف وطريقة عمل وخطوات ومزايا وعيوب ومراجع. التصنيف يميّز بين التقليدي والمعتمد على مورد لغوي والتعلم الآلي والتعلم العميق والنماذج اللغوية الكبيرة.

تجزئة النصوص

خوارزمية تقليدية مطبّقة في المختبر تجزئة الكلمات بالتعابير النمطية Rule-based (Regex) Word Tokenization تقسيم النص إلى كلمات وأرقام وعلامات ترقيم باستخدام تعابير نمطية (Regular Expressions) تصف شكل كل نوع من الوحدات. خوارزمية تقليدية مطبّقة في المختبر تقسيم النص إلى جمل Sentence Boundary Detection تحديد حدود الجمل في النص اعتماداً على علامات الترقيم مع قواعد تمنع القطع الخاطئ عند الاختصارات والأعداد العشرية. خوارزمية تقليدية مطبّقة في المختبر ترميز أزواج البايت Byte-Pair Encoding (BPE) خوارزمية تجزئة فرعية تتعلم مفرداتها من مدونة بدمج أكثر زوج متجاور تكراراً من الرموز مرة بعد مرة، فتنتج وحدات بين الحرف والكلمة. خوارزمية تقليدية مطبّقة في المختبر تجزئة WordPiece WordPiece طريقة تجزئة فرعية تستخدمها نماذج BERT: تُبنى المفردات باختيار الدمجات التي ترفع احتمال بيانات التدريب، وتُرمز الكلمة بأطول تطابق من اليسار. خوارزمية تقليديةللشرح والمقارنة نموذج اللغة الأحادي للتجزئة Unigram Language Model Tokenization طريقة تجزئة فرعية تبدأ بمفردات كبيرة ثم تحذف الوحدات الأقل فائدة تدريجياً اعتماداً على نموذج احتمالي أحادي (Unigram)، وتختار أفضل تقطيع بخوارزمية فيتيربي. تعتمد على مورد لغوي مطبّقة في المختبر تقطيع اللواصق العربية Arabic Clitic Segmentation فصل الكلمة العربية إلى سوابق (حروف عطف وجر وأداة تعريف) وجذع ولواحق (ضمائر متصلة)، مثل «وبكتابهم» ← و + ب + كتاب + هم.

المعالجة المسبقة للنصوص

التحليل الصرفي

خوارزمية تقليدية مطبّقة في المختبر المجذّر الخفيف Light10 Light10 Light Stemmer مجذّر خفيف للعربية يحذف عدداً محدوداً من السوابق واللواحق الشائعة دون محاولة الوصول إلى الجذر، ويحسن الاسترجاع مقارنة بالكلمات الكاملة والجذور. خوارزمية تقليدية مطبّقة في المختبر مجذّر ISRI الجذري ISRI Arabic Root Stemmer مجذّر عربي يحاول الوصول إلى الجذر دون قاموس جذور، بحذف السوابق واللواحق ثم مطابقة الكلمة مع أوزان صرفية بحسب طولها. تعتمد على مورد لغويللشرح والمقارنة مجذّر الخوجة Khoja Root-based Stemmer مجذّر جذري يحذف أطول سابقة ولاحقة ثم يطابق الكلمة مع قائمة أوزان، ويتحقق من الجذر الناتج في قاموس جذور. تعتمد على مورد لغوي مطبّقة في المختبر استخراج اللِّمّة Lemmatization إرجاع الكلمة إلى صورتها المعجمية (Lemma): المفرد المذكر للاسم والصفة، والماضي المسند إلى الغائب للفعل، مع معرفة نوع الكلمة. تعتمد على مورد لغويللشرح والمقارنة التحليل الصرفي الكامل Morphological Analysis and Disambiguation توليد كل التحليلات الصرفية الممكنة للكلمة (الجذع، اللواصق، الجنس، العدد، الحالة، الزمن، الشخص...) ثم اختيار الأنسب للسياق.

تحديد أقسام الكلام

التعرف على الكيانات المسماة

تحليل المشاعر

التعرف على اللهجات العربية

التحليل النحوي

التضمينات الدلالية

تعلّم آليللشرح والمقارنة Word2Vec Word2Vec (CBOW / Skip-gram) طريقة لتعلم متجهات كثيفة للكلمات بشبكة ضحلة تتنبأ بالكلمة من سياقها (CBOW) أو بالسياق من الكلمة (Skip-gram). تعلّم آليللشرح والمقارنة FastText FastText Subword Embeddings امتداد لـ Word2Vec يمثل الكلمة بمجموع متجهات n-gram حروفها، فيعطي متجهات للكلمات غير المرئية ويناسب اللغات الغنية صرفياً كالعربية. تعلّم آليللشرح والمقارنة GloVe GloVe (Global Vectors) طريقة تتعلم متجهات الكلمات من مصفوفة التواجد المشترك العالمية بتقريب لوغاريتم عدد التواجدات بحاصل الضرب النقطي للمتجهات. خوارزمية تقليدية مطبّقة في المختبر تشابه جيب التمام Cosine Similarity مقياس لتشابه اتجاه متجهين يساوي حاصل ضربهما النقطي مقسوماً على حاصل ضرب طوليهما، ويتراوح بين −1 و1. خوارزمية تقليدية مطبّقة في المختبر تحليل المكونات الرئيسية Principal Component Analysis (PCA) طريقة لتقليل الأبعاد تُسقط البيانات على الاتجاهات التي تحمل أكبر تباين، وتُستخدم لرسم المتجهات عالية الأبعاد في بعدين. تعلّم عميقللشرح والمقارنة التضمينات السياقية Contextual Embeddings (BERT-style) تمثيلات تعطي الكلمة متجهاً مختلفاً بحسب جملتها، ناتجة عن طبقات المحول في نماذج مثل BERT وAraBERT وCAMeLBERT.

التشابه الدلالي

الترجمة الآلية

تعتمد على مورد لغوي مطبّقة في المختبر الترجمة الحرفية بالقاموس Dictionary-based Word Glossing استبدال كل كلمة أو عبارة قصيرة بمقابلها في قاموس ثنائي اللغة، وهي أبسط أشكال الترجمة القائمة على القواعد ولا تُعد ترجمة آلية حقيقية. تعلّم آليللشرح والمقارنة الترجمة الآلية الإحصائية Phrase-based Statistical Machine Translation ترجمة تتعلم جداول عبارات واحتمالاتها من نصوص متوازية، وتجمع نموذج ترجمة ونموذج لغة ونموذج إعادة ترتيب في نموذج لوغاريتمي خطي. تعلّم عميقللشرح والمقارنة المشفر والمفكك مع الانتباه Encoder–Decoder with Attention معمارية عصبية يقرأ فيها المشفر الجملة المصدر إلى تمثيلات، ويولد المفكك الترجمة كلمة بعد كلمة مع آلية انتباه تحدد أجزاء المصدر المهمة لكل خطوة. تعلّم عميقللشرح والمقارنة الترجمة بالمحولات Transformer NMT (MarianMT, NLLB) ترجمة عصبية بمعمارية المحول التي تعتمد على الانتباه الذاتي متعدد الرؤوس دون تكرار، وهي أساس نماذج الترجمة الحالية. خوارزمية تقليديةللشرح والمقارنة مقياس BLEU BLEU Score مقياس آلي لجودة الترجمة يحسب دقة n-grams (1–4) في الترجمة مقارنة بترجمة مرجعية أو أكثر، مع عقوبة للترجمات القصيرة.

تلخيص النصوص