المقارنات بين الخوارزميات

Compare

شغّل خطّي معالجة مختلفين على النص نفسه وشاهد الفرق كلمة بكلمة، ثم راجع جداول المقارنة بين الخوارزميات المتقابلة.

قارن خطّي معالجة

يعمل في متصفحك

تجذيع خفيف مقابل استخراج الجذر

البندالمجذّر الخفيف Light10مجذّر ISRI الجذري
العائلةخوارزمية تقليديةخوارزمية تقليدية
التعريفمجذّر خفيف للعربية يحذف عدداً محدوداً من السوابق واللواحق الشائعة دون محاولة الوصول إلى الجذر، ويحسن الاسترجاع مقارنة بالكلمات الكاملة والجذور.مجذّر عربي يحاول الوصول إلى الجذر دون قاموس جذور، بحذف السوابق واللواحق ثم مطابقة الكلمة مع أوزان صرفية بحسب طولها.
المخرجاتجذع (Stem)جذر تقريبي
التعقيدO(1) لكل كلمةO(1) لكل كلمة
المزايا
  • بسيط وسريع جداً
  • فعال في استرجاع المعلومات
  • لا يحتاج إلى قاموس جذور
  • يجمع الصيغ الصرفية المختلفة للجذر الواحد
العيوب
  • لا يعالج الجموع المكسرة («كتب» و«كتاب» جذعان مختلفان)
  • قد يحذف حروفاً أصلية تشبه اللواحق (مثل الياء في «عربي» ← «عرب»)
  • يخطئ مع المعتل والمضعف والكلمات الدخيلة
  • الجذر يجمع معاني متباعدة فيضر بدقة الاسترجاع أحياناً

تلخيص بالتكرار مقابل الرسم البياني

البندترجيح TF-IDFخوارزمية TextRank
العائلةخوارزمية تقليديةخوارزمية تقليدية
التعريفوزن للكلمة في وثيقة يزيد بتكرارها فيها (TF) ويقل بشيوعها في الوثائق الأخرى (IDF)، فيبرز الكلمات المميزة.خوارزمية ترتيب قائمة على الرسوم البيانية تطبق فكرة PageRank على الجمل (أو الكلمات) لاستخراج أهمها دون إشراف.
المخرجاتوزن لكل (كلمة، وثيقة)درجة لكل جملة وملخص
التعقيدO(N) في حجم النصO(S²) لبناء الرسم + تكرارات PageRank
المزايا
  • بسيط وفعال
  • أساس محركات البحث الكلاسيكية
  • غير خاضعة للإشراف ولا تحتاج إلى بيانات
  • تلتقط مركزية الجمل
العيوب
  • لا يرى المعنى ولا الترتيب
  • تفضل الجمل الطويلة المتشابهة
  • قد تختار جملاً متكررة المعنى

وحدات فرعية: BPE مقابل WordPiece

البندترميز أزواج البايتتجزئة WordPiece
العائلةخوارزمية تقليديةخوارزمية تقليدية
التعريفخوارزمية تجزئة فرعية تتعلم مفرداتها من مدونة بدمج أكثر زوج متجاور تكراراً من الرموز مرة بعد مرة، فتنتج وحدات بين الحرف والكلمة.طريقة تجزئة فرعية تستخدمها نماذج BERT: تُبنى المفردات باختيار الدمجات التي ترفع احتمال بيانات التدريب، وتُرمز الكلمة بأطول تطابق من اليسار.
المخرجاتقائمة دمجات ومفردات فرعية، وترميز كل كلمةقائمة أجزاء مثل «ال ##معلم ##ون»
التعقيدالتدريب البسيط O(N·M) حيث N حجم المدونة وM عدد الدمجات؛ توجد تطبيقات أسرعالترميز O(n²) في طول الكلمة بالتنفيذ البسيط
المزايا
  • تحل مشكلة الكلمات خارج المفردات (OOV)
  • حجم مفردات قابل للتحكم
  • مناسبة للغات الغنية صرفياً
  • ترميز سريع وحتمي
  • مستخدم في BERT ومشتقاته العربية
العيوب
  • الوحدات إحصائية وقد لا توافق الحدود الصرفية
  • تعتمد على المدونة التي دُربت عليها
  • يعتمد كلياً على المفردات المدربة
  • الترميز الجشع ليس أمثل دائماً

تشابه الكلمات مقابل تشابه المقاطع الحرفية

البندمعامل جاكارالتشابه بأجزاء الحروف
العائلةخوارزمية تقليديةخوارزمية تقليدية
التعريفتشابه مجموعتين يساوي حجم تقاطعهما مقسوماً على حجم اتحادهما.مقارنة نصين بمجموعات n-gram الحروف (مثلاً ثلاثيات)، فيلتقط تشابه الصيغ الصرفية والأخطاء الإملائية البسيطة.
المخرجاتعدد بين 0 و1عدد بين 0 و1
التعقيدO(|A|+|B|) مع جداول التجزئةO(L) في عدد الحروف
المزايا
  • بسيط ومفهوم
  • لا يحتاج إلى موارد
  • متين أمام الصرف والأخطاء الإملائية
العيوب
  • لا يرى المرادفات
  • يتأثر بالصيغ الصرفية دون تجذير
  • لا يفهم المعنى
  • قد يرفع تشابه كلمات متباعدة المعنى

كيانات بالأنماط والقوائم مقابل نموذج مدرَّب

البندالتعرف على الكيانات بالأنماط والقوائمالتعرف على الكيانات بالمحولات
العائلةتعتمد على مورد لغويتعلّم عميق
التعريفاكتشاف الكيانات بتعابير نمطية للأشكال المنتظمة (التواريخ والأوقات والمبالغ والنسب) وبقوائم الأسماء المعروفة وكلمات الدلالة (الألقاب ورؤوس المؤسسات).ضبط نموذج لغوي مدرب مسبقاً (مثل CAMeLBERT أو AraBERT) على بيانات موسومة بصيغة BIO لتصنيف كل رمز إلى نوع كيان.
المخرجاتقائمة كيانات (النص، النوع، الموضع، الطريقة)كيانات بأنواعها
التعقيدO(n·p) حيث p عدد الأنماطاستدلال المحول O(n²) في طول المقطع
المزايا
  • دقة عالية للأنماط المنتظمة
  • لا يحتاج إلى تدريب
  • أعلى دقة حالياً
  • يكتشف الأسماء غير المعروفة من السياق
العيوب
  • لا يكتشف الأسماء غير الموجودة في القوائم
  • حدود الكيانات المكتشفة بكلمات الدلالة تقريبية
  • يحتاج إلى بيانات موسومة وموارد حوسبة
  • أقل شفافية

مشاعر معجمية مقابل نموذج مدرَّب

البندتحليل المشاعر المعجميتصنيف المشاعر بالمحولات
العائلةتعتمد على مورد لغويتعلّم عميق
التعريفحساب قطبية النص بجمع قيم الكلمات من قاموس مشاعر مع قواعد للنفي والتوكيد والاستدراك.ضبط نموذج لغوي مدرب مسبقاً على نصوص عربية (مثل MARBERT أو CAMeLBERT-DA) لتصنيف المشاعر في الفصحى واللهجات.
المخرجاتدرجة وحكم والكلمات المؤثرةصنف واحتمالات
التعقيدO(n)استدلال المحول O(n²)
المزايا
  • لا يحتاج إلى بيانات تدريب
  • قابل للتفسير بالكامل
  • يفهم السياق والنفي المركب أفضل
  • يتعامل مع اللهجات إذا دُرّب عليها
العيوب
  • لا يفهم السخرية والسياق والمجاز
  • تغطية القاموس محدودة وتختلف بين المجالات واللهجات
  • يحتاج إلى GPU غالباً وبيانات موسومة
  • قد يرث تحيزات البيانات

التقليدي والمعجمي والمدرَّب

العائلةما الذي تحتاجه؟عدد الخوارزميات في المكتبةفي هذا المختبر
خوارزمية تقليديةقواعد وعدّ وحساب، لا تحتاج إلى نموذج مدرَّب17تعمل في المتصفح
تعتمد على مورد لغويقواميس وقوائم وقواعد لغوية جاهزة11تعمل في المتصفح
تعلّم آلينموذج إحصائي يحتاج إلى بيانات تدريب موسومة8شرح فقط، أو عبر محرك خارجي يفعّله المدير
تعلّم عميقشبكة عصبية بأوزان مدرَّبة9شرح فقط، أو عبر محرك خارجي يفعّله المدير
نموذج لغوي كبيرنموذج توليدي ضخم مدرَّب مسبقاً0شرح فقط، أو عبر محرك خارجي يفعّله المدير