المقارنات بين الخوارزميات
Compare
شغّل خطّي معالجة مختلفين على النص نفسه وشاهد الفرق كلمة بكلمة، ثم راجع جداول المقارنة بين الخوارزميات المتقابلة.
قارن خطّي معالجة
يعمل في متصفحكالنتيجة
خطوات التنفيذ
تجذيع خفيف مقابل استخراج الجذر
| البند | المجذّر الخفيف Light10 | مجذّر ISRI الجذري |
|---|---|---|
| العائلة | خوارزمية تقليدية | خوارزمية تقليدية |
| التعريف | مجذّر خفيف للعربية يحذف عدداً محدوداً من السوابق واللواحق الشائعة دون محاولة الوصول إلى الجذر، ويحسن الاسترجاع مقارنة بالكلمات الكاملة والجذور. | مجذّر عربي يحاول الوصول إلى الجذر دون قاموس جذور، بحذف السوابق واللواحق ثم مطابقة الكلمة مع أوزان صرفية بحسب طولها. |
| المخرجات | جذع (Stem) | جذر تقريبي |
| التعقيد | O(1) لكل كلمة | O(1) لكل كلمة |
| المزايا |
|
|
| العيوب |
|
|
تلخيص بالتكرار مقابل الرسم البياني
| البند | ترجيح TF-IDF | خوارزمية TextRank |
|---|---|---|
| العائلة | خوارزمية تقليدية | خوارزمية تقليدية |
| التعريف | وزن للكلمة في وثيقة يزيد بتكرارها فيها (TF) ويقل بشيوعها في الوثائق الأخرى (IDF)، فيبرز الكلمات المميزة. | خوارزمية ترتيب قائمة على الرسوم البيانية تطبق فكرة PageRank على الجمل (أو الكلمات) لاستخراج أهمها دون إشراف. |
| المخرجات | وزن لكل (كلمة، وثيقة) | درجة لكل جملة وملخص |
| التعقيد | O(N) في حجم النص | O(S²) لبناء الرسم + تكرارات PageRank |
| المزايا |
|
|
| العيوب |
|
|
وحدات فرعية: BPE مقابل WordPiece
| البند | ترميز أزواج البايت | تجزئة WordPiece |
|---|---|---|
| العائلة | خوارزمية تقليدية | خوارزمية تقليدية |
| التعريف | خوارزمية تجزئة فرعية تتعلم مفرداتها من مدونة بدمج أكثر زوج متجاور تكراراً من الرموز مرة بعد مرة، فتنتج وحدات بين الحرف والكلمة. | طريقة تجزئة فرعية تستخدمها نماذج BERT: تُبنى المفردات باختيار الدمجات التي ترفع احتمال بيانات التدريب، وتُرمز الكلمة بأطول تطابق من اليسار. |
| المخرجات | قائمة دمجات ومفردات فرعية، وترميز كل كلمة | قائمة أجزاء مثل «ال ##معلم ##ون» |
| التعقيد | التدريب البسيط O(N·M) حيث N حجم المدونة وM عدد الدمجات؛ توجد تطبيقات أسرع | الترميز O(n²) في طول الكلمة بالتنفيذ البسيط |
| المزايا |
|
|
| العيوب |
|
|
تشابه الكلمات مقابل تشابه المقاطع الحرفية
| البند | معامل جاكار | التشابه بأجزاء الحروف |
|---|---|---|
| العائلة | خوارزمية تقليدية | خوارزمية تقليدية |
| التعريف | تشابه مجموعتين يساوي حجم تقاطعهما مقسوماً على حجم اتحادهما. | مقارنة نصين بمجموعات n-gram الحروف (مثلاً ثلاثيات)، فيلتقط تشابه الصيغ الصرفية والأخطاء الإملائية البسيطة. |
| المخرجات | عدد بين 0 و1 | عدد بين 0 و1 |
| التعقيد | O(|A|+|B|) مع جداول التجزئة | O(L) في عدد الحروف |
| المزايا |
|
|
| العيوب |
|
|
كيانات بالأنماط والقوائم مقابل نموذج مدرَّب
| البند | التعرف على الكيانات بالأنماط والقوائم | التعرف على الكيانات بالمحولات |
|---|---|---|
| العائلة | تعتمد على مورد لغوي | تعلّم عميق |
| التعريف | اكتشاف الكيانات بتعابير نمطية للأشكال المنتظمة (التواريخ والأوقات والمبالغ والنسب) وبقوائم الأسماء المعروفة وكلمات الدلالة (الألقاب ورؤوس المؤسسات). | ضبط نموذج لغوي مدرب مسبقاً (مثل CAMeLBERT أو AraBERT) على بيانات موسومة بصيغة BIO لتصنيف كل رمز إلى نوع كيان. |
| المخرجات | قائمة كيانات (النص، النوع، الموضع، الطريقة) | كيانات بأنواعها |
| التعقيد | O(n·p) حيث p عدد الأنماط | استدلال المحول O(n²) في طول المقطع |
| المزايا |
|
|
| العيوب |
|
|
مشاعر معجمية مقابل نموذج مدرَّب
| البند | تحليل المشاعر المعجمي | تصنيف المشاعر بالمحولات |
|---|---|---|
| العائلة | تعتمد على مورد لغوي | تعلّم عميق |
| التعريف | حساب قطبية النص بجمع قيم الكلمات من قاموس مشاعر مع قواعد للنفي والتوكيد والاستدراك. | ضبط نموذج لغوي مدرب مسبقاً على نصوص عربية (مثل MARBERT أو CAMeLBERT-DA) لتصنيف المشاعر في الفصحى واللهجات. |
| المخرجات | درجة وحكم والكلمات المؤثرة | صنف واحتمالات |
| التعقيد | O(n) | استدلال المحول O(n²) |
| المزايا |
|
|
| العيوب |
|
|
التقليدي والمعجمي والمدرَّب
| العائلة | ما الذي تحتاجه؟ | عدد الخوارزميات في المكتبة | في هذا المختبر |
|---|---|---|---|
| خوارزمية تقليدية | قواعد وعدّ وحساب، لا تحتاج إلى نموذج مدرَّب | 17 | تعمل في المتصفح |
| تعتمد على مورد لغوي | قواميس وقوائم وقواعد لغوية جاهزة | 11 | تعمل في المتصفح |
| تعلّم آلي | نموذج إحصائي يحتاج إلى بيانات تدريب موسومة | 8 | شرح فقط، أو عبر محرك خارجي يفعّله المدير |
| تعلّم عميق | شبكة عصبية بأوزان مدرَّبة | 9 | شرح فقط، أو عبر محرك خارجي يفعّله المدير |
| نموذج لغوي كبير | نموذج توليدي ضخم مدرَّب مسبقاً | 0 | شرح فقط، أو عبر محرك خارجي يفعّله المدير |
