كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعي

حذف الكلمات الشائعة

Stop-word Removal

حذف الكلمات الوظيفية عالية التكرار (حروف الجر والعطف والضمائر وأسماء الإشارة) التي تحمل معلومات قليلة في مهام مثل الاسترجاع والتصنيف.

تعتمد على مورد لغوي

طريقة العمل

تُطابق كل كلمة بعد التطبيع مع قائمة كلمات شائعة، وتُحذف إن وُجدت. القائمة إما يدوية أو مستخرجة إحصائياً (الكلمات الأعلى تكراراً أو الأقل IDF).

الخطوات

  1. تطبيع الكلمة
  2. البحث في القائمة
  3. حذف المطابق
المدخلاتقائمة كلمات + قائمة الكلمات الشائعة
المخرجاتكلمات المحتوى فقط
التعقيدO(n) مع جدول تجزئة

مثال

«ذهب الطالب إلى المكتبة في الصباح» ← «ذهب الطالب المكتبة الصباح»

المزايا

  • يقلل حجم التمثيل ويبرز كلمات المحتوى

العيوب

  • قد يحذف كلمات مهمة (أدوات النفي في تحليل المشاعر، و«من» في الأسئلة)
  • ضار غالباً مع النماذج السياقية الحديثة

الاستخدامات

  • استرجاع المعلومات
  • استخراج الكلمات المفتاحية
  • التلخيص الاستخراجي

مكتبات تطبّقها

NLTK (stopwords corpus: arabic)spaCy (Language.Defaults.stop_words)

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Manning, C. D., Raghavan, P. & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press, Section 2.2.2.