حذف الكلمات الشائعة
Stop-word Removal
حذف الكلمات الوظيفية عالية التكرار (حروف الجر والعطف والضمائر وأسماء الإشارة) التي تحمل معلومات قليلة في مهام مثل الاسترجاع والتصنيف.
طريقة العمل
تُطابق كل كلمة بعد التطبيع مع قائمة كلمات شائعة، وتُحذف إن وُجدت. القائمة إما يدوية أو مستخرجة إحصائياً (الكلمات الأعلى تكراراً أو الأقل IDF).
الخطوات
- تطبيع الكلمة
- البحث في القائمة
- حذف المطابق
مثال
«ذهب الطالب إلى المكتبة في الصباح» ← «ذهب الطالب المكتبة الصباح»
المزايا
- يقلل حجم التمثيل ويبرز كلمات المحتوى
العيوب
- قد يحذف كلمات مهمة (أدوات النفي في تحليل المشاعر، و«من» في الأسئلة)
- ضار غالباً مع النماذج السياقية الحديثة
الاستخدامات
- استرجاع المعلومات
- استخراج الكلمات المفتاحية
- التلخيص الاستخراجي
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Manning, C. D., Raghavan, P. & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press, Section 2.2.2.
