Tokenization التقطيع
التقطيع بالكلمات ومقاطع الأحرف للعربية.
ماذا ستتعلم
- اختيار نوع التقطيع
- فهم أثر طبيعة العربية
التقطيع يقسم النص إلى وحدات Tokens: كلمات غالباً، أو مقاطع أحرف Character n-grams. العربية لغة لاصقة: «وسيكتبونها» كلمة واحدة تحمل عدة أجزاء، لذا تساعد مقاطع الأحرف أحياناً.
في نتائجنا الفعلية على مدونة المراجعات العربية الصغيرة (5 طيات): الانحدار اللوجستي بمقاطع أحرف 2-4 بلغت دقته 0.694 مقابل 0.544 بالكلمات، وهي مدونة صغيرة فلا تعمم الرقم.
خطوات التطبيق بالأداة
- Orange: Preprocess Text ← Tokenization.
- WEKA: StringToWordVector مع NGramTokenizer.
سؤال مراجعة سريع
لماذا قد تفيد مقاطع الأحرف مع الكلمات العربية الملتصقة بالضمائر؟
