كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

Tokenization التقطيع

التقطيع بالكلمات ومقاطع الأحرف للعربية.

20 دقيقةمعالجة اللغة الطبيعية

ماذا ستتعلم

  • اختيار نوع التقطيع
  • فهم أثر طبيعة العربية

التقطيع يقسم النص إلى وحدات Tokens: كلمات غالباً، أو مقاطع أحرف Character n-grams. العربية لغة لاصقة: «وسيكتبونها» كلمة واحدة تحمل عدة أجزاء، لذا تساعد مقاطع الأحرف أحياناً.

في نتائجنا الفعلية على مدونة المراجعات العربية الصغيرة (5 طيات): الانحدار اللوجستي بمقاطع أحرف 2-4 بلغت دقته 0.694 مقابل 0.544 بالكلمات، وهي مدونة صغيرة فلا تعمم الرقم.

خطوات التطبيق بالأداة

  1. Orange: Preprocess Text ← Tokenization.
  2. WEKA: StringToWordVector مع NGramTokenizer.

سؤال مراجعة سريع

لماذا قد تفيد مقاطع الأحرف مع الكلمات العربية الملتصقة بالضمائر؟

الأدوات