كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعي

المعالجة المسبقة للنصوص

Text Preprocessing Lab

ثلاث عشرة عملية تنظيف وتطبيع للنص العربي والإنجليزي، تفعّلها وترتّبها كما تريد، وتشاهد أثر كل خطوة.

ما هذه الوحدة؟

المعالجة المسبقة (Text Preprocessing) تقلل التباين غير المفيد في النص قبل تمثيله: الحركات والتطويل وأشكال الهمزة والألف المقصورة والتاء المربوطة تجعل الكلمة الواحدة تظهر بصور كثيرة. توحيدها يزيد تطابق الكلمات في البحث والتصنيف، لكنه قد يدمج كلمات مختلفة المعنى (مثل «علم» و«عَلَم»)، لذلك يجب اختيار كل عملية بحسب المهمة: ما يفيد في استرجاع المعلومات قد يضر في التحليل الصرفي أو توليد النص.

الأداة: المعالجة المسبقة للنصوص

يعمل في متصفحك (JavaScript) — لا يُرسل نصك إلى أي جهة
الإعدادات

كيف تعمل الأداة؟

  • تُطبَّق العمليات المختارة بالترتيب الذي تحدده.
  • بعد كل عملية يُحفظ النص الناتج، وتُحسب الكلمات التي حُذفت أو تغيّرت.
  • سياسة الهمزات: «الألف فقط» توحد أ إ آ ٱ إلى ا، و«مع الحوامل» تضيف ؤ→و وئ→ي، و«كل الهمزات» تحذف الهمزة المفردة ء أيضاً.
  • الكلمات الشائعة تُحذف من قائمة قاعدة البيانات بعد التطبيع.

كيف تقرأ النتائج؟

قارن عدد الكلمات والحروف قبل المعالجة وبعدها، وراجع قائمة الكلمات المعدّلة: إذا تحولت كلمتان مختلفتان إلى صورة واحدة فقد تكون العملية عدوانية أكثر من اللازم لمهمتك.

الخوارزميات والأساليب

نميّز دائماً بين الخوارزميات التقليدية والأساليب المعتمدة على مورد لغوي والنماذج المدرَّبة. الأدوات في هذه الصفحة تقليدية أو معجمية، أما النماذج المدرَّبة فمشروحة هنا ولا تعمل إلا عبر محرك خارجي يفعّله مدير الموقع.

القيود وحدود الدقة

قائمة الكلمات الشائعة عامة وقد تحذف كلمة مهمة لمهمة معينة (مثل «لا» في تحليل المشاعر). تحويل الهاء إلى تاء مربوطة يخطئ مع الضمير المتصل. لا توجد عملية تصحيح إملائي.

نتائج هذه الأداة تعليمية: تُظهر كيف تعمل الخوارزمية خطوة خطوة، ولا تُعرض بوصفها نتائج علمية مؤكدة.

من قاعدة المعرفة

قاعدة

الهمزة وصورها

الهمزة تُكتب على ألف (أ، إ)، أو واو (ؤ)، أو ياء (ئ)، أو على السطر (ء)، ومع المد (آ). كثير من الكتّاب يحذفون الهمزة فيكتبون «احمد» بدل «أحمد». لذلك يُوحد التطبيع صور الألف المهموزة إلى «ا» في أنظمة البحث.

قواعد الإملاء

قاعدة

الألف المقصورة والياء

الألف المقصورة (ى) تكتب في آخر كلمات مثل «على» و«مستشفى»، وكثيراً ما تختلط بالياء (ي). التطبيع الشائع يحولها إلى ياء، فتتطابق «على» و«علي» رغم اختلافهما.

قواعد الإملاء

أسئلة شائعة

ما المعالجة المسبقة للنص؟

مجموعة عمليات تنظيف وتوحيد قبل التحليل، مثل إزالة التشكيل والتطويل وتوحيد الهمزات والياء والتاء المربوطة وحذف الروابط والرموز. هدفها تقليل التنوع الشكلي غير المهم للمهمة.

ما تطبيع النص العربي (Normalization)؟

توحيد الصور الكتابية المختلفة للحرف نفسه، مثل تحويل أ إ آ إلى ا، وى إلى ي، وة إلى ه. يرفع التطابق بين الكلمات، لكنه قد يدمج كلمات مختلفة المعنى.

هل يجب إزالة التشكيل دائماً؟

ليس دائماً. إزالته تفيد البحث والتصنيف لأن أغلب النصوص غير مشكولة، لكنها تحذف معلومات مهمة في مهام مثل التشكيل الآلي وتحويل النص إلى كلام وتحليل الشعر.

لماذا قد يضر توحيد الهمزات؟

لأنه يدمج كلمات مختلفة، مثل «أمل» و«إمل»، أو «سأل» و«سال». لذلك يوفر المختبر عدة سياسات: عدم التوحيد، أو توحيد الألف فقط، أو توحيد الحوامل، أو التوحيد الكامل، لتقارن أثر كل منها.

ما الفرق بين تحويل التاء المربوطة إلى هاء والعكس؟

تحويل ة إلى ه شائع في أنظمة البحث لأن الكتّاب يخلطون بينهما، والعكس (ه إلى ة) أخطر لأنه يغير ضمائر مثل «كتابه». المختبر يجعل الاتجاه خياراً صريحاً.

ما التطويل (الكشيدة)؟

حرف ـ الذي يمد الكلمة شكلياً مثل «جـــميل». لا يحمل معنى، لذلك يُحذف عادة في المعالجة.

ما كلمات التوقف (Stop words)؟

كلمات كثيرة التكرار قليلة الدلالة الموضوعية، مثل في ومن وعلى والذي. حذفها يفيد البحث والتلخيص، لكنه يضر تحليل المشاعر لأن أدوات النفي مثل «لا» و«ليس» قد تكون ضمن القائمة.

لماذا لا يحذف المختبر أدوات النفي مع كلمات التوقف افتراضياً؟

لأن حذفها يقلب معنى الجملة في تحليل المشاعر والتصنيف، مثل «لم يعجبني». يوجد خيار مستقل للإبقاء على أدوات النفي عند حذف كلمات التوقف.

ماذا يفعل خيار تقليص التكرار؟

يقلص الحروف المكررة أكثر من مرتين، مثل «حلوووو» إلى «حلوو» أو «حلو» حسب الإعداد. شائع في نصوص التواصل الاجتماعي، لكنه قد يغير كلمات صحيحة نادرة.

كيف يتعامل المختبر مع الأرقام العربية والهندية؟

يمكن تركها، أو حذفها، أو توحيدها إلى أرقام غربية (0-9) أو مشرقية (٠-٩)، أو استبدالها برمز ثابت مثل <NUM> حتى لا تتضخم المفردات.

لماذا يعرض المختبر نتيجة كل مرحلة؟

لكي ترى أثر كل عملية منفردة: ما الذي تغير وما الذي حُذف. هذا يساعد على اختيار المعالجة المناسبة للمهمة بدلاً من تطبيق كل شيء آلياً.

هل ترتيب عمليات المعالجة مهم؟

نعم. مثلاً حذف علامات الترقيم قبل كشف الروابط يفسد الروابط، وحذف كلمات التوقف قبل التطبيع قد يترك صوراً غير موحدة من الكلمات نفسها. يمكن تغيير الترتيب في «مساحة التجارب».

هل يحذف المختبر الحروف الفارسية؟

لا يحذفها، بل يوفر خياراً لتحويل الصور الفارسية والأردية التي تُكتب خطأً مكان الحرف العربي، مثل ک إلى ك وی إلى ي وہ إلى ه. أما «گ» و«چ» و«پ» فيبقيها كما هي، لأنها في النصوص العراقية تدل على أصوات لا يؤديها الحرف العربي: «گ» للقاف المجهورة أو الجيم القاهرية، و«چ» لصوت «تش».

تمارين وتحديات

مبتدئ تطبيق في المختبر

إزالة التشكيل

طبّق «إزالة التشكيل» على مثال بيت المتنبي. كم حرفاً حُذف؟

تلميح

قارن طول النص قبل وبعد في شريط الإحصاءات.

إظهار الحل

العدد يساوي عدد الحركات والشدات والسكون في البيت، وتعرضه الأداة في سطر «تغيّر».

مبتدئ سؤال مفاهيمي

متى نحتفظ بالتشكيل؟

اذكر مهمتين يضر فيهما حذف التشكيل.

تلميح

فكّر في النطق والوزن.

إظهار الحل

التشكيل الآلي، وتحويل النص إلى كلام، وتحليل العروض الشعري، وتعليم القراءة.

متوسط تطبيق في المختبر

سياسات الهمزة

طبّق السياسات الأربع لتوحيد الهمزة على «أسئلة سؤال مسائل سأل». أي سياسة تجعل أكبر عدد من الكلمات متطابقاً؟

تلميح

انظر جدول المراحل.

إظهار الحل

سياسة «التوحيد الكامل» تحذف الفروق أكثر، لكنها تقرّب كلمات مختلفة. سياسة «الألف فقط» لا تغير ؤ وئ.

متوسط سؤال مفاهيمي

خطر ه→ة

لماذا يكون تحويل الهاء في آخر الكلمة إلى تاء مربوطة خطيراً؟ أعط مثالين.

تلميح

فكّر في الضمائر المتصلة.

إظهار الحل

لأن الهاء قد تكون ضمير الغائب، مثل «كتابه» و«رأيته»؛ تحويلها يعطي «كتابة» و«رأيتة» فيغير المعنى أو يفسد الكلمة.

متوسط تطبيق في المختبر

كلمات التوقف والنفي

شغّل حذف كلمات التوقف على «لم يعجبني الفيلم» مرة مع الإبقاء على أدوات النفي ومرة بدونه. ماذا يحدث للمعنى؟

تلميح

الخيار موجود تحت إعدادات كلمات التوقف.

إظهار الحل

بدون الإبقاء على النفي تصبح الجملة «يعجبني الفيلم»، فينقلب المعنى. لذلك يبقيه المختبر افتراضياً.

مبتدئ تطبيق في المختبر

نص التواصل الاجتماعي

نظّف مثال «نص من وسائل التواصل» بحيث يبقى نص عربي بلا تطويل ولا تكرار ولا رموز تعبيرية. ما العمليات التي استخدمتها؟

تلميح

ابدأ بالتنظيف ثم التطويل ثم التكرار ثم الرموز.

إظهار الحل

التطويل، وتقليص التكرار، وحذف الرموز التعبيرية، وحذف علامات الترقيم، وتوحيد الأرقام أو حذفها، ثم ضغط المسافات.

متقدم تطبيق في المختبر

ترتيب العمليات

في مساحة التجارب، ضع «كلمات التوقف» قبل «توحيد الألف» ثم بعده على نص يحتوي «إلى» و«أن». هل تختلف النتيجة؟ لماذا؟

تلميح

قائمة كلمات التوقف مكتوبة بصيغة مطبّعة أو أصلية.

إظهار الحل

قد تختلف لأن المطابقة مع القائمة تتأثر بصورة الهمزة. المختبر يطبّع الكلمة قبل المطابقة، لذلك يقل الفرق، لكن ترتيب العمليات يبقى مؤثراً في عمليات أخرى.

متوسط سؤال مفاهيمي

الحروف الفارسية في العراقية

لماذا قد لا نرغب في تحويل «گ» إلى «ك» عند دراسة اللهجة العراقية؟

تلميح

فكّر في الصوت الذي تمثله.

إظهار الحل

لأن «گ» تمثل صوتاً مختلفاً (الجيم القاهرية أو القاف المجهورة)، وتحويلها يمحو معلومة لهجية قد تفيد في رصد اللهجة.

أقسام ذات صلة في الموقع