الهمزة وصورها
الهمزة تُكتب على ألف (أ، إ)، أو واو (ؤ)، أو ياء (ئ)، أو على السطر (ء)، ومع المد (آ). كثير من الكتّاب يحذفون الهمزة فيكتبون «احمد» بدل «أحمد». لذلك يُوحد التطبيع صور الألف المهموزة إلى «ا» في أنظمة البحث.
قواعد الإملاء
Text Preprocessing Lab
ثلاث عشرة عملية تنظيف وتطبيع للنص العربي والإنجليزي، تفعّلها وترتّبها كما تريد، وتشاهد أثر كل خطوة.
المعالجة المسبقة (Text Preprocessing) تقلل التباين غير المفيد في النص قبل تمثيله: الحركات والتطويل وأشكال الهمزة والألف المقصورة والتاء المربوطة تجعل الكلمة الواحدة تظهر بصور كثيرة. توحيدها يزيد تطابق الكلمات في البحث والتصنيف، لكنه قد يدمج كلمات مختلفة المعنى (مثل «علم» و«عَلَم»)، لذلك يجب اختيار كل عملية بحسب المهمة: ما يفيد في استرجاع المعلومات قد يضر في التحليل الصرفي أو توليد النص.
قارن عدد الكلمات والحروف قبل المعالجة وبعدها، وراجع قائمة الكلمات المعدّلة: إذا تحولت كلمتان مختلفتان إلى صورة واحدة فقد تكون العملية عدوانية أكثر من اللازم لمهمتك.
نميّز دائماً بين الخوارزميات التقليدية والأساليب المعتمدة على مورد لغوي والنماذج المدرَّبة. الأدوات في هذه الصفحة تقليدية أو معجمية، أما النماذج المدرَّبة فمشروحة هنا ولا تعمل إلا عبر محرك خارجي يفعّله مدير الموقع.
قائمة الكلمات الشائعة عامة وقد تحذف كلمة مهمة لمهمة معينة (مثل «لا» في تحليل المشاعر). تحويل الهاء إلى تاء مربوطة يخطئ مع الضمير المتصل. لا توجد عملية تصحيح إملائي.
نتائج هذه الأداة تعليمية: تُظهر كيف تعمل الخوارزمية خطوة خطوة، ولا تُعرض بوصفها نتائج علمية مؤكدة.
الهمزة تُكتب على ألف (أ، إ)، أو واو (ؤ)، أو ياء (ئ)، أو على السطر (ء)، ومع المد (آ). كثير من الكتّاب يحذفون الهمزة فيكتبون «احمد» بدل «أحمد». لذلك يُوحد التطبيع صور الألف المهموزة إلى «ا» في أنظمة البحث.
قواعد الإملاء
الألف المقصورة (ى) تكتب في آخر كلمات مثل «على» و«مستشفى»، وكثيراً ما تختلط بالياء (ي). التطبيع الشائع يحولها إلى ياء، فتتطابق «على» و«علي» رغم اختلافهما.
قواعد الإملاء
مجموعة عمليات تنظيف وتوحيد قبل التحليل، مثل إزالة التشكيل والتطويل وتوحيد الهمزات والياء والتاء المربوطة وحذف الروابط والرموز. هدفها تقليل التنوع الشكلي غير المهم للمهمة.
توحيد الصور الكتابية المختلفة للحرف نفسه، مثل تحويل أ إ آ إلى ا، وى إلى ي، وة إلى ه. يرفع التطابق بين الكلمات، لكنه قد يدمج كلمات مختلفة المعنى.
ليس دائماً. إزالته تفيد البحث والتصنيف لأن أغلب النصوص غير مشكولة، لكنها تحذف معلومات مهمة في مهام مثل التشكيل الآلي وتحويل النص إلى كلام وتحليل الشعر.
لأنه يدمج كلمات مختلفة، مثل «أمل» و«إمل»، أو «سأل» و«سال». لذلك يوفر المختبر عدة سياسات: عدم التوحيد، أو توحيد الألف فقط، أو توحيد الحوامل، أو التوحيد الكامل، لتقارن أثر كل منها.
تحويل ة إلى ه شائع في أنظمة البحث لأن الكتّاب يخلطون بينهما، والعكس (ه إلى ة) أخطر لأنه يغير ضمائر مثل «كتابه». المختبر يجعل الاتجاه خياراً صريحاً.
حرف ـ الذي يمد الكلمة شكلياً مثل «جـــميل». لا يحمل معنى، لذلك يُحذف عادة في المعالجة.
كلمات كثيرة التكرار قليلة الدلالة الموضوعية، مثل في ومن وعلى والذي. حذفها يفيد البحث والتلخيص، لكنه يضر تحليل المشاعر لأن أدوات النفي مثل «لا» و«ليس» قد تكون ضمن القائمة.
لأن حذفها يقلب معنى الجملة في تحليل المشاعر والتصنيف، مثل «لم يعجبني». يوجد خيار مستقل للإبقاء على أدوات النفي عند حذف كلمات التوقف.
يقلص الحروف المكررة أكثر من مرتين، مثل «حلوووو» إلى «حلوو» أو «حلو» حسب الإعداد. شائع في نصوص التواصل الاجتماعي، لكنه قد يغير كلمات صحيحة نادرة.
يمكن تركها، أو حذفها، أو توحيدها إلى أرقام غربية (0-9) أو مشرقية (٠-٩)، أو استبدالها برمز ثابت مثل <NUM> حتى لا تتضخم المفردات.
لكي ترى أثر كل عملية منفردة: ما الذي تغير وما الذي حُذف. هذا يساعد على اختيار المعالجة المناسبة للمهمة بدلاً من تطبيق كل شيء آلياً.
نعم. مثلاً حذف علامات الترقيم قبل كشف الروابط يفسد الروابط، وحذف كلمات التوقف قبل التطبيع قد يترك صوراً غير موحدة من الكلمات نفسها. يمكن تغيير الترتيب في «مساحة التجارب».
لا يحذفها، بل يوفر خياراً لتحويل الصور الفارسية والأردية التي تُكتب خطأً مكان الحرف العربي، مثل ک إلى ك وی إلى ي وہ إلى ه. أما «گ» و«چ» و«پ» فيبقيها كما هي، لأنها في النصوص العراقية تدل على أصوات لا يؤديها الحرف العربي: «گ» للقاف المجهورة أو الجيم القاهرية، و«چ» لصوت «تش».
طبّق «إزالة التشكيل» على مثال بيت المتنبي. كم حرفاً حُذف؟
قارن طول النص قبل وبعد في شريط الإحصاءات.
العدد يساوي عدد الحركات والشدات والسكون في البيت، وتعرضه الأداة في سطر «تغيّر».
اذكر مهمتين يضر فيهما حذف التشكيل.
فكّر في النطق والوزن.
التشكيل الآلي، وتحويل النص إلى كلام، وتحليل العروض الشعري، وتعليم القراءة.
طبّق السياسات الأربع لتوحيد الهمزة على «أسئلة سؤال مسائل سأل». أي سياسة تجعل أكبر عدد من الكلمات متطابقاً؟
انظر جدول المراحل.
سياسة «التوحيد الكامل» تحذف الفروق أكثر، لكنها تقرّب كلمات مختلفة. سياسة «الألف فقط» لا تغير ؤ وئ.
لماذا يكون تحويل الهاء في آخر الكلمة إلى تاء مربوطة خطيراً؟ أعط مثالين.
فكّر في الضمائر المتصلة.
لأن الهاء قد تكون ضمير الغائب، مثل «كتابه» و«رأيته»؛ تحويلها يعطي «كتابة» و«رأيتة» فيغير المعنى أو يفسد الكلمة.
شغّل حذف كلمات التوقف على «لم يعجبني الفيلم» مرة مع الإبقاء على أدوات النفي ومرة بدونه. ماذا يحدث للمعنى؟
الخيار موجود تحت إعدادات كلمات التوقف.
بدون الإبقاء على النفي تصبح الجملة «يعجبني الفيلم»، فينقلب المعنى. لذلك يبقيه المختبر افتراضياً.
نظّف مثال «نص من وسائل التواصل» بحيث يبقى نص عربي بلا تطويل ولا تكرار ولا رموز تعبيرية. ما العمليات التي استخدمتها؟
ابدأ بالتنظيف ثم التطويل ثم التكرار ثم الرموز.
التطويل، وتقليص التكرار، وحذف الرموز التعبيرية، وحذف علامات الترقيم، وتوحيد الأرقام أو حذفها، ثم ضغط المسافات.
في مساحة التجارب، ضع «كلمات التوقف» قبل «توحيد الألف» ثم بعده على نص يحتوي «إلى» و«أن». هل تختلف النتيجة؟ لماذا؟
قائمة كلمات التوقف مكتوبة بصيغة مطبّعة أو أصلية.
قد تختلف لأن المطابقة مع القائمة تتأثر بصورة الهمزة. المختبر يطبّع الكلمة قبل المطابقة، لذلك يقل الفرق، لكن ترتيب العمليات يبقى مؤثراً في عمليات أخرى.
لماذا قد لا نرغب في تحويل «گ» إلى «ك» عند دراسة اللهجة العراقية؟
فكّر في الصوت الذي تمثله.
لأن «گ» تمثل صوتاً مختلفاً (الجيم القاهرية أو القاف المجهورة)، وتحويلها يمحو معلومة لهجية قد تفيد في رصد اللهجة.
الأقسام
لا يوجد قسم بهذا الاسم. اضغط «بحث» للبحث في محتوى الموقع كله.
المفضلة
نتائجي وشهاداتي
تقدّمي في الأكاديميةنتائج اختباراتيتقدّم الأطفالشهادات الأكاديميةشهادات الاختباراتابدأ أي درس أو اختبار وسيظهر هنا لتعود إليه بسرعة.
الإعدادات
أنا مساعد مختبر معالجة اللغة الطبيعية. اسألني عن مفهوم أو خوارزمية أو كلمة لهجية، وسأجيبك من قاعدة معرفة المختبر مع ذكر المصادر.
يجيب من قاعدة معرفة المختبر فقط، دون نموذج لغوي خارجي ودون إرسال سؤالك إلى أي جهة.
قد يخطئ المساعد أحياناً، فراجع المصادر المرفقة.