تلخيص النصوص

Text Summarization Lab

لخّص نصاً طويلاً تلخيصاً استخراجياً بطريقة TF-IDF أو TextRank، واختر عدد الجمل، وشاهد درجة كل جملة ونسبة الاختصار.

ما هذه الوحدة؟

التلخيص الاستخراجي (Extractive Summarization) يختار أهم الجمل من النص كما هي، أما التلخيص التوليدي (Abstractive) فيكتب جملاً جديدة بنموذج توليدي (مثل mT5 أو AraBART). من أشهر طرق الاستخراج: ترجيح الجمل بمجموع أوزان TF-IDF لكلماتها، وTextRank (Mihalcea وTarau 2004) الذي يبني رسماً بيانياً عقده الجمل وأوزانه تشابه الجمل، ثم يحسب أهمية كل جملة بخوارزمية PageRank.

الأداة: تلخيص النصوص

يعمل في متصفحك (JavaScript) — لا يُرسل نصك إلى أي جهة
الإعدادات

كيف تعمل الأداة؟

  • تقسيم النص إلى جمل، وتطبيع كلماتها وحذف الكلمات الشائعة.
  • TF-IDF: كل جملة «وثيقة»، ودرجتها متوسط tf×ln(1+S/df) لكلماتها، مع خيار مكافأة الموضع.
  • TextRank: وزن الحافة بين جملتين = عدد الكلمات المشتركة ÷ (ln|أ| + ln|ب|)، ثم PageRank بمعامل تخميد 0.85 حتى يقل التغير عن 0.000001.
  • اختيار أعلى k جمل وإعادتها بترتيبها الأصلي.

كيف تقرأ النتائج؟

كل جملة تظهر مع درجتها وترتيبها، والجمل المختارة مظللة. نسبة الاختصار = 1 − (كلمات الملخص ÷ كلمات النص).

الخوارزميات والأساليب

نميّز دائماً بين الخوارزميات التقليدية والأساليب المعتمدة على مورد لغوي والنماذج المدرَّبة. الأدوات في هذه الصفحة تقليدية أو معجمية، أما النماذج المدرَّبة فمشروحة هنا ولا تعمل إلا عبر محرك خارجي يفعّله مدير الموقع.

القيود وحدود الدقة

الملخص الاستخراجي قد يفقد الترابط بين الجمل ويكرر المعلومة. التلخيص التوليدي غير متاح في الوضع الافتراضي لأنه يحتاج إلى نموذج مدرب.

نتائج هذه الأداة تعليمية: تُظهر كيف تعمل الخوارزمية خطوة خطوة، ولا تُعرض بوصفها نتائج علمية مؤكدة.

من قاعدة المعرفة

قراءة النتائج

كيف تقرأ نتيجة التلخيص

كل جملة تحمل درجة. الجمل المختارة هي الأعلى درجة، مع الحفاظ على ترتيبها في النص. الدرجة تقيس أهمية إحصائية لا أهمية بشرية، فراجع الملخص قبل استخدامه.

توثيق المختبر

مفهوم

التلخيص الاستخراجي بالرسوم البيانية

TextRank (Mihalcea & Tarau 2004) وLexRank (Erkan & Radev 2004) يمثلان الجمل عقداً في رسم بياني ويرتبان الجمل بخوارزمية شبيهة بـ PageRank. لا يحتاجان بيانات تدريب، ويعملان مع أي لغة بعد التجزئة المناسبة.

Mihalcea & Tarau (2004); Erkan & Radev (2004)

أسئلة شائعة

ما التلخيص الآلي؟

إنتاج نسخة أقصر من النص تحتفظ بأهم معلوماته. نوعان: استخراجي يختار جملاً من النص كما هي، وتوليدي يكتب جملاً جديدة.

كيف يعمل التلخيص بـ TF-IDF في المختبر؟

يحسب وزن TF-IDF لكل كلمة معتبراً كل جملة وثيقة، ثم يعطي كل جملة مجموع أوزان كلماتها مقسوماً على طولها، ويختار أعلى الجمل ويعيدها بترتيبها الأصلي.

كيف يعمل TextRank؟

يبني رسماً بيانياً عقده الجمل، وأوزان روابطه تشابه الجمل، ثم يطبق خوارزمية PageRank (بمعامل تخميد 0.85) لترتيب الجمل حسب مركزيتها، ويختار الأعلى.

ما الفرق بين TextRank وLexRank؟

كلاهما يستخدم مركزية الرسم البياني. LexRank يستخدم جيب التمام على TF-IDF وعتبة لإنشاء الروابط، وTextRank الأصلي يستخدم تداخل الكلمات مطبعاً بطول الجملتين.

لماذا لا يكتب المختبر ملخصاً بجمل جديدة؟

لأن التلخيص التوليدي يحتاج نموذجاً لغوياً مدرباً (مثل mT5 أو نماذج اللغة الكبيرة). يمكن أن يتاح عبر محرك Python أو API خارجي إن فعّله المدير، ويظهر حينها منفصلاً بوصف «نموذج توليدي».

ما مقياس ROUGE؟

يقيس تداخل الكلمات أو المقاطع بين الملخص الآلي والملخص المرجعي. ROUGE-1 للكلمات المفردة، وROUGE-2 للأزواج، وROUGE-L لأطول تسلسل مشترك.

كم جملة يجب أن يحتوي الملخص؟

لا توجد قاعدة ثابتة. يمكنك اختيار عدد الجمل أو نسبة من النص. الملخصات الاستخراجية القصيرة جداً قد تفقد السياق، والطويلة تفقد فائدة التلخيص.

لماذا يختار التلخيص جملة لا تبدو مهمة؟

لأن الخوارزمية تقيس الكلمات المتكررة والمركزية، لا الأهمية بمعناها البشري. الجملة الطويلة المليئة بكلمات متكررة قد تحصل على درجة عالية.

هل يعمل التلخيص على النصوص القصيرة؟

يحتاج النص إلى ثلاث جمل على الأقل ليكون الاختيار ذا معنى. مع أقل من ذلك يعرض المختبر النص كما هو مع تنبيه.

ما التلخيص متعدد الوثائق؟

تلخيص مجموعة نصوص عن موضوع واحد مع إزالة التكرار بينها، مثل أخبار متعددة عن حدث واحد. المختبر يلخص نصاً واحداً فقط.

تمارين وتحديات

مبتدئ تطبيق في المختبر

تلخيص بجملتين

لخّص مثال «معالجة اللغة العربية» بـ TF-IDF في جملتين. ما الجملتان؟

تلميح

ترتيب الجمل يبقى كما في النص.

إظهار الحل

تعتمد على الأوزان، وغالباً تُختار جمل تحتوي كلمات نادرة نسبياً في الفقرة. اقرأ الدرجات في الجدول.

متوسط تطبيق في المختبر

TF-IDF مقابل TextRank

لخّص النص نفسه بالطريقتين. هل اختلفت الجمل؟ لماذا؟

تلميح

الأولى تعتمد الكلمات، والثانية مركزية الجملة.

إظهار الحل

قد تختلف لأن TextRank يكافئ الجمل المشابهة لكثير من الجمل الأخرى، بينما TF-IDF يكافئ الجمل ذات الكلمات المميزة.

متوسط حساب يدوي

IDF

في نص من 4 جمل، تظهر كلمة «اللهجات» في جملة واحدة. احسب IDF باللوغاريتم الطبيعي ln(N/df).

تلميح

N = 4، df = 1.

إظهار الحل

ln(4/1) = ln 4 ≈ 1.386.

متقدم حساب يدوي

ROUGE-1

ملخص مرجعي من 10 كلمات، والملخص الآلي يشترك معه في 6 كلمات ويتكون من 8 كلمات. احسب استدعاء ROUGE-1 وضبطه.

تلميح

الاستدعاء على المرجع والضبط على الآلي.

إظهار الحل

الاستدعاء = 6/10 = 0.6، الضبط = 6/8 = 0.75.

متقدم سؤال مفاهيمي

التلخيص التوليدي

ما المخاطرة الرئيسة في التلخيص التوليدي التي لا توجد في الاستخراجي؟

تلميح

الهلوسة.

إظهار الحل

قد يولّد النموذج معلومات غير موجودة في النص الأصلي، بينما الاستخراجي ينقل جملاً موجودة فعلاً.

أقسام ذات صلة في الموقع