كيف تقرأ نتيجة التلخيص
كل جملة تحمل درجة. الجمل المختارة هي الأعلى درجة، مع الحفاظ على ترتيبها في النص. الدرجة تقيس أهمية إحصائية لا أهمية بشرية، فراجع الملخص قبل استخدامه.
توثيق المختبر
Text Summarization Lab
لخّص نصاً طويلاً تلخيصاً استخراجياً بطريقة TF-IDF أو TextRank، واختر عدد الجمل، وشاهد درجة كل جملة ونسبة الاختصار.
التلخيص الاستخراجي (Extractive Summarization) يختار أهم الجمل من النص كما هي، أما التلخيص التوليدي (Abstractive) فيكتب جملاً جديدة بنموذج توليدي (مثل mT5 أو AraBART). من أشهر طرق الاستخراج: ترجيح الجمل بمجموع أوزان TF-IDF لكلماتها، وTextRank (Mihalcea وTarau 2004) الذي يبني رسماً بيانياً عقده الجمل وأوزانه تشابه الجمل، ثم يحسب أهمية كل جملة بخوارزمية PageRank.
كل جملة تظهر مع درجتها وترتيبها، والجمل المختارة مظللة. نسبة الاختصار = 1 − (كلمات الملخص ÷ كلمات النص).
نميّز دائماً بين الخوارزميات التقليدية والأساليب المعتمدة على مورد لغوي والنماذج المدرَّبة. الأدوات في هذه الصفحة تقليدية أو معجمية، أما النماذج المدرَّبة فمشروحة هنا ولا تعمل إلا عبر محرك خارجي يفعّله مدير الموقع.
الملخص الاستخراجي قد يفقد الترابط بين الجمل ويكرر المعلومة. التلخيص التوليدي غير متاح في الوضع الافتراضي لأنه يحتاج إلى نموذج مدرب.
نتائج هذه الأداة تعليمية: تُظهر كيف تعمل الخوارزمية خطوة خطوة، ولا تُعرض بوصفها نتائج علمية مؤكدة.
كل جملة تحمل درجة. الجمل المختارة هي الأعلى درجة، مع الحفاظ على ترتيبها في النص. الدرجة تقيس أهمية إحصائية لا أهمية بشرية، فراجع الملخص قبل استخدامه.
توثيق المختبر
TextRank (Mihalcea & Tarau 2004) وLexRank (Erkan & Radev 2004) يمثلان الجمل عقداً في رسم بياني ويرتبان الجمل بخوارزمية شبيهة بـ PageRank. لا يحتاجان بيانات تدريب، ويعملان مع أي لغة بعد التجزئة المناسبة.
Mihalcea & Tarau (2004); Erkan & Radev (2004)
إنتاج نسخة أقصر من النص تحتفظ بأهم معلوماته. نوعان: استخراجي يختار جملاً من النص كما هي، وتوليدي يكتب جملاً جديدة.
يحسب وزن TF-IDF لكل كلمة معتبراً كل جملة وثيقة، ثم يعطي كل جملة مجموع أوزان كلماتها مقسوماً على طولها، ويختار أعلى الجمل ويعيدها بترتيبها الأصلي.
يبني رسماً بيانياً عقده الجمل، وأوزان روابطه تشابه الجمل، ثم يطبق خوارزمية PageRank (بمعامل تخميد 0.85) لترتيب الجمل حسب مركزيتها، ويختار الأعلى.
كلاهما يستخدم مركزية الرسم البياني. LexRank يستخدم جيب التمام على TF-IDF وعتبة لإنشاء الروابط، وTextRank الأصلي يستخدم تداخل الكلمات مطبعاً بطول الجملتين.
لأن التلخيص التوليدي يحتاج نموذجاً لغوياً مدرباً (مثل mT5 أو نماذج اللغة الكبيرة). يمكن أن يتاح عبر محرك Python أو API خارجي إن فعّله المدير، ويظهر حينها منفصلاً بوصف «نموذج توليدي».
يقيس تداخل الكلمات أو المقاطع بين الملخص الآلي والملخص المرجعي. ROUGE-1 للكلمات المفردة، وROUGE-2 للأزواج، وROUGE-L لأطول تسلسل مشترك.
لا توجد قاعدة ثابتة. يمكنك اختيار عدد الجمل أو نسبة من النص. الملخصات الاستخراجية القصيرة جداً قد تفقد السياق، والطويلة تفقد فائدة التلخيص.
لأن الخوارزمية تقيس الكلمات المتكررة والمركزية، لا الأهمية بمعناها البشري. الجملة الطويلة المليئة بكلمات متكررة قد تحصل على درجة عالية.
يحتاج النص إلى ثلاث جمل على الأقل ليكون الاختيار ذا معنى. مع أقل من ذلك يعرض المختبر النص كما هو مع تنبيه.
تلخيص مجموعة نصوص عن موضوع واحد مع إزالة التكرار بينها، مثل أخبار متعددة عن حدث واحد. المختبر يلخص نصاً واحداً فقط.
لخّص مثال «معالجة اللغة العربية» بـ TF-IDF في جملتين. ما الجملتان؟
ترتيب الجمل يبقى كما في النص.
تعتمد على الأوزان، وغالباً تُختار جمل تحتوي كلمات نادرة نسبياً في الفقرة. اقرأ الدرجات في الجدول.
لخّص النص نفسه بالطريقتين. هل اختلفت الجمل؟ لماذا؟
الأولى تعتمد الكلمات، والثانية مركزية الجملة.
قد تختلف لأن TextRank يكافئ الجمل المشابهة لكثير من الجمل الأخرى، بينما TF-IDF يكافئ الجمل ذات الكلمات المميزة.
في نص من 4 جمل، تظهر كلمة «اللهجات» في جملة واحدة. احسب IDF باللوغاريتم الطبيعي ln(N/df).
N = 4، df = 1.
ln(4/1) = ln 4 ≈ 1.386.
ملخص مرجعي من 10 كلمات، والملخص الآلي يشترك معه في 6 كلمات ويتكون من 8 كلمات. احسب استدعاء ROUGE-1 وضبطه.
الاستدعاء على المرجع والضبط على الآلي.
الاستدعاء = 6/10 = 0.6، الضبط = 6/8 = 0.75.
ما المخاطرة الرئيسة في التلخيص التوليدي التي لا توجد في الاستخراجي؟
الهلوسة.
قد يولّد النموذج معلومات غير موجودة في النص الأصلي، بينما الاستخراجي ينقل جملاً موجودة فعلاً.
الأقسام
لا يوجد قسم بهذا الاسم. اضغط «بحث» للبحث في محتوى الموقع كله.
المفضلة
نتائجي وشهاداتي
تقدّمي في الأكاديميةنتائج اختباراتيتقدّم الأطفالشهادات الأكاديميةشهادات الاختباراتابدأ أي درس أو اختبار وسيظهر هنا لتعود إليه بسرعة.
الإعدادات
أنا مساعد مختبر معالجة اللغة الطبيعية. اسألني عن مفهوم أو خوارزمية أو كلمة لهجية، وسأجيبك من قاعدة معرفة المختبر مع ذكر المصادر.
يجيب من قاعدة معرفة المختبر فقط، دون نموذج لغوي خارجي ودون إرسال سؤالك إلى أي جهة.
قد يخطئ المساعد أحياناً، فراجع المصادر المرفقة.