خوارزمية TextRank

TextRank

خوارزمية ترتيب قائمة على الرسوم البيانية تطبق فكرة PageRank على الجمل (أو الكلمات) لاستخراج أهمها دون إشراف.

خوارزمية تقليدية

طريقة العمل

العقد هي الجمل، ووزن الحافة تشابه الجملتين (الكلمات المشتركة مطبَّعة بلوغاريتم الطولين). تُحسب أهمية كل عقدة تكرارياً: S(i) = (1−d) + d Σ_j w_ji / Σ_k w_jk · S(j)، حتى التقارب.

الخطوات

  1. تقسيم الجمل
  2. بناء مصفوفة التشابه
  3. تكرار PageRank حتى التقارب
  4. اختيار أعلى الجمل
المدخلاتنص
المخرجاتدرجة لكل جملة وملخص
التعقيدO(S²) لبناء الرسم + تكرارات PageRank

مثال

الجملة المشابهة لجمل كثيرة في النص تأخذ أعلى درجة لأنها «مركزية».

المزايا

  • غير خاضعة للإشراف ولا تحتاج إلى بيانات
  • تلتقط مركزية الجمل

العيوب

  • تفضل الجمل الطويلة المتشابهة
  • قد تختار جملاً متكررة المعنى

الاستخدامات

  • التلخيص الاستخراجي
  • استخراج الكلمات المفتاحية

مكتبات تطبّقها

Gensim (سابقاً)sumyPyTextRank

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Mihalcea, R. & Tarau, P. (2004). TextRank: Bringing Order into Texts. EMNLP 2004.
  • Page, L., Brin, S., Motwani, R. & Winograd, T. (1999). The PageRank Citation Ranking: Bringing Order to the Web. Stanford InfoLab Technical Report.