خوارزمية TextRank
TextRank
خوارزمية ترتيب قائمة على الرسوم البيانية تطبق فكرة PageRank على الجمل (أو الكلمات) لاستخراج أهمها دون إشراف.
طريقة العمل
العقد هي الجمل، ووزن الحافة تشابه الجملتين (الكلمات المشتركة مطبَّعة بلوغاريتم الطولين). تُحسب أهمية كل عقدة تكرارياً: S(i) = (1−d) + d Σ_j w_ji / Σ_k w_jk · S(j)، حتى التقارب.
الخطوات
- تقسيم الجمل
- بناء مصفوفة التشابه
- تكرار PageRank حتى التقارب
- اختيار أعلى الجمل
مثال
الجملة المشابهة لجمل كثيرة في النص تأخذ أعلى درجة لأنها «مركزية».
المزايا
- غير خاضعة للإشراف ولا تحتاج إلى بيانات
- تلتقط مركزية الجمل
العيوب
- تفضل الجمل الطويلة المتشابهة
- قد تختار جملاً متكررة المعنى
الاستخدامات
- التلخيص الاستخراجي
- استخراج الكلمات المفتاحية
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Mihalcea, R. & Tarau, P. (2004). TextRank: Bringing Order into Texts. EMNLP 2004.
- Page, L., Brin, S., Motwani, R. & Winograd, T. (1999). The PageRank Citation Ranking: Bringing Order to the Web. Stanford InfoLab Technical Report.
