DeepWalk – التمثيل بالمسارات العشوائية
DeepWalk (2014)
المسارات العشوائية على الرسم تشبه الجمل، والعقد كالكلمات؛ درّب Skip-gram فتتقارب متجهات العقد التي تظهر في السياقات نفسها.
الحدس
المسارات العشوائية على الرسم تشبه الجمل، والعقد كالكلمات؛ درّب Skip-gram فتتقارب متجهات العقد التي تظهر في السياقات نفسها.
الشرح التفصيلي
من كل عقدة تُطلق γ مساراً عشوائياً منتظماً بطول t، ثم تُدرَّب تمثيلات Skip-gram بنافذة w مع Softmax هرمي. تبين أن توزيع ظهور العقد في المسارات القصيرة يتبع قانون قوة كتوزيع الكلمات، فتنجح تقنيات النمذجة اللغوية. التمثيل الناتج جدول متجه لكل عقدة.
كان من أوائل طرق تعلم تمثيل الرسوم، وأظهر تحليل لاحق أنه يعادل ضمنياً تحليل مصفوفة مستمدة من قوى مصفوفة الانتقال.
البنية المعمارية
مسارات عشوائية منتظمة ← Skip-gram ← جدول تمثيلات ← مصنف لاحق.
المعادلات
\min_{\Phi}\;-\log\Pr\big(\{v_{i-w},\dots,v_{i+w}\}\setminus v_i\mid\Phi(v_i)\big)نقاط القوة
- بسيط ولا يحتاج خصائص
- قابل للتوازي
- يلتقط بنية المجتمعات
القيود
- تحويلي
- لا يستخدم الخصائص
- معاملات n×d
التعقيد الحسابي
O(n·γ·t·w·d) تقريباً.
متى تستخدمه
رسوم بلا خصائص، أو خصائص ابتدائية لنماذج أخرى.
التنفيذ في PyTorch Geometric
torch_geometric.nn.Node2Vec بقيم p = q = 1شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Perozzi, B., Al-Rfou, R., & Skiena, S. (2014). DeepWalk: Online Learning of Social Representations. Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. DOI: 10.1145/2623330.2623732تمثيلات العقد بالمسارات العشوائية (ليست GNN).
