GraphSAGE والتعلم الاستقرائي ومعاينة الجيران
GraphSAGE, Inductive Learning and Neighbour Sampling
كيف انتقلت GNN من تعلّم تمثيل لكل عقدة إلى تعلّم دالة تولّد التمثيل لأي عقدة: فصل تمثيل العقدة عن تمثيل جيرانها، والمجمّعات المختلفة، ومعاينة عدد ثابت من الجيران لتدريب الرسوم الضخمة بدفعات صغيرة، والتعميم إلى عقد ورسوم لم تُرَ.
أهداف الدرس
- التمييز بين الإعداد التحويلي والاستقرائي
- كتابة طبقة GraphSAGE والمقارنة مع GCN
- شرح معاينة الجيران وكلفتها الحسابية
- إعداد NeighborLoader للتدريب بدفعات صغيرة
1 من تمثيلات إلى دالة مولّدة
في DeepWalk لكل عقدة متجه في جدول؛ وفي GCN الأصلية يتطلب التدريب الرسم كاملاً. اقترح Hamilton وزملاؤه (2017) أن نتعلم دالة تجميع مشتركة (Aggregator) تولّد تمثيل أي عقدة من خصائصها وخصائص جيرانها. إذا أضيف مستخدم جديد إلى منصة اجتماعية، نطبق الدالة نفسها على جواره دون أي تدريب إضافي. هذا هو التعلم الاستقرائي (Inductive)، وهو ضروري في الأنظمة الإنتاجية المتغيرة باستمرار، وفي التعميم إلى رسوم كاملة جديدة مثل رسوم PPI لأنسجة لم تُرَ.
2 الطبقة: فصل الذات عن الجيران
تجمع GraphSAGE تمثيلات الجيران بمجمّع (متوسط أو أقصى بعد طبقة خطية أو LSTM)، ثم تضمّ (Concatenate) النتيجة إلى تمثيل العقدة نفسها قبل التحويل الخطي، ثم تطبّع المتجه إلى طول الوحدة. الفصل بين الذات والجيران (وزنان مختلفان عملياً) يحمي معلومة العقدة من أن تذوب في متوسط الجيران، وهو أحد أسباب أداء SAGE الجيد نسبياً في الرسوم الأقل تجانساً.
h_{\mathcal{N}(v)}^{(l)}=\operatorname{AGG}^{(l)}\!\left(\{h_u^{(l)} : u\in\mathcal{S}(v)\}\right)h_v^{(l+1)}=\sigma\!\left(W^{(l)}\big[\,h_v^{(l)}\,\Vert\,h_{\mathcal{N}(v)}^{(l)}\big]\right),\qquad h_v\leftarrow \frac{h_v}{\lVert h_v\rVert_2}3 معاينة الجيران
في رسم ضخم ينمو الجوار أسياً مع العمق: عقدة متوسطة درجتها 50 لها 2,500 جار على المسافة 2. تعالج GraphSAGE ذلك بمعاينة عدد ثابت من الجيران في كل طبقة (مثلاً S₁ = 25 وS₂ = 10)، فيصبح حجم الشجرة الحسابية لكل عقدة 1 + 25 + 250 بغض النظر عن حجم الرسم. هذا يحوّل التدريب إلى دفعات صغيرة (Mini-batches) من العقد المستهدفة مع رسومها الفرعية، ويجعل الذاكرة محدودة. الثمن تباين إضافي في التقدير، وهو ما عالجته لاحقاً طرق مثل Cluster-GCN وGraphSAINT.
\text{cost per target node} = O\!\left(\prod_{l=1}^{L} S_l\right)from torch_geometric.loader import NeighborLoader
from torch_geometric.nn import GraphSAGE
loader = NeighborLoader(data, num_neighbors=[25, 10], batch_size=512,
input_nodes=data.train_mask, shuffle=True)
model = GraphSAGE(data.num_features, hidden_channels=256, num_layers=2,
out_channels=dataset.num_classes, aggr="mean")
for batch in loader:
out = model(batch.x, batch.edge_index)[:batch.batch_size] # أول batch_size عقدة هي المستهدفة
loss = F.cross_entropy(out, batch.y[:batch.batch_size])4 التدريب غير الخاضع للإشراف في GraphSAGE
اقترحت الورقة أيضاً هدفاً غير خاضع للإشراف يشبه node2vec: العقد التي تظهر قرب بعضها في مسارات عشوائية قصيرة يجب أن تتقارب تمثيلاتها، والعقد العشوائية (عيّنات سلبية) يجب أن تتباعد. الفرق عن node2vec أن التمثيلات هنا مخرجات دالة مشتركة على الخصائص، فتعمم إلى عقد جديدة.
\mathcal{L}(z_u)=-\log\sigma(z_u^{\top}z_v)-Q\,\mathbb{E}_{v_n\sim P_n}\log\sigma(-z_u^{\top}z_{v_n})5 متى تختارها؟
استخدمت Pinterest نسخة منها (PinSage) على مليارات العناصر، وهي من أشهر أمثلة GNN في الإنتاج.
- رسوم ضخمة لا تتسع في ذاكرة GPU واحدة.
- رسوم تتغير باستمرار وعقد جديدة تحتاج تمثيلاً فورياً (التوصية، الشبكات الاجتماعية).
- تعميم إلى رسوم جديدة كاملة.
- خط أساس قوي حين تكون خصائص العقد غنية.
خلاصة الدرس
- GraphSAGE تتعلم دالة مولّدة للتمثيلات فتعمل استقرائياً
- ضمّ تمثيل العقدة إلى تجميع الجيران يحفظ معلومة الذات
- معاينة عدد ثابت من الجيران تجعل الكلفة مستقلة عن حجم الرسم
- NeighborLoader في PyG ينفذ التدريب بدفعات صغيرة
تحقّق من فهمك
فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.
مع S₁ = 10 وS₂ = 5، كم عقدة على الأكثر في الشجرة الحسابية لعقدة مستهدفة واحدة؟
1 + 10 + 50 = 61 عقدة.
ما الفرق الجوهري بين تمثيل node2vec وتمثيل GraphSAGE لعقدة جديدة؟
node2vec لا يملك متجهاً لها دون إعادة تدريب؛ GraphSAGE يطبق الدالة المتعلَّمة على خصائصها وجوارها مباشرة.
تابع التعلّم
نماذج في هذا الدرس
مفاهيم مرتبطة
المراجع
- Hamilton, W. L., Ying, R., & Leskovec, J. (2017). Inductive Representation Learning on Large Graphs. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 1706.02216الورقة الأصلية لـ GraphSAGE والتعلم الاستقرائي بالعيّنات من الجوار.
- Ying, R., He, R., Chen, K., Eksombatchai, P., Hamilton, W. L., & Leskovec, J. (2018). Graph Convolutional Neural Networks for Web-Scale Recommender Systems. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. DOI: 10.1145/3219819.3219890PinSage: نظام توصية قائم على GNN بحجم صناعي.
- Chiang, W.-L., Liu, X., Si, S., Li, Y., Bengio, S., & Hsieh, C.-J. (2019). Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. DOI: 10.1145/3292500.3330925تدريب GCN على رسوم كبيرة بتقسيمها إلى عناقيد.
- Zeng, H., Zhou, H., Srivastava, A., Kannan, R., & Prasanna, V. (2020). GraphSAINT: Graph Sampling Based Inductive Learning Method. International Conference on Learning Representations (ICLR). arXiv: 1907.04931تدريب على رسوم فرعية معاينة مع تصحيح الانحياز بالتطبيع.
