كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

GraphSAGE والتعلم الاستقرائي ومعاينة الجيران

GraphSAGE, Inductive Learning and Neighbour Sampling

كيف انتقلت GNN من تعلّم تمثيل لكل عقدة إلى تعلّم دالة تولّد التمثيل لأي عقدة: فصل تمثيل العقدة عن تمثيل جيرانها، والمجمّعات المختلفة، ومعاينة عدد ثابت من الجيران لتدريب الرسوم الضخمة بدفعات صغيرة، والتعميم إلى عقد ورسوم لم تُرَ.

المعماريات الأساسيةمتوسط25 دقيقة قراءةالدرس 9 من 23

أهداف الدرس

  • التمييز بين الإعداد التحويلي والاستقرائي
  • كتابة طبقة GraphSAGE والمقارنة مع GCN
  • شرح معاينة الجيران وكلفتها الحسابية
  • إعداد NeighborLoader للتدريب بدفعات صغيرة

1 من تمثيلات إلى دالة مولّدة

في DeepWalk لكل عقدة متجه في جدول؛ وفي GCN الأصلية يتطلب التدريب الرسم كاملاً. اقترح Hamilton وزملاؤه (2017) أن نتعلم دالة تجميع مشتركة (Aggregator) تولّد تمثيل أي عقدة من خصائصها وخصائص جيرانها. إذا أضيف مستخدم جديد إلى منصة اجتماعية، نطبق الدالة نفسها على جواره دون أي تدريب إضافي. هذا هو التعلم الاستقرائي (Inductive)، وهو ضروري في الأنظمة الإنتاجية المتغيرة باستمرار، وفي التعميم إلى رسوم كاملة جديدة مثل رسوم PPI لأنسجة لم تُرَ.

2 الطبقة: فصل الذات عن الجيران

تجمع GraphSAGE تمثيلات الجيران بمجمّع (متوسط أو أقصى بعد طبقة خطية أو LSTM)، ثم تضمّ (Concatenate) النتيجة إلى تمثيل العقدة نفسها قبل التحويل الخطي، ثم تطبّع المتجه إلى طول الوحدة. الفصل بين الذات والجيران (وزنان مختلفان عملياً) يحمي معلومة العقدة من أن تذوب في متوسط الجيران، وهو أحد أسباب أداء SAGE الجيد نسبياً في الرسوم الأقل تجانساً.

h_{\mathcal{N}(v)}^{(l)}=\operatorname{AGG}^{(l)}\!\left(\{h_u^{(l)} : u\in\mathcal{S}(v)\}\right)
تجميع تمثيلات عيّنة من الجيران 𝒮(v).
h_v^{(l+1)}=\sigma\!\left(W^{(l)}\big[\,h_v^{(l)}\,\Vert\,h_{\mathcal{N}(v)}^{(l)}\big]\right),\qquad h_v\leftarrow \frac{h_v}{\lVert h_v\rVert_2}
الضم ثم التحويل ثم التطبيع إلى طول الوحدة.
vsample S neighboursAGGmean / max / LSTMh_vselfCONCAT · Wσ, ℓ2-norm
GraphSAGE: عيّنة ثابتة الحجم من الجيران، ثم تجميع، ثم دمج مع تمثيل العقدة نفسها.

3 معاينة الجيران

في رسم ضخم ينمو الجوار أسياً مع العمق: عقدة متوسطة درجتها 50 لها 2,500 جار على المسافة 2. تعالج GraphSAGE ذلك بمعاينة عدد ثابت من الجيران في كل طبقة (مثلاً S₁ = 25 وS₂ = 10)، فيصبح حجم الشجرة الحسابية لكل عقدة 1 + 25 + 250 بغض النظر عن حجم الرسم. هذا يحوّل التدريب إلى دفعات صغيرة (Mini-batches) من العقد المستهدفة مع رسومها الفرعية، ويجعل الذاكرة محدودة. الثمن تباين إضافي في التقدير، وهو ما عالجته لاحقاً طرق مثل Cluster-GCN وGraphSAINT.

\text{cost per target node} = O\!\left(\prod_{l=1}^{L} S_l\right)
كلفة الشجرة الحسابية لكل عقدة مستهدفة مع معاينة S_l جاراً في كل طبقة.
from torch_geometric.loader import NeighborLoader
from torch_geometric.nn import GraphSAGE

loader = NeighborLoader(data, num_neighbors=[25, 10], batch_size=512,
                        input_nodes=data.train_mask, shuffle=True)
model = GraphSAGE(data.num_features, hidden_channels=256, num_layers=2,
                  out_channels=dataset.num_classes, aggr="mean")
for batch in loader:
    out = model(batch.x, batch.edge_index)[:batch.batch_size]  # أول batch_size عقدة هي المستهدفة
    loss = F.cross_entropy(out, batch.y[:batch.batch_size])

4 التدريب غير الخاضع للإشراف في GraphSAGE

اقترحت الورقة أيضاً هدفاً غير خاضع للإشراف يشبه node2vec: العقد التي تظهر قرب بعضها في مسارات عشوائية قصيرة يجب أن تتقارب تمثيلاتها، والعقد العشوائية (عيّنات سلبية) يجب أن تتباعد. الفرق عن node2vec أن التمثيلات هنا مخرجات دالة مشتركة على الخصائص، فتعمم إلى عقد جديدة.

\mathcal{L}(z_u)=-\log\sigma(z_u^{\top}z_v)-Q\,\mathbb{E}_{v_n\sim P_n}\log\sigma(-z_u^{\top}z_{v_n})
الهدف غير الخاضع للإشراف: v تظهر قرب u في مسار عشوائي، وv_n عيّنات سلبية.

5 متى تختارها؟

استخدمت Pinterest نسخة منها (PinSage) على مليارات العناصر، وهي من أشهر أمثلة GNN في الإنتاج.

  • رسوم ضخمة لا تتسع في ذاكرة GPU واحدة.
  • رسوم تتغير باستمرار وعقد جديدة تحتاج تمثيلاً فورياً (التوصية، الشبكات الاجتماعية).
  • تعميم إلى رسوم جديدة كاملة.
  • خط أساس قوي حين تكون خصائص العقد غنية.

خلاصة الدرس

  • GraphSAGE تتعلم دالة مولّدة للتمثيلات فتعمل استقرائياً
  • ضمّ تمثيل العقدة إلى تجميع الجيران يحفظ معلومة الذات
  • معاينة عدد ثابت من الجيران تجعل الكلفة مستقلة عن حجم الرسم
  • NeighborLoader في PyG ينفذ التدريب بدفعات صغيرة

تحقّق من فهمك

فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.

مع S₁ = 10 وS₂ = 5، كم عقدة على الأكثر في الشجرة الحسابية لعقدة مستهدفة واحدة؟

1 + 10 + 50 = 61 عقدة.

ما الفرق الجوهري بين تمثيل node2vec وتمثيل GraphSAGE لعقدة جديدة؟

node2vec لا يملك متجهاً لها دون إعادة تدريب؛ GraphSAGE يطبق الدالة المتعلَّمة على خصائصها وجوارها مباشرة.

تابع التعلّم

نماذج في هذا الدرس

مفاهيم مرتبطة

طبّق في المختبر: مختبر تصنيف العقد

المراجع

  1. Hamilton, W. L., Ying, R., & Leskovec, J. (2017). Inductive Representation Learning on Large Graphs. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 1706.02216الورقة الأصلية لـ GraphSAGE والتعلم الاستقرائي بالعيّنات من الجوار.
  2. Ying, R., He, R., Chen, K., Eksombatchai, P., Hamilton, W. L., & Leskovec, J. (2018). Graph Convolutional Neural Networks for Web-Scale Recommender Systems. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. DOI: 10.1145/3219819.3219890PinSage: نظام توصية قائم على GNN بحجم صناعي.
  3. Chiang, W.-L., Liu, X., Si, S., Li, Y., Bengio, S., & Hsieh, C.-J. (2019). Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. DOI: 10.1145/3292500.3330925تدريب GCN على رسوم كبيرة بتقسيمها إلى عناقيد.
  4. Zeng, H., Zhou, H., Srivastava, A., Kannan, R., & Prasanna, V. (2020). GraphSAINT: Graph Sampling Based Inductive Learning Method. International Conference on Learning Representations (ICLR). arXiv: 1907.04931تدريب على رسوم فرعية معاينة مع تصحيح الانحياز بالتطبيع.