كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

GCN بالتفصيل: التطبيع والتدريب شبه الخاضع للإشراف

GCN in Depth: Normalisation and Semi-supervised Training

قراءة متأنية لأشهر نموذج GNN: لماذا التطبيع المتماثل، وكيف يجري التدريب شبه الخاضع للإشراف على عقد قليلة موسومة، وما المعاملات التي تحدد الأداء، وكيف تتصرف الطبقات عند التعمق، ومتى تكون GCN خياراً جيداً ومتى لا تكون.

المعماريات الأساسيةمتوسط25 دقيقة قراءةالدرس 8 من 23

أهداف الدرس

  • حساب طبقة GCN يدوياً على رسم صغير
  • مقارنة التطبيع المتماثل بتطبيع الصفوف (المتوسط)
  • فهم الإعداد شبه الخاضع للإشراف وتقسيم Planetoid
  • تحديد المعاملات الفائقة المؤثرة وأخطاء الإبلاغ الشائعة

1 الطبقة خطوة بخطوة

نبدأ من مصفوفة الجوار A، ونضيف الحلقات الذاتية Ã = A + I حتى تدخل العقدة نفسها في التجميع. نحسب درجات Ã، ثم المصفوفة المطبّعة Â = D̃^{-1/2}ÃD̃^{-1/2}. الطبقة: H' = σ(ÂHW). العنصر Â_ij = 1/√(d̃_i d̃_j): رسالة الجار j تُقسم على جذر درجته وجذر درجة المستقبل. نموذج تصنيف العقد الكلاسيكي طبقتان: Z = softmax(Â ReLU(ÂXW⁰) W¹).

Z=\operatorname{softmax}\!\left(\hat{A}\,\operatorname{ReLU}\!\left(\hat{A}XW^{(0)}\right)W^{(1)}\right),\qquad \hat{A}=\tilde{D}^{-\frac12}\tilde{A}\tilde{D}^{-\frac12}
نموذج GCN ذو الطبقتين لتصنيف العقد.
X, ÂinputGCN H W⁽¹⁾ReLUdropoutGCN H W⁽²⁾softmaxper node = D̃^-½ (A + I) D̃^-½H⁽ˡ⁺¹⁾ = σ(  H⁽ˡ⁾ W⁽ˡ⁾ )
طبقتا GCN: كل طبقة تضرب التمثيلات في مصفوفة الجوار المطبّعة ثم في الأوزان، ثم دالة تنشيط.

2 لماذا التطبيع المتماثل؟

دون تطبيع، ÃH يجمع تمثيلات الجيران فتنفجر قيم العقد عالية الدرجة وتتلاشى قيم المنخفضة. تطبيع الصفوف D̃^{-1}Ã يعطي متوسطاً بسيطاً، لكنه يعامل رسالة المحور (الذي يرسل إلى آلاف العقد) كرسالة عقدة لها جار واحد. التطبيع المتماثل يقسم أيضاً على درجة المرسل، فتُخفَّض رسائل المحاور لأنها أقل تخصصاً. طيفياً، يضمن التطبيع المتماثل أن تبقى القيم الذاتية في مجال محدود، فلا تنفجر التمثيلات مع تكرار الطبقات.

3 التدريب شبه الخاضع للإشراف

في تقسيم Planetoid لمجموعة Cora تكون 140 عقدة فقط موسومة (20 لكل فئة من 7)، و500 للتحقق، و1000 للاختبار، من أصل 2,708. تُحسب الخسارة (Cross-Entropy) على العقد الموسومة فقط، لكن التمرير الأمامي يشمل الرسم كله، فتصل إشارة التدرج عبر الروابط إلى تمثيلات العقد غير الموسومة. لهذا يسمى الإعداد تحويلياً (Transductive): عقد الاختبار وخصائصها مرئية أثناء التدريب، ووسومها فقط مخفية.

\mathcal{L} = -\sum_{i\in\mathcal{Y}_L}\sum_{c=1}^{C} Y_{ic}\,\ln Z_{ic}
الخسارة تُحسب على مجموعة العقد الموسومة 𝒴_L فقط.
import torch, torch.nn.functional as F
from torch_geometric.datasets import Planetoid
from torch_geometric.nn import GCNConv

data = Planetoid("data", "Cora")[0]
class GCN(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.c1 = GCNConv(data.num_features, 16)
        self.c2 = GCNConv(16, 7)
    def forward(self, x, ei):
        x = F.dropout(x, 0.5, self.training)
        x = F.relu(self.c1(x, ei))
        x = F.dropout(x, 0.5, self.training)
        return self.c2(x, ei)

model = GCN()
opt = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
for epoch in range(200):
    model.train(); opt.zero_grad()
    out = model(data.x, data.edge_index)
    loss = F.cross_entropy(out[data.train_mask], data.y[data.train_mask])
    loss.backward(); opt.step()

4 المعاملات الفائقة المؤثرة

التفاوت بين التشغيلات بسبب البذور العشوائية قد يبلغ نقطة مئوية أو أكثر على Cora؛ لذلك يجب الإبلاغ عن المتوسط والانحراف المعياري على عشرة تشغيلات أو أكثر. ونبّه Shchur وزملاؤه (2018) إلى أن ترتيب النماذج قد ينقلب كلياً إذا غُيّر التقسيم، فلا تكتفِ بتقسيم واحد.

  • عدد الطبقات: طبقتان أو ثلاث غالباً؛ الأعمق يتدهور بسبب التنعيم المفرط ما لم تُستخدم وصلات تخطٍّ.
  • الأبعاد المخفية: 16 في الورقة الأصلية لـ Cora، وأكبر للرسوم الكبيرة.
  • Dropout: مرتفع (0.5) لأن العقد الموسومة قليلة جداً.
  • Weight decay (L2): 5×10⁻⁴ على الطبقة الأولى في الإعداد الأصلي.
  • معدل التعلم وعدد العصور مع إيقاف مبكر على التحقق.

5 متى تختار GCN؟

GCN خط أساس ممتاز وسريع لتصنيف العقد في الرسوم المتجانسة متوسطة الحجم، ومشفّر جيد في GAE. أما حين تكون الروابط مختلفة الأهمية فـ GAT أنسب، وحين تحتاج التعميم إلى عقد أو رسوم جديدة فـ GraphSAGE، وحين يكون الرسم غير متجانس فنماذج مثل H2GCN أو GPR-GNN أو حتى MLP، وحين تحتاج تمييز البنى في تصنيف الرسوم فـ GIN. ولا تنسَ أن نماذج أبسط مثل SGC وC&S قد تقترب من أداء GCN بكلفة أقل.

درّب GCN فعلياً في وحدة «تصنيف العقد» على شبكة الكاراتيه وغيّر عدد الطبقات ونسبة الوسوم، ولاحظ تغير الدقة ومصفوفة الالتباس.

خلاصة الدرس

  • GCN = تطبيع متماثل مع حلقات ذاتية ثم تحويل خطي ولاخطية
  • التدريب شبه خاضع للإشراف وتحويلي في الإعداد الكلاسيكي
  • Dropout وL2 ضروريان مع قلة الوسوم
  • أبلغ دائماً عن متوسط وانحراف على تشغيلات وتقسيمات متعددة

تحقّق من فهمك

فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.

في Â لرسم فيه العقدة i درجتها (مع الحلقة) 4 والعقدة j درجتها 9، كم يساوي Â_ij إذا كانتا متصلتين؟

1/√(4×9) = 1/6.

لماذا يسمى تدريب GCN على Cora تحويلياً؟

لأن عقد الاختبار وروابطها وخصائصها موجودة في الرسم أثناء التدريب، والمخفي هو وسومها فقط.

تابع التعلّم

نماذج في هذا الدرس

مفاهيم مرتبطة

طبّق في المختبر: مختبر تصنيف العقد

المراجع

  1. Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR). arXiv: 1609.02907الورقة الأصلية لـ GCN ومصدر التطبيع المتماثل للمصفوفة.
  2. Yang, Z., Cohen, W. W., & Salakhutdinov, R. (2016). Revisiting Semi-Supervised Learning with Graph Embeddings. International Conference on Machine Learning (ICML). arXiv: 1603.08861مصدر التقسيم العام (Planetoid) لـ Cora وCiteSeer وPubMed.
  3. Shchur, O., Mumme, M., Bojchevski, A., & Günnemann, S. (2018). Pitfalls of Graph Neural Network Evaluation. NeurIPS 2018 Workshop on Relational Representation Learning. arXiv: 1811.05868تبيّن أن ترتيب النماذج يتغير مع تغيير التقسيم، وتوصي بتقسيمات وبذور متعددة.
  4. Wu, F., Zhang, T., de Souza, A. H., Fifty, C., Yu, T., & Weinberger, K. Q. (2019). Simplifying Graph Convolutional Networks. International Conference on Machine Learning (ICML). arXiv: 1902.07153SGC: إزالة اللاخطية وضغط K طبقة في ضرب واحد.
  5. Huang, Q., He, H., Singh, A., Lim, S.-N., & Benson, A. R. (2021). Combining Label Propagation and Simple Models Out-performs Graph Neural Networks. International Conference on Learning Representations (ICLR). arXiv: 2010.13993C&S: خطوط أساس بسيطة قوية يجب مقارنتها دائماً.