إطار انتقال الرسائل (MPNN): القالب الذي يوحّد نماذج GNN
The Message Passing Framework (MPNN)
الصيغة العامة التي اقترحها Gilmer وزملاؤه (2017) وتجمع تحتها معظم الشبكات العصبية البيانية: دالة الرسالة ودالة التجميع ودالة التحديث، مع شرح شروط التجميع، ومجال الاستقبال، وكيف تكتب GCN وGraphSAGE وGAT وGIN بوصفها حالات خاصة، وكيف تُبنى طبقة مخصصة في PyG.
أهداف الدرس
- كتابة المعادلات العامة لطبقة انتقال الرسائل
- شرح لماذا يجب أن يكون التجميع ثابتاً تحت التبديل
- مقارنة دوال التجميع sum وmean وmax من حيث قوة التمييز
- تنفيذ طبقة رسائل مخصصة بالصنف MessagePassing
1 ثلاث دوال في كل طبقة
في كل طبقة l تُنفَّذ ثلاث خطوات لكل عقدة i: أولاً تحسب كل عقدة جارة j رسالة m_ij بدالة الرسالة φ التي تأخذ تمثيل المستقبل وتمثيل المرسل وخصائص الرابط. ثانياً تُجمع رسائل كل الجيران بدالة تجميع ⊕ ثابتة تحت التبديل. ثالثاً تُحدَّث حالة العقدة بدالة γ تأخذ حالتها السابقة والرسالة المجمّعة. الدالتان φ وγ قابلتان للتعلم (عادةً طبقات خطية أو MLP) ومشتركتان بين كل العقد.
بعد L طبقة يصبح تمثيل كل عقدة دالة لجوارها حتى المسافة L. وفي مهام مستوى الرسم تضاف دالة قراءة (Readout) تجمع تمثيلات العقد في متجه واحد.
m_{ij}^{(l)} = \phi^{(l)}\!\left(h_i^{(l)},\,h_j^{(l)},\,e_{ij}\right)m_i^{(l)} = \bigoplus_{j\in\mathcal{N}(i)} m_{ij}^{(l)}h_i^{(l+1)} = \gamma^{(l)}\!\left(h_i^{(l)},\,m_i^{(l)}\right)2 لماذا يجب أن يكون التجميع ثابتاً تحت التبديل؟
جيران العقدة مجموعة لا ترتيب لها. لو استخدمنا دالة تعتمد على الترتيب (مثل شبكة متكررة على قائمة الجيران) لأعطت نتائج مختلفة لترتيبات مختلفة للجيران أنفسهم. لذلك يجب أن تكون ⊕ متماثلة: المجموع والمتوسط والأقصى والأدنى والانحراف المعياري، أو مجموع موزون بأوزان تحسب من المحتوى (الانتباه). جرّب GraphSAGE الأصلية مجمّعاً بـ LSTM على ترتيب عشوائي للجيران، لكنه ليس ثابتاً تحت التبديل نظرياً ويُعالَج بخلط الترتيب.
3 المجموع والمتوسط والأقصى: ماذا يرى كل منها؟
تختلف المجمّعات في المعلومة التي تحفظها عن المجموعة المتعددة (Multiset) لرسائل الجيران. المجموع يحفظ العدد والتوزيع معاً، فهو الأقوى تمييزاً (ويمكنه مع MLP مناسبة أن يكون حقنياً على المجموعات المتعددة المحدودة). المتوسط يحفظ التوزيع النسبي فقط: لا يفرق بين جارين لونهما أحمر وأربعة جيران حمر. الأقصى يحفظ المجموعة الأساسية (العناصر المختلفة) فقط: لا يفرق بين أحمر وأزرق وبين أحمر وأحمر وأزرق. لكن المتوسط أكثر استقراراً مع الدرجات المتفاوتة، والأقصى مقاوم للضوضاء، لذلك يعتمد الاختيار على المهمة. وحدة انتقال الرسائل في المختبر تتيح لك مشاهدة هذا الفرق على رسم تبنيه.
- sum: يميز العدد والتوزيع، مناسب للبنى والعد (GIN).
- mean: يميز التوزيع، مستقر مع تفاوت الدرجات (GraphSAGE-mean، GCN تقريباً).
- max: يميز المجموعة الأساسية، يلتقط وجود عنصر مميز (PointNet، SAGE-pool).
4 النماذج المعروفة حالات خاصة
GCN: الرسالة W h_j مقسومة على جذر حاصل ضرب الدرجتين، والتجميع مجموع، والتحديث σ. GraphSAGE: الرسالة h_j، والتجميع متوسط، والتحديث يضم h_i إلى المتوسط ثم يطبق تحويلاً. GAT: الرسالة α_ij W h_j حيث α تحسب من محتوى الطرفين. GIN: التجميع مجموع، والتحديث MLP على (1+ε)h_i مضافاً إليه المجموع. MPNN الأصلية: الرسالة شبكة على خصائص الرابط تنتج مصفوفة تضرب h_j، والتحديث وحدة GRU.
\text{GCN: } h_i'=\sigma\!\Big(\sum_{j\in\mathcal{N}(i)\cup\{i\}}\tfrac{1}{\sqrt{\tilde d_i\tilde d_j}}\,W h_j\Big)\text{GIN: } h_i'=\operatorname{MLP}\!\Big((1+\epsilon)\,h_i+\sum_{j\in\mathcal{N}(i)}h_j\Big)5 التنفيذ في PyTorch Geometric
الصنف MessagePassing في PyG ينفذ هذا الإطار مباشرة: تحدد المجمّع في aggr، وتكتب دالة message التي تستقبل متغيرات تنتهي بـ _i (المستقبل) و_j (المرسل)، ثم تستدعي propagate. المثال التالي طبقة GCN مبسطة كاملة.
import torch
from torch_geometric.nn import MessagePassing
from torch_geometric.utils import add_self_loops, degree
class SimpleGCN(MessagePassing):
def __init__(self, in_ch, out_ch):
super().__init__(aggr="add") # التجميع بالمجموع
self.lin = torch.nn.Linear(in_ch, out_ch, bias=False)
def forward(self, x, edge_index):
edge_index, _ = add_self_loops(edge_index, num_nodes=x.size(0))
x = self.lin(x)
row, col = edge_index
deg = degree(col, x.size(0), dtype=x.dtype)
norm = deg.pow(-0.5)[row] * deg.pow(-0.5)[col]
return self.propagate(edge_index, x=x, norm=norm)
def message(self, x_j, norm): # x_j: تمثيل المرسل
return norm.view(-1, 1) * x_j6 مجال الاستقبال وحدود الإطار
مجال الاستقبال (Receptive Field) لعقدة بعد L طبقة هو جوارها حتى المسافة L، ويمكن رسمه شجرة حسابية (Computation Tree) تتفرع من العقدة. كل ما لا يظهر في هذه الشجرة لا يمكن أن يؤثر في تمثيلها. من هذا الإطار تأتي الحدود الثلاثة التي تدرسها لاحقاً: قوة تمييز محدودة باختبار 1-WL، وتنعيم مفرط مع العمق، وانضغاط مفرط حين يتضخم مجال الاستقبال أسياً ويُضغط في متجه ثابت.
جرّب في وحدة «انتقال الرسائل» تغيير المجمّع بين sum وmean وmax على رسم «النجوم» وراقب متى تحصل عقدتان مختلفتان بنيوياً على التمثيل نفسه.
خلاصة الدرس
- كل طبقة: رسالة ثم تجميع ثابت تحت التبديل ثم تحديث
- المجموع أقوى تمييزاً، والمتوسط أكثر استقراراً، والأقصى يلتقط العناصر المميزة
- GCN وSAGE وGAT وGIN حالات خاصة من MPNN
- مجال الاستقبال بعد L طبقة هو الجوار حتى المسافة L
تحقّق من فهمك
فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.
عقدة لها جاران بخاصية 1، وأخرى لها أربعة جيران بخاصية 1. أي مجمّع يميز بينهما؟
المجموع فقط (2 مقابل 4). المتوسط والأقصى يعطيان 1 في الحالتين.
ما دور المتغيرات المنتهية بـ _j في دالة message في PyG؟
تشير إلى قيم العقدة المرسلة (المصدر) لكل رابط، بينما تشير _i إلى العقدة المستقبلة.
تابع التعلّم
نماذج في هذا الدرس
مفاهيم مرتبطة
المراجع
- Gilmer, J., Schoenholz, S. S., Riley, P. F., Vinyals, O., & Dahl, G. E. (2017). Neural Message Passing for Quantum Chemistry. International Conference on Machine Learning (ICML). arXiv: 1704.01212صاغت إطار Message Passing Neural Networks (MPNN) الذي يوحّد كثيراً من نماذج GNN.
- Battaglia, P. W., Hamrick, J. B., Bapst, V., et al. (2018). Relational inductive biases, deep learning, and graph networks. arXiv preprint. arXiv: 1806.01261إطار Graph Networks العام (تحديث الروابط والعقد والحالة الشاملة).
- Xu, K., Hu, W., Leskovec, J., & Jegelka, S. (2019). How Powerful are Graph Neural Networks?. International Conference on Learning Representations (ICLR). arXiv: 1810.00826الورقة الأصلية لـ GIN وربط قوة التمييز باختبار Weisfeiler-Lehman.
- Fey, M., & Lenssen, J. E. (2019). Fast Graph Representation Learning with PyTorch Geometric. ICLR 2019 Workshop on Representation Learning on Graphs and Manifolds. arXiv: 1903.02428المكتبة المستخدمة في خادم Python الاختياري ومصدر إحصاءات مجموعات البيانات.
- Hamilton, W. L. (2020). Graph Representation Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, Morgan & Claypool. DOI: 10.2200/S01045ED1V01Y202009AIM046كتاب تعليمي شامل في تمثيل الرسوم وانتقال الرسائل.
