GAT – شبكة الانتباه البيانية
Graph Attention Network (2018)
لا تعامل كل الجيران بالتساوي: تتعلم كل عقدة وزن انتباه لكل جار من محتواه ومحتواها، مع رؤوس انتباه متعددة.
الحدس
لا تعامل كل الجيران بالتساوي: تتعلم كل عقدة وزن انتباه لكل جار من محتواه ومحتواها، مع رؤوس انتباه متعددة.
الشرح التفصيلي
درجة الانتباه الخام من MLP بطبقة واحدة على ضم التمثيلين المحوّلين بعد LeakyReLU، ثم softmax على الجيران فقط. تُستخدم رؤوس متعددة تُضم مخرجاتها في الطبقات المخفية ويؤخذ متوسطها في الخرج، مع Dropout على الانتباه.
الأوزان تعتمد على المحتوى لا على هوية العقد، لذا يعمل استقرائياً، ويتعامل مع الدرجات المختلفة طبيعياً. حققت نتائج قوية على Cora وCiteSeer وPubMed وعلى PPI الاستقرائية. لكن انتباهها «ساكن» كما بيّنت GATv2.
البنية المعمارية
GATConv(8 رؤوس × 8) ← ELU ← GATConv(رأس واحد أو متوسط) ← softmax.
المعادلات
\alpha_{ij}=\operatorname{softmax}_j\!\left(\operatorname{LeakyReLU}\big(a^{\top}[Wh_i\Vert Wh_j]\big)\right),\qquad h_i'=\sigma\Big(\sum_{j\in N(i)}\alpha_{ij}Wh_j\Big)نقاط القوة
- أوزان جيران متعلمة حسب المحتوى
- استقرائية
- الرؤوس المتعددة تثبت التدريب
القيود
- انتباه ساكن
- ذاكرة أعلى من GCN
- الانتباه ليس تفسيراً موثوقاً بذاته
- تعاني أيضاً من التنعيم المفرط
التعقيد الحسابي
O(|V|·F·F′ + |E|·F′) لكل رأس.
متى تستخدمه
حين تختلف أهمية الجيران أو يوجد ضجيج في الروابط.
التنفيذ في PyTorch Geometric
torch_geometric.nn.GATConvشيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph Attention Networks. International Conference on Learning Representations (ICLR). arXiv: 1710.10903الورقة الأصلية لـ GAT والانتباه متعدد الرؤوس على الجيران.
