كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

GAT – شبكة الانتباه البيانية

Graph Attention Network (2018)

لا تعامل كل الجيران بالتساوي: تتعلم كل عقدة وزن انتباه لكل جار من محتواه ومحتواها، مع رؤوس انتباه متعددة.

العائلة: انتباه (Attention)المهام: تصنيف العقد التحويلي والاستقرائي

الحدس

لا تعامل كل الجيران بالتساوي: تتعلم كل عقدة وزن انتباه لكل جار من محتواه ومحتواها، مع رؤوس انتباه متعددة.

jα=.45jα=.25jα=.20jα=.10ihead 1: α¹ᵢⱼ W¹hⱼhead 2: α²ᵢⱼ W²hⱼhead K: αᴷᵢⱼ Wᴷhⱼconcat / mean
GAT: لكل جار معامل انتباه مختلف (سمك الرابط)، وتُدمج عدة رؤوس انتباه.

الشرح التفصيلي

درجة الانتباه الخام من MLP بطبقة واحدة على ضم التمثيلين المحوّلين بعد LeakyReLU، ثم softmax على الجيران فقط. تُستخدم رؤوس متعددة تُضم مخرجاتها في الطبقات المخفية ويؤخذ متوسطها في الخرج، مع Dropout على الانتباه.

الأوزان تعتمد على المحتوى لا على هوية العقد، لذا يعمل استقرائياً، ويتعامل مع الدرجات المختلفة طبيعياً. حققت نتائج قوية على Cora وCiteSeer وPubMed وعلى PPI الاستقرائية. لكن انتباهها «ساكن» كما بيّنت GATv2.

البنية المعمارية

GATConv(8 رؤوس × 8) ← ELU ← GATConv(رأس واحد أو متوسط) ← softmax.

المعادلات

\alpha_{ij}=\operatorname{softmax}_j\!\left(\operatorname{LeakyReLU}\big(a^{\top}[Wh_i\Vert Wh_j]\big)\right),\qquad h_i'=\sigma\Big(\sum_{j\in N(i)}\alpha_{ij}Wh_j\Big)
معاملات الانتباه والمجموع الموزون.

نقاط القوة

  • أوزان جيران متعلمة حسب المحتوى
  • استقرائية
  • الرؤوس المتعددة تثبت التدريب

القيود

  • انتباه ساكن
  • ذاكرة أعلى من GCN
  • الانتباه ليس تفسيراً موثوقاً بذاته
  • تعاني أيضاً من التنعيم المفرط

التعقيد الحسابي

O(|V|·F·F′ + |E|·F′) لكل رأس.

متى تستخدمه

حين تختلف أهمية الجيران أو يوجد ضجيج في الروابط.

التنفيذ في PyTorch Geometric

torch_geometric.nn.GATConv

شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.

درّب GAT فعلياً في متصفحك

تابع التعلّم

نماذج مرتبطة

دروس تشرحه

المراجع

  1. Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph Attention Networks. International Conference on Learning Representations (ICLR). arXiv: 1710.10903الورقة الأصلية لـ GAT والانتباه متعدد الرؤوس على الجيران.