كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

GAT – شبكة الانتباه البيانية

Graph Attention Network (2018)

GAT نموذج يتعلم وزناً مختلفاً لكل جار عبر آلية انتباه (Attention) تعتمد على تمثيلَي العقدتين، ثم يجمع رسائل الجيران بهذه الأوزان، مع رؤوس انتباه متعددة لتثبيت التعلم.

العائلة: انتباهالتجميع: مجموع موزون بالانتباهالانتباه: نعم: انتباه متعدد الرؤوس على الجيران

التعريف

GAT نموذج يتعلم وزناً مختلفاً لكل جار عبر آلية انتباه (Attention) تعتمد على تمثيلَي العقدتين، ثم يجمع رسائل الجيران بهذه الأوزان، مع رؤوس انتباه متعددة لتثبيت التعلم.

الفكرة الأساسية

ليس كل الجيران متساوين في الأهمية. بدلاً من أوزان ثابتة من الدرجات (كما في GCN)، نحسب لكل رابط درجة توافق من محتوى العقدتين، ونحوّل الدرجات إلى احتمالات بـ Softmax على جيران كل عقدة.

البنية المعمارية

طبقة GAT: تحويل خطي مشترك W، ثم حساب معاملات الانتباه بمتجه a وLeakyReLU (ميل 0.2)، ثم Softmax على الجيران (مع العقدة نفسها). تُستخدم K رؤوس متوازية تُربط نتائجها في الطبقات المخفية وتُحسب متوسطاتها في الطبقة الأخيرة.

المعادلات

e_{ij}=\mathrm{LeakyReLU}\!\left(\mathbf{a}^{\top}\left[W h_i\,\Vert\,W h_j\right]\right)
درجة الانتباه الخام بين العقدة i وجارها j من ربط تمثيليهما بعد التحويل.
\alpha_{ij}=\frac{\exp(e_{ij})}{\sum_{k\in\mathcal{N}(i)\cup\{i\}}\exp(e_{ik})}
Softmax على جيران العقدة i فقط، فتصبح الأوزان موجبة ومجموعها 1.
h_i^{\prime}=\sigma\!\left(\sum_{j\in\mathcal{N}(i)\cup\{i\}}\alpha_{ij}\,W h_j\right)
التمثيل الجديد مجموع رسائل الجيران موزونة بالانتباه.
h_i^{\prime}=\Big\Vert_{k=1}^{K}\sigma\!\left(\sum_{j}\alpha_{ij}^{k}W^{k}h_j\right)
الانتباه متعدد الرؤوس: K رؤوس مستقلة تُربط نتائجها (وفي الطبقة الأخيرة يؤخذ متوسطها).

شرح الرموز

  • W: مصفوفة التحويل الخطي المشتركة
  • a: متجه الانتباه القابل للتعلم (طوله ضعف أبعاد W h)
  • ‖: ربط متجهين
  • e_ij: درجة الانتباه الخام
  • α_ij: معامل الانتباه بعد Softmax
  • K: عدد رؤوس الانتباه
  • LeakyReLU: دالة تنشيط بميل سالب 0.2

آلية العمل خطوة بخطوة

  1. حوّل تمثيل كل عقدة بالمصفوفة المشتركة W.
  2. لكل رابط (i, j) احسب e_ij من ربط Wh_i وWh_j وضربه في a ثم LeakyReLU.
  3. طبّق Softmax على درجات جيران كل عقدة.
  4. اجمع رسائل الجيران Wh_j موزونة بـ α_ij.
  5. كرر لكل رأس انتباه، ثم اربط النتائج (أو خذ متوسطها في الطبقة الأخيرة).
  6. درّب كل الأوزان (W وa) بالانحدار التدرجي.

آلية انتقال الرسائل (Message Passing)

الرسالة W h_j؛ التجميع مجموع موزون بمعاملات α_ij المتعلَّمة؛ والتحديث تطبيق σ ثم ربط الرؤوس.

مثال تطبيقي

في رسم اقتباس، ورقة تقتبس ورقة مرجعية في موضوعها وورقة عامة في موضوع آخر: يتعلم GAT وزن انتباه أعلى للأولى لأن تمثيلها أقرب، بينما يعطي GCN الوزن بحسب الدرجات فقط.

المميزات

  • أوزان الجيران متعلَّمة ومختلفة لكل رابط
  • لا يحتاج معرفة بنية الرسم كاملة مسبقاً (استقرائي)
  • معاملات الانتباه تعطي مؤشراً على أهمية الجيران
  • الرؤوس المتعددة تثبّت التدريب

القيود

  • تكلفة أعلى من GCN لحساب الانتباه على كل رابط
  • معاملات الانتباه ليست تفسيراً سببياً مضموناً
  • حساس للمعاملات الفائقة (عدد الرؤوس وDropout الانتباه)

حالات الاستخدام

  • الرسوم التي تختلف فيها أهمية الجيران
  • تصنيف العقد في شبكات الاقتباس والبروتينات
  • الرسوم الاستقرائية (رسوم اختبار غير مرئية)

التعامل مع العقد الجديدة (Inductive)

استقرائي: معاملات الانتباه تُحسب من محتوى العقد، فتُطبق على رسوم جديدة.

التعامل مع الشبكات الكبيرة

التكلفة خطية في عدد الروابط لكل رأس، لكن تخزين الانتباه لكل رابط ولكل رأس يزيد الذاكرة؛ تُستخدم معه طرق أخذ العيّنات للرسوم الضخمة.

التعقيد الحسابي

O(|V|·F·F' + |E|·F') لكل رأس، مضروبة في عدد الرؤوس K.

قابلية التفسير

معاملات α_ij تُعرض في المختبر بوصفها سماكة للروابط، لكنها تصف ما «انتبه» إليه النموذج، لا بالضرورة سبب قراره.

مقارنة مع الخوارزميات الأخرى

GAT تعمم GCN: لو كانت α_ij ثابتة ومساوية للتطبيع المتماثل لعادت GCN. تكلفتها أعلى، وفائدتها تظهر حين تختلف أهمية الجيران.

نتائج منشورة (كما وردت في المصدر)

البياناتالمقياسالقيمةالإعدادالمصدر
Coraالدقة (Accuracy)83.0 ± 0.7%تقسيم Planetoid العام (20 عقدة موسومة لكل فئة، 1000 عقدة اختبار)، متوسط ± انحراف 100 تشغيل — الجدول 2Graph Attention Networks
CiteSeerالدقة (Accuracy)72.5 ± 0.7%تقسيم Planetoid العام (20 عقدة موسومة لكل فئة، 1000 عقدة اختبار)، 100 تشغيل — الجدول 2Graph Attention Networks
PubMedالدقة (Accuracy)79.0 ± 0.3%تقسيم Planetoid العام (20 عقدة موسومة لكل فئة، 1000 عقدة اختبار)، 100 تشغيل — الجدول 2Graph Attention Networks
PPIMicro-F10.973 ± 0.002استقرائي: رسمان غير مرئيين للاختبار، متوسط 10 تشغيلات — الجدول 3Graph Attention Networks

هذه أرقام الورقة الأصلية بإعدادها المذكور، وليست نتائج المختبر. نتائجك في المتصفح على بيانات صغيرة لا تُقارن بها مباشرة.

تجربة تفاعلية: GAT في متصفحك

يُدرَّب GAT في المختبر برؤوس متعددة (قابلة للضبط) وLeakyReLU بميل 0.2، ويمكنك عرض معاملات الانتباه لكل عقدة بعد التدريب. الحساب كثيف (n×n) لذلك يعمل حتى بضع مئات من العقد.

جارٍ تحميل المختبر التفاعلي…

تجارب مرتبطة

تدريب فعلي (Actual Model Training)متوسط

ماذا ينظر إليه GAT؟

مختبر تصنيف العقد

تدريب GAT ثم عرض معاملات الانتباه لعقدة مختارة بوصفها سماكة للروابط.

البيانات: رسم اقتباس مصطنع (SBM) معلن

شغّل التجربة
تدريب فعلي (Actual Model Training)مبتدئ

GCN على شبكة الكاراتيه الحقيقية

مختبر تصنيف العقد

تدريب GCN فعلياً على بيانات حقيقية صغيرة بعدد قليل من العقد المعلَّمة، ثم قراءة الدقة ومصفوفة الالتباس بصدق.

البيانات: Zachary Karate Club (34 عقدة، فئتان)

شغّل التجربة

المراجع

  1. Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph Attention Networks. International Conference on Learning Representations (ICLR). arXiv: 1710.10903الورقة الأصلية لـ GAT والانتباه متعدد الرؤوس على الجيران.
  2. Wu, Z., Pan, S., Chen, F., Long, G., Zhang, C., & Yu, P. S. (2021). A Comprehensive Survey on Graph Neural Networks. IEEE Transactions on Neural Networks and Learning Systems. DOI: 10.1109/TNNLS.2020.2978386مسح شامل لأنواع GNN وتطبيقاتها.