الرسوم الزمنية والديناميكية
Temporal and Dynamic Graphs
حين تتغير الروابط والعقد والخصائص مع الزمن: لقطات متقطعة مقابل أحداث مستمرة، والنماذج المكانية الزمانية للتنبؤ بالمرور (DCRNN وSTGCN)، والنماذج التي تتطور أوزانها (EvolveGCN)، ونماذج الأحداث المستمرة بالذاكرة (TGAT وTGN)، وتقسيم البيانات زمنياً لتفادي تسرب المستقبل.
أهداف الدرس
- التمييز بين الرسوم المتقطعة زمنياً والمستمرة
- شرح النماذج المكانية الزمانية على رسم ثابت بإشارات متغيرة
- فهم الذاكرة في TGN والترميز الزمني في TGAT
- تقسيم البيانات الزمنية وتقييمها دون تسرب
1 ثلاثة أنواع من الديناميكية
اختيار النمذجة يحدد النموذج: الأول تكفيه GNN مع نموذج تسلسلي، والثاني يحتاج أوزاناً أو تمثيلات تتطور، والثالث يحتاج ذاكرة وترميزاً زمنياً دقيقاً.
- رسم ثابت بإشارات متغيرة: شبكة حساسات المرور ثابتة، والسرعات تتغير كل خمس دقائق (تنبؤ مكاني زماني).
- لقطات متقطعة (Discrete-time): سلسلة رسوم G₁ ... G_T، كل منها حالة الشبكة في فترة.
- أحداث مستمرة (Continuous-time): تيار من الروابط المختومة زمنياً (u, v, t, خصائص)، مثل الرسائل والمعاملات المالية.
2 التنبؤ المكاني الزماني
في DCRNN (Li وزملاؤه، 2018) يُستبدل الضرب المصفوفي في وحدة GRU بالتفاف انتشاري على الرسم الموجه (مسارات عشوائية في الاتجاهين)، فتتعلم الوحدة التبعيات الزمنية والمكانية معاً، ويتنبأ المشفّر-فاك التشفير بعدة خطوات مستقبلية. أما STGCN (Yu وزملاؤه، 2018) فتستغني عن التكرار: كتل «ساندويتش» من التفاف زمني بوابي ثم التفاف بياني (ChebNet) ثم التفاف زمني، فتكون أسرع تدريباً بكثير. المجموعتان المعياريتان METR-LA (207 حساسات) وPEMS-BAY (325 حساساً)، والمقاييس MAE وRMSE وMAPE عند آفاق 15 و30 و60 دقيقة.
X_{:,p}\star_{\mathcal{G}} f_\theta=\sum_{k=0}^{K-1}\Big(\theta_{k,1}\big(D_O^{-1}W\big)^{k}+\theta_{k,2}\big(D_I^{-1}W^{\top}\big)^{k}\Big)X_{:,p}3 أوزان تتطور: EvolveGCN
بدل أن تتطور تمثيلات العقد، تجعل EvolveGCN (Pareja وزملاؤه، 2020) أوزان طبقات GCN نفسها تتطور عبر اللقطات بشبكة متكررة (GRU أو LSTM). الفائدة أن النموذج يتعامل مع عقد تظهر وتختفي بين اللقطات، لأن ما يُحمل عبر الزمن هو المعاملات لا متجهات عقد بعينها.
W_t^{(l)}=\operatorname{GRU}\!\left(H_t^{(l)},\,W_{t-1}^{(l)}\right),\qquad H_t^{(l+1)}=\operatorname{GCONV}\!\left(A_t,H_t^{(l)},W_t^{(l)}\right)4 الأحداث المستمرة: TGAT وTGN
TGAT (Xu وزملاؤه، 2020) تمثل الزمن بترميز وظيفي يشبه الترميز الموضعي في المحوّلات (مستمد من مبرهنة Bochner)، وتطبق انتباهاً على الجيران الزمنيين الذين تفاعلوا مع العقدة قبل لحظة الاستعلام. TGN (Rossi وزملاؤه، 2020) إطار أعم: لكل عقدة ذاكرة تُحدَّث بوحدة متكررة كلما شاركت في حدث، ثم وحدة تضمين (غالباً انتباه زمني) تقرأ الذاكرة والجوار لحظة التنبؤ. الذاكرة تلخص التاريخ الطويل دون إعادة معالجته.
\Phi(t)=\sqrt{\tfrac{1}{d}}\left[\cos(\omega_1 t),\sin(\omega_1 t),\dots,\cos(\omega_d t),\sin(\omega_d t)\right]s_i(t)=\operatorname{mem}\!\big(s_i(t^-),\,\operatorname{msg}(s_i(t^-),s_j(t^-),\Delta t,e_{ij}(t))\big)5 التقييم الزمني
القاعدة الذهبية: لا يرى النموذج المستقبل. يُقسم حسب الزمن (التدريب أقدم من التحقق الأقدم من الاختبار)، لا عشوائياً. وفي التنبؤ بالروابط الزمنية تعتمد النتيجة كثيراً على طريقة اختيار العيّنات السلبية: السلبيات العشوائية سهلة جداً، و«السلبيات التاريخية» (أزواج تفاعلت سابقاً ولم تتفاعل الآن) أصعب وأصدق. اقترح معيار TGB (Huang وزملاؤه، 2023) مجموعات كبيرة وتقييماً موحداً بترتيب الوجهة الصحيحة بين سلبيات محددة سلفاً.
from torch_geometric.datasets import JODIEDataset
from torch_geometric.loader import TemporalDataLoader
from torch_geometric.nn import TGNMemory
data = JODIEDataset(root="data", name="wikipedia")[0]
train, val, test = data.train_val_test_split(val_ratio=0.15, test_ratio=0.15) # تقسيم زمني
loader = TemporalDataLoader(train, batch_size=200)خلاصة الدرس
- ثلاثة أنماط: إشارات متغيرة، لقطات، أحداث مستمرة
- DCRNN وSTGCN للتنبؤ المكاني الزماني على رسم ثابت
- EvolveGCN تطوّر الأوزان؛ TGN تحفظ ذاكرة لكل عقدة
- التقسيم زمني دائماً، والسلبيات الصعبة ضرورية للتقييم الصادق
تحقّق من فهمك
فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.
لماذا لا يصلح التقسيم العشوائي للحواف في رسم زمني؟
لأنه يضع أحداثاً مستقبلية في التدريب وأحداثاً ماضية في الاختبار، فيتعلم النموذج من المستقبل وتتضخم النتائج.
ما الذي تحمله EvolveGCN عبر الزمن بدل تمثيلات العقد؟
أوزان طبقات GCN، تُحدَّث بشبكة متكررة في كل لقطة.
تابع التعلّم
نماذج في هذا الدرس
مفاهيم مرتبطة
المراجع
- Li, Y., Yu, R., Shahabi, C., & Liu, Y. (2018). Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting. International Conference on Learning Representations (ICLR). arXiv: 1707.01926التنبؤ بحركة المرور على شبكة الطرق بوصفها رسماً موجّهاً.
- Yu, B., Yin, H., & Zhu, Z. (2018). Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting. International Joint Conference on Artificial Intelligence (IJCAI). DOI: 10.24963/ijcai.2018/505 · arXiv: 1709.04875STGCN: كتل التفاف زمني ومكاني متناوبة.
- Pareja, A., Domeniconi, G., Chen, J., Ma, T., Suzumura, T., Kanezashi, H., Kaler, T., Schardl, T., & Leiserson, C. (2020). EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs. AAAI Conference on Artificial Intelligence. arXiv: 1902.10191أوزان GCN نفسها تتطور عبر الزمن بشبكة متكررة.
- Xu, D., Ruan, C., Korpeoglu, E., Kumar, S., & Achan, K. (2020). Inductive Representation Learning on Temporal Graphs. International Conference on Learning Representations (ICLR). arXiv: 2002.07962TGAT: ترميز زمني وظيفي مع انتباه على الجيران الزمنيين.
- Rossi, E., Chamberlain, B., Frasca, F., Eynard, D., Monti, F., & Bronstein, M. (2020). Temporal Graph Networks for Deep Learning on Dynamic Graphs. ICML 2020 Workshop on Graph Representation Learning and Beyond. arXiv: 2006.10637TGN: ذاكرة لكل عقدة تُحدَّث مع كل حدث.
- Kazemi, S. M., Goel, R., Jain, K., Kobyzev, I., Sethi, A., Forsyth, P., & Poupart, P. (2020). Representation Learning for Dynamic Graphs: A Survey. Journal of Machine Learning Research. arXiv: 1905.11485مسح لتمثيل الرسوم الديناميكية المتقطعة والمستمرة زمنياً.
- Huang, S., Poursafaei, F., Danovitch, J., Fey, M., Hu, W., Rossi, E., Leskovec, J., Bronstein, M., Rabusseau, G., & Rabbany, R. (2023). Temporal Graph Benchmark for Machine Learning on Temporal Graphs. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2307.01026معيار TGB للرسوم الزمنية مع تقييم موحّد.
