التقييم الصارم: التقسيمات والمقاييس والتسرب والمقارنة العادلة
Rigorous Evaluation: Splits, Metrics, Leakage and Fair Comparison
الدرس الذي يفصل البحث الموثوق عن النتائج المضخمة: إعدادات التحويلي والاستقرائي، والتقسيمات القياسية وحدودها، والمقاييس المناسبة لكل مهمة مع عدم التوازن، ومصادر التسرب الشائعة في الرسوم، وخطوط الأساس الإلزامية، والإبلاغ الإحصائي، وقائمة تحقق قبل النشر.
أهداف الدرس
- اختيار التقسيم الملائم للمهمة والإعداد
- اختيار المقياس الصحيح مع عدم توازن الفئات
- كشف التسرب في الرسوم بأنواعه
- تصميم مقارنة عادلة وإبلاغ إحصائي سليم
1 التحويلي والاستقرائي
في الإعداد التحويلي الرسم كله مرئي أثناء التدريب، والوسوم المخفية هي ما يُختبر؛ مناسب حين يكون الرسم ثابتاً ونريد إكمال وسومه. في الاستقرائي تُحجب عقد الاختبار (أو رسوم كاملة) عن التدريب، ويُقيَّم التعميم إليها؛ مناسب للأنظمة التي تستقبل بيانات جديدة. الخلط بينهما من أكثر الأخطاء شيوعاً: نتيجة تحويلية لا تبرر ادعاء القدرة على التعميم إلى مستخدمين جدد.
2 التقسيمات
استخدم التقسيمات الرسمية للمجموعات المعيارية (مثل مقيّمات OGB) حتى تكون المقارنة مع المنشور ممكنة، وأضف تقسيمات متعددة حين تكون المجموعة صغيرة.
- تقسيم Planetoid الثابت (20 عقدة لكل فئة): معيار تاريخي، لكنه تقسيم واحد صغير وحساس.
- تقسيمات عشوائية متعددة مع بذور: أظهر Shchur وزملاؤه (2018) أن ترتيب النماذج يتغير بين التقسيمات.
- التقسيم الزمني (ogbn-arxiv): التدريب على الأوراق الأقدم والاختبار على الأحدث، أقرب إلى الواقع.
- تقسيم الهيكل الجزيئي (ogbg-mol*): تعميم إلى هياكل جديدة.
- التحقق المتقاطع المتداخل لتصنيف الرسوم (Errica وزملاؤه، 2020).
3 المقاييس
الدقة (Accuracy) مضللة مع عدم التوازن: في كشف الاحتيال حيث 2% فقط احتيال، نموذج يقول «سليم» دائماً دقته 98%. استخدم F1 الكلي (Macro-F1) أو الموزون، ودقة متوازنة، وAUC-ROC، وAUC-PR (متوسط الدقة AP) حين تكون الفئة الموجبة نادرة. في التنبؤ بالروابط: AUC وAP مع سلبيات عشوائية سهلة جداً، لذلك تعتمد OGB على Hits@K وMRR مقابل سلبيات أصعب. في الانحدار: MAE وRMSE، وفي الترتيب: MRR وNDCG.
F_1=\frac{2\,PR}{P+R},\qquad \text{Macro-}F_1=\frac{1}{C}\sum_{c=1}^{C}F_1^{(c)}\text{Hits@}K=\frac{1}{|E^{+}_{\text{test}}|}\sum_{e\in E^{+}_{\text{test}}}\mathbb{1}\big[\operatorname{rank}(e)\le K\big]4 التسرب في الرسوم
- روابط التحقق والاختبار تبقى في رسم الرسائل في التنبؤ بالروابط.
- خصائص محسوبة من الرسم كله (مثل تمثيلات node2vec أو المركزيات) تتضمن روابط الاختبار.
- التطبيع (Standardization) أو اختيار الخصائص بإحصاءات تشمل الاختبار.
- عقد مكررة بين التدريب والاختبار (كما في Chameleon وSquirrel).
- تقسيم عشوائي لبيانات زمنية يضع المستقبل في التدريب.
- اختيار المعاملات الفائقة أو الإيقاف المبكر على مجموعة الاختبار.
- في البيانات الطبية: صور المريض نفسه في التدريب والاختبار؛ التقسيم يجب أن يكون على مستوى المريض.
5 المقارنة العادلة والإبلاغ
قارن دائماً مع خطوط أساس بسيطة: MLP بلا رسم (تكشف هل البنية تفيد أصلاً)، وانتشار الوسوم (Label Propagation)، وC&S، والطرق الكلاسيكية في الروابط (Adamic-Adar). اضبط المعاملات بالجهد نفسه لكل النماذج وبميزانية معاملات متقاربة (كما في Benchmarking GNNs). أبلغ عن المتوسط والانحراف المعياري على 10 بذور على الأقل، واستخدم اختبارات دلالة أو فترات ثقة حين تكون الفروق صغيرة. وانشر الشيفرة والتقسيمات والبذور.
- هل التقسيم مناسب للاستخدام الحقيقي؟
- هل اختيرت المعاملات على التحقق فقط؟
- هل خطوط الأساس البسيطة مضبوطة؟
- هل المقياس مناسب لعدم التوازن؟
- هل النتائج متوسط بذور متعددة مع انحراف؟
- هل فحصت مصادر التسرب السبعة أعلاه؟
كل رقم في هذا المختبر موسوم بنوعه، وكل نتيجة منشورة تُعرض مع مجموعتها وإعدادها ومصدرها؛ طبّق القاعدة نفسها في أبحاثك.
خلاصة الدرس
- حدد الإعداد (تحويلي/استقرائي) قبل كل شيء
- التقسيم الزمني والهيكلي والمتداخل حسب المهمة
- لا تعتمد الدقة مع عدم التوازن؛ استخدم F1 وAP وHits@K
- خطوط أساس بسيطة وبذور متعددة وفحص التسرب شروط للنشر
تحقّق من فهمك
فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.
حُسبت تمثيلات node2vec من الرسم الكامل ثم استُخدمت خصائص في التنبؤ بالروابط. ما المشكلة؟
التمثيلات تعلمت من روابط الاختبار نفسها، فهذا تسرب يضخم النتائج.
لماذا تُضاف MLP بلا رسم إلى خطوط الأساس؟
لقياس ما تضيفه بنية الرسم فعلاً؛ إذا تساوت معها GNN فالرسم لا يفيد أو النموذج لا يستفيد منه.
تابع التعلّم
نماذج في هذا الدرس
مفاهيم مرتبطة
المراجع
- Shchur, O., Mumme, M., Bojchevski, A., & Günnemann, S. (2018). Pitfalls of Graph Neural Network Evaluation. NeurIPS 2018 Workshop on Relational Representation Learning. arXiv: 1811.05868تبيّن أن ترتيب النماذج يتغير مع تغيير التقسيم، وتوصي بتقسيمات وبذور متعددة.
- Errica, F., Podda, M., Bacciu, D., & Micheli, A. (2020). A Fair Comparison of Graph Neural Networks for Graph Classification. International Conference on Learning Representations (ICLR). arXiv: 1912.09893بروتوكول تقييم صارم يكشف أن خطوط أساس بسيطة تنافس نماذج معقدة.
- Dwivedi, V. P., Joshi, C. K., Luu, A. T., Laurent, T., Bengio, Y., & Bresson, X. (2023). Benchmarking Graph Neural Networks. Journal of Machine Learning Research. arXiv: 2003.00982إطار مقارنة بميزانية معاملات ثابتة ومجموعات مثل ZINC وCLUSTER وPATTERN.
- Hu, W., Fey, M., Zitnik, M., Dong, Y., Ren, H., Liu, B., Catasta, M., & Leskovec, J. (2020). Open Graph Benchmark: Datasets for Machine Learning on Graphs. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2005.00687مصدر ogbn-arxiv وتقسيماتها الزمنية ومقيّماتها الموحّدة.
- Huang, Q., He, H., Singh, A., Lim, S.-N., & Benson, A. R. (2021). Combining Label Propagation and Simple Models Out-performs Graph Neural Networks. International Conference on Learning Representations (ICLR). arXiv: 2010.13993C&S: خطوط أساس بسيطة قوية يجب مقارنتها دائماً.
- Li, J., Shomer, H., Mao, H., Zeng, S., Ma, Y., Shah, N., Tang, J., & Yin, D. (2023). Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2306.10453مشكلات تقييم التنبؤ بالروابط واقتراح أخذ عيّنات سلبية أصعب.
- Platonov, O., Kuznedelev, D., Diskin, M., Babenko, A., & Prokhorenkova, L. (2023). A critical look at the evaluation of GNNs under heterophily: Are we really making progress?. International Conference on Learning Representations (ICLR). arXiv: 2302.11640كشف التكرارات في Chameleon وSquirrel واقترح مجموعات بديلة مثل roman-empire.
