معايير المقارنة
11 معياراً وبروتوكولاً للمقارنة: ماذا يقيس كل معيار، وكيف يجب أن يُقيَّم، وما الأخطاء التي كشفها مؤلفوه. اقرأها قبل أن تقارن نموذجك بأي نتيجة منشورة.
معيار الرسوم المفتوح
Open Graph Benchmark (OGB) · 2020
- النطاق
- مجموعات واقعية متوسطة إلى كبيرة جداً لثلاث مهام: خصائص العقد (ogbn-*) وخصائص الروابط (ogbl-*) وخصائص الرسوم (ogbg-*).
- المجموعات
- ogbn-arxiv وogbn-products وogbn-proteins وogbn-mag وogbn-papers100M؛ ogbl-collab وogbl-ddi وogbl-ppa وogbl-citation2 وogbl-wikikg2 وogbl-biokg وogbl-vessel؛ ogbg-molhiv وogbg-molpcba وogbg-ppa وogbg-code2 وغيرها.
- المقاييس
- يحدد كل رسم مقياسه في master.csv: الدقة (ogbn-arxiv وogbn-products)، وROC-AUC (ogbn-proteins وogbg-molhiv)، وHits@K (ogbl-collab: Hits@50، ogbl-ddi: Hits@20، ogbl-ppa: Hits@100)، وMRR (ogbl-citation2 وogbl-wikikg2)، وAP (ogbg-molpcba).
- بروتوكول التقييم
- استخدم get_idx_split() أو get_edge_split() كما هي، والمقيّم Evaluator الرسمي، واختر النموذج على التحقق فقط، وأبلغ عن المتوسط والانحراف المعياري على 10 بذور على الأقل كما تشترط لوحة النتائج.
- لماذا يهم
- قبل OGB كانت المقارنات تجري على رسوم صغيرة (Cora وأخواتها) بتقسيمات مختلفة، فتتقارب النماذج وتصعب المقارنة. OGB وحّد التقسيمات الواقعية (زمنية، بالهيكل الجزيئي، بالنوع، برتبة المبيعات) والمقيّمات، فصار التحسين المعلن قابلاً للتحقق.
- ضبط المعاملات على مجموعة الاختبار ثم الإبلاغ عنها: تسريب صريح
- استخدام تقسيم عشوائي بدل التقسيم الرسمي يضخّم النتائج
- نسيان التحويل إلى رسم غير موجّه حين يطلبه master.csv (add_inverse_edge)
- مقارنة نتائج بإصدارات مختلفة من المجموعة (مثل ogbn-mag v2)
مجموعات موثقة في المختبر
المراجع (2)
- Hu, W., Fey, M., Zitnik, M., Dong, Y., Ren, H., Liu, B., Catasta, M., & Leskovec, J. (2020). Open Graph Benchmark: Datasets for Machine Learning on Graphs. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2005.00687مصدر ogbn-arxiv وتقسيماتها الزمنية ومقيّماتها الموحّدة.
- OGB Team. Open Graph Benchmark: Node Property Prediction (ogbn-arxiv). Official documentation. ogb.stanford.eduصفحة المجموعة الرسمية: الإحصاءات والتقسيم الزمني والترخيص ODC-BY.
تحدي OGB واسع النطاق
OGB Large-Scale Challenge (OGB-LSC) · 2021
- النطاق
- ثلاث مجموعات ضخمة تقترب من حجم الصناعة، واحدة لكل مستوى.
- المجموعات
- MAG240M (تصنيف أوراق في رسم أكاديمي غير متجانس ضخم)، وWikiKG90Mv2 (إكمال رسم معرفي من Wikidata)، وPCQM4Mv2 (انحدار فجوة HOMO–LUMO لجزيئات من بنيتها ثنائية الأبعاد).
- المقاييس
- MAG240M: الدقة. WikiKG90Mv2: MRR. PCQM4Mv2: متوسط الخطأ المطلق (MAE).
- بروتوكول التقييم
- تقسيمات رسمية مع مجموعة اختبار مخفية التسميات تُرسل تنبؤاتها للتقييم. حمّل البيانات بالحزمة ogb.lsc.
- لماذا يهم
- يختبر ما إذا كانت الأفكار التي تنجح على رسوم متوسطة تصمد مع مئات الملايين من العقد، ويبرز أهمية الكفاءة: أخذ العينات، والتخزين، والحساب المسبق للخصائص.
- الذاكرة والقرص: بعض الملفات مئات الغيغابايتات
- الخلط بين الإصدار الأول (KDD Cup 2021) والإصدار v2
- نتائج PCQM4Mv2 على مجموعة التحقق ليست نتائج اختبار
المراجع (1)
- Hu, W., Fey, M., Ren, H., Nakata, M., Dong, Y., & Leskovec, J. (2021). OGB-LSC: A Large-Scale Challenge for Machine Learning on Graphs. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2103.09430مجموعات ضخمة: MAG240M وWikiKG90M وPCQM4M.
مجموعة TU لرسوم التصنيف
TUDataset · 2020
- النطاق
- أكثر من 120 مجموعة صغيرة ومتوسطة لتصنيف الرسوم وانحدارها: جزيئات، وبروتينات، وشبكات اجتماعية، ورؤية حاسوبية.
- المجموعات
- MUTAG وPROTEINS وENZYMES وNCI1 وD&D وIMDB-BINARY وIMDB-MULTI وREDDIT-BINARY وCOLLAB وغيرها.
- المقاييس
- الدقة غالباً.
- بروتوكول التقييم
- لا توجد تقسيمات رسمية. البروتوكول المقبول: تحقق متقاطع خارجي بعشر طيات، مع اختيار النموذج داخل كل طية على جزء تحقق مستقل (لا على طية الاختبار)، وتقرير المتوسط والانحراف.
- لماذا يهم
- تاريخياً هي ساحة مقارنة نوى الرسوم (Graph Kernels) مع GNN، وما زالت مفيدة للتجارب السريعة وللتعليم.
- المجموعات صغيرة، والانحراف المعياري كبير غالباً، فالفروق الصغيرة غير دالة
- كثير من الأوراق اختار أفضل حقبة على طية الاختبار نفسها، فضخّم النتائج (Errica et al., 2020)
- خطوط أساس تتجاهل البنية قد تنافس GNN على بعض المجموعات الكيميائية
مجموعات موثقة في المختبر
المراجع (2)
- Morris, C., Kriege, N. M., Bause, F., Kersting, K., Mutzel, P., & Neumann, M. (2020). TUDataset: A collection of benchmark datasets for learning with graphs. ICML 2020 Workshop on Graph Representation Learning and Beyond (GRL+). arXiv: 2007.08663المجموعة التي توزّع MUTAG وPROTEINS وENZYMES.
- Errica, F., Podda, M., Bacciu, D., & Micheli, A. (2020). A Fair Comparison of Graph Neural Networks for Graph Classification. International Conference on Learning Representations (ICLR). arXiv: 1912.09893بروتوكول تقييم صارم يكشف أن خطوط أساس بسيطة تنافس نماذج معقدة.
معيار مقارنة الشبكات العصبية البيانية
Benchmarking Graph Neural Networks · 2023
- النطاق
- إطار مقارنة بميزانية معاملات ثابتة على مجموعات متوسطة الحجم تميّز فعلاً بين النماذج.
- المجموعات
- ZINC وAQSOL (انحدار جزيئي)؛ MNIST وCIFAR10 كرسوم بكسلات فائقة؛ PATTERN وCLUSTER (رسوم نموذج الكتل العشوائية)؛ TSP (روابط)؛ COLLAB (روابط)؛ CSL (اختبار قوة التمييز)؛ WikiCS.
- المقاييس
- MAE لـ ZINC وAQSOL، والدقة لـ MNIST وCIFAR10 وPATTERN وCLUSTER، وF1 لـ TSP، وHits@50 لـ COLLAB.
- بروتوكول التقييم
- ميزانيتان ثابتتان للمعاملات (نحو 100 ألف و500 ألف معامل)، وجدولة معدل التعلم نفسها، و4 بذور على الأقل. الهدف مقارنة المعمارية لا حجمها.
- لماذا يهم
- أظهر أن الفروق بين النماذج تظهر بوضوح على مجموعات متوسطة مصممة جيداً، وكان من أبرز من دفع بالترميزات الموضعية (Laplacian PE) في GNN ومحوّلات الرسوم.
- مقارنة نموذج بمليون معامل بآخر بمئة ألف ثم نسبة الفرق إلى المعمارية
- إغفال أن ZINC المستخدمة هي النسخة الفرعية (12 ألف رسم)
مجموعات موثقة في المختبر
المراجع (2)
- Dwivedi, V. P., Joshi, C. K., Luu, A. T., Laurent, T., Bengio, Y., & Bresson, X. (2023). Benchmarking Graph Neural Networks. Journal of Machine Learning Research. arXiv: 2003.00982إطار مقارنة بميزانية معاملات ثابتة ومجموعات مثل ZINC وCLUSTER وPATTERN.
- Dwivedi, V. P., & Bresson, X. (2021). A Generalization of Transformer Networks to Graphs. AAAI Workshop on Deep Learning on Graphs: Methods and Applications. arXiv: 2012.09699محوّل بياني بانتباه على الجيران وترميز موضعي من متجهات لابلاسيان الذاتية.
معيار الرسوم بعيدة المدى
Long Range Graph Benchmark (LRGB) · 2022
- النطاق
- مهام تحتاج إلى معلومات من عقد بعيدة، لاختبار الانضغاط المفرط (Over-squashing) وقدرة محوّلات الرسوم.
- المجموعات
- PascalVOC-SP وCOCO-SP (تصنيف عقد في رسوم بكسلات فائقة)، وPCQM-Contact (التنبؤ بالتماس ثلاثي الأبعاد بين الذرات)، وPeptides-func وPeptides-struct (رسوم ببتيدات كبيرة القطر).
- المقاييس
- Macro-F1 لـ PascalVOC-SP وCOCO-SP، وMRR لـ PCQM-Contact، وAP لـ Peptides-func، وMAE لـ Peptides-struct.
- بروتوكول التقييم
- تقسيمات رسمية مع ميزانية معاملات نحو 500 ألف، و4 بذور على الأقل.
- لماذا يهم
- في الورقة الأصلية تفوقت محوّلات الرسوم بفارق واضح على شبكات انتقال الرسائل المحلية في عدة مهام، فصار LRGB مرجعاً لكل طريقة تعالج المدى الطويل (إعادة توصيل الرسم، الترميزات الموضعية، النماذج الهجينة مثل GPS).
- فروق الأداء حساسة جداً لضبط المعاملات وتطبيع الخصائص في خطوط الأساس؛ اضبط خط الأساس بالجهد نفسه
- PCQM-Contact لها أكثر من صيغة لحساب MRR في الأدبيات؛ اذكر أيها استخدمت
مجموعات موثقة في المختبر
المراجع (3)
- Dwivedi, V. P., Rampášek, L., Galkin, M., Parviz, A., Wolf, G., Luu, A. T., & Beaini, D. (2022). Long Range Graph Benchmark. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2206.08164LRGB: مهام تحتاج تفاعلات بعيدة المدى (Peptides وPascalVOC-SP وغيرها).
- Rampášek, L., Galkin, M., Dwivedi, V. P., Luu, A. T., Wolf, G., & Beaini, D. (2022). Recipe for a General, Powerful, Scalable Graph Transformer. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2205.12454GraphGPS: طبقة MPNN محلية وانتباه شامل بالتوازي.
- Alon, U., & Yahav, E. (2021). On the Bottleneck of Graph Neural Networks and its Practical Implications. International Conference on Learning Representations (ICLR). arXiv: 2006.05205تعرّف ظاهرة الانضغاط المفرط (Over-squashing).
معيار رسوم التجانس المعكوس
Heterophilous Graphs Benchmark · 2023
- النطاق
- خمس مجموعات متوسطة الحجم حقيقية التجانس المعكوس، بديلاً عن المجموعات الصغيرة الشائعة.
- المجموعات
- Roman-empire وAmazon-ratings وMinesweeper وTolokers وQuestions.
- المقاييس
- الدقة لـ Roman-empire وAmazon-ratings، وROC-AUC للمجموعات الثنائية غير المتوازنة: Minesweeper وTolokers وQuestions.
- بروتوكول التقييم
- 10 تقسيمات رسمية ثابتة، وتقرير المتوسط والانحراف.
- لماذا يهم
- بيّن المؤلفون أن Squirrel وChameleon تحتويان على عقد مكررة تتسرّب بين التدريب والاختبار، وأن Texas وCornell وWisconsin صغيرة جداً. وعلى المجموعات الجديدة نافست نماذج GNN التقليدية مع اتصالات بقايا وتطبيع الطبقات كثيراً من النماذج المصممة خصيصاً للتجانس المعكوس.
- بناء الاستنتاجات على Texas أو Cornell (183 عقدة) وحدها
- استخدام Squirrel وChameleon دون إزالة التكرار
- قياس الدقة على مجموعة ثنائية شديدة عدم التوازن
مجموعات موثقة في المختبر
المراجع (3)
- Platonov, O., Kuznedelev, D., Diskin, M., Babenko, A., & Prokhorenkova, L. (2023). A critical look at the evaluation of GNNs under heterophily: Are we really making progress?. International Conference on Learning Representations (ICLR). arXiv: 2302.11640كشف التكرارات في Chameleon وSquirrel واقترح مجموعات بديلة مثل roman-empire.
- Zhu, J., Yan, Y., Zhao, L., Heimann, M., Akoglu, L., & Koutra, D. (2020). Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2006.11468H2GCN: فصل تمثيل العقدة عن جيرانها والجيران من الرتبة الثانية.
- Pei, H., Wei, B., Chang, K. C.-C., Lei, Y., & Yang, B. (2020). Geom-GCN: Geometric Graph Convolutional Networks. International Conference on Learning Representations (ICLR). arXiv: 2002.05287مصدر التقسيمات الشائعة لمجموعات عدم التجانس (Texas وCornell وWisconsin وChameleon وSquirrel).
معيار الرسوم غير المتجانسة
Heterogeneous Graph Benchmark (HGB) · 2021
- النطاق
- مقارنة موحّدة لنماذج الرسوم غير المتجانسة (أنواع متعددة من العقد والروابط).
- المجموعات
- للتصنيف: DBLP وIMDB وACM وFreebase؛ وللتنبؤ بالروابط: Amazon وLastFM وPubMed؛ إضافة إلى مجموعات للتوصية المعززة بالمعرفة.
- المقاييس
- Macro-F1 وMicro-F1 للتصنيف، وROC-AUC وMRR للروابط.
- بروتوكول التقييم
- تقسيمات ثابتة واختبار مخفي التسميات يُقيَّم عبر المنصة، مع ضبط المعاملات لكل النماذج بالجهد نفسه.
- لماذا يهم
- النتيجة اللافتة: GAT متجانسة مضبوطة جيداً نافست كثيراً من النماذج غير المتجانسة أو تفوقت عليها، وأن بعض المكاسب المعلنة سابقاً جاء من تسريب بيانات أو خطوط أساس ضعيفة. واقترح المؤلفون خط أساس بسيطاً (Simple-HGN).
- مقارنة نموذج مضبوط بخط أساس بإعداداته الافتراضية
- استخدام خصائص عقد الاختبار أو روابطه أثناء التدريب
مجموعات موثقة في المختبر
المراجع (3)
- Lv, Q., Ding, M., Liu, Q., Chen, Y., Feng, W., He, S., Zhou, C., Jiang, J., Dong, Y., & Tang, J. (2021). Are we really making much progress? Revisiting, benchmarking, and refining heterogeneous graph neural networks. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD). DOI: 10.1145/3447548.3467350 · arXiv: 2112.14936معيار HGB للرسوم غير المتجانسة وخط الأساس Simple-HGN.
- Wang, X., Ji, H., Shi, C., Wang, B., Ye, Y., Cui, P., & Yu, P. S. (2019). Heterogeneous Graph Attention Network. The World Wide Web Conference (WWW). DOI: 10.1145/3308558.3313562 · arXiv: 1903.07293HAN: انتباه على مستوى العقد وعلى مستوى المسارات الوصفية (meta-paths).
- Hu, Z., Dong, Y., Wang, K., & Sun, Y. (2020). Heterogeneous Graph Transformer. The Web Conference (WWW). DOI: 10.1145/3366423.3380027 · arXiv: 2003.01332HGT: انتباه بمعاملات تعتمد على أنواع العقد والروابط.
معيار الرسوم الزمنية
Temporal Graph Benchmark (TGB) · 2023
- النطاق
- رسوم زمنية كبيرة متنوعة المجالات لمهام التنبؤ الديناميكي.
- المجموعات
- للروابط: tgbl-wiki وtgbl-review وtgbl-coin وtgbl-comment وtgbl-flight؛ وللعقد: tgbn-trade وtgbn-genre وtgbn-reddit.
- المقاييس
- MRR للتنبؤ بالروابط الديناميكي (ترتيب الرابط الصحيح بين سلبيات محددة مسبقاً)، وNDCG@10 لخصائص العقد.
- بروتوكول التقييم
- تقسيم زمني (الماضي للتدريب والمستقبل للتقييم) وسلبيات تقييم ثابتة يوزعها المعيار حتى تكون المقارنة عادلة.
- لماذا يهم
- كانت تقييمات الرسوم الزمنية تعتمد على سلبيات عشوائية سهلة، فتقترب كل النماذج من الكمال. TGB قدّم سلبيات أصعب ومجموعات أكبر، فاتضح أن ترتيب النماذج يختلف من مجموعة إلى أخرى، وأن خطوط أساس بسيطة قائمة على التكرار التاريخي قوية أحياناً.
- تقييم الروابط بسلبي عشوائي واحد لكل موجب
- تسريب المستقبل: استخدام أحداث بعد لحظة التنبؤ في بناء الجوار
المراجع (3)
- Huang, S., Poursafaei, F., Danovitch, J., Fey, M., Hu, W., Rossi, E., Leskovec, J., Bronstein, M., Rabusseau, G., & Rabbany, R. (2023). Temporal Graph Benchmark for Machine Learning on Temporal Graphs. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2307.01026معيار TGB للرسوم الزمنية مع تقييم موحّد.
- Rossi, E., Chamberlain, B., Frasca, F., Eynard, D., Monti, F., & Bronstein, M. (2020). Temporal Graph Networks for Deep Learning on Dynamic Graphs. ICML 2020 Workshop on Graph Representation Learning and Beyond. arXiv: 2006.10637TGN: ذاكرة لكل عقدة تُحدَّث مع كل حدث.
- Xu, D., Ruan, C., Korpeoglu, E., Kumar, S., & Achan, K. (2020). Inductive Representation Learning on Temporal Graphs. International Conference on Learning Representations (ICLR). arXiv: 2002.07962TGAT: ترميز زمني وظيفي مع انتباه على الجيران الزمنيين.
بروتوكول تقييم تصنيف العقد
Pitfalls of GNN Evaluation (بروتوكول Shchur) · 2018
- النطاق
- ليس مجموعة بيانات واحدة بل بروتوكول تقييم لتصنيف العقد شبه الموجّه، مع أربع مجموعات جديدة (Amazon Computers وPhoto وCoauthor CS وPhysics).
- المجموعات
- Cora وCiteSeer وPubMed، إضافة إلى Amazon Computers وAmazon Photo وCoauthor CS وCoauthor Physics.
- المقاييس
- الدقة، بالمتوسط والانحراف على تقسيمات وتهيئات كثيرة.
- بروتوكول التقييم
- تقسيمات عشوائية متعددة (20 عقدة لكل فئة للتدريب و30 للتحقق والباقي للاختبار) مع عدة تهيئات عشوائية لكل تقسيم، والضبط نفسه لكل النماذج.
- لماذا يهم
- أظهر أن ترتيب النماذج على تقسيم Planetoid الثابت الواحد يتغير حين تتغير التقسيمات، وأن نماذج أبسط مضبوطة جيداً قد تتفوق على أعقد منها. الدرس: لا تبنِ استنتاجاً على تقسيم واحد.
- الإبلاغ عن أفضل بذرة بدل المتوسط
- ضبط النموذج المقترح وحده دون خطوط الأساس
مجموعات موثقة في المختبر
المراجع (1)
- Shchur, O., Mumme, M., Bojchevski, A., & Günnemann, S. (2018). Pitfalls of Graph Neural Network Evaluation. NeurIPS 2018 Workshop on Relational Representation Learning. arXiv: 1811.05868تبيّن أن ترتيب النماذج يتغير مع تغيير التقسيم، وتوصي بتقسيمات وبذور متعددة.
مقارنة عادلة لتصنيف الرسوم
A Fair Comparison for Graph Classification · 2020
- النطاق
- إعادة تقييم صارمة لنماذج تصنيف الرسوم على مجموعات TUDataset.
- المجموعات
- D&D وPROTEINS وNCI1 وENZYMES وIMDB-BINARY وIMDB-MULTI وREDDIT-BINARY وREDDIT-5K وCOLLAB.
- المقاييس
- الدقة بالمتوسط والانحراف عبر الطيات العشر الخارجية.
- بروتوكول التقييم
- تحقق متقاطع متداخل: 10 طيات خارجية للتقييم، وداخل كل منها اختيار النموذج على جزء تحقق مستقل، ثم تدريب نهائي بعدة تشغيلات.
- لماذا يهم
- عند تطبيق البروتوكول الصارم تقلصت الفروق المعلنة، ونافست خطوط أساس لا تستخدم البنية (تجميع خصائص العقد فقط) نماذج GNN على عدة مجموعات كيميائية. هو المرجع حين تقيّم نموذجاً لتصنيف الرسوم.
- استخدام طية الاختبار لاختيار الحقبة أو المعاملات
- عدم مقارنة النموذج بخط أساس لا يستخدم البنية
مجموعات موثقة في المختبر
المراجع (2)
- Errica, F., Podda, M., Bacciu, D., & Micheli, A. (2020). A Fair Comparison of Graph Neural Networks for Graph Classification. International Conference on Learning Representations (ICLR). arXiv: 1912.09893بروتوكول تقييم صارم يكشف أن خطوط أساس بسيطة تنافس نماذج معقدة.
- Morris, C., Kriege, N. M., Bause, F., Kersting, K., Mutzel, P., & Neumann, M. (2020). TUDataset: A collection of benchmark datasets for learning with graphs. ICML 2020 Workshop on Graph Representation Learning and Beyond (GRL+). arXiv: 2007.08663المجموعة التي توزّع MUTAG وPROTEINS وENZYMES.
تقييم صادق للتنبؤ بالروابط
HeaRT: تقييم التنبؤ بالروابط · 2023
- النطاق
- إعادة تقييم نماذج التنبؤ بالروابط، واقتراح طريقة لاختيار سلبيات صعبة لكل رابط موجب.
- المجموعات
- Cora وCiteSeer وPubMed، وogbl-collab وogbl-ddi وogbl-ppa وogbl-citation2.
- المقاييس
- MRR وHits@K مع سلبيات خاصة بكل رابط.
- بروتوكول التقييم
- سلبيات صعبة مولّدة بقواعد (HeaRT) بدل سلبيات عشوائية مشتركة، وضبط موحّد لكل النماذج.
- لماذا يهم
- أظهر أن السلبيات العشوائية تجعل المهمة سهلة على نحو غير واقعي، وأن ترتيب النماذج يتغير تحت السلبيات الصعبة، وأن كثيراً من الفروق المعلنة يختفي بالضبط الجيد.
- سلبيات عشوائية سهلة تضخّم الأداء
- تسريب روابط الاختبار في رسم انتقال الرسائل أثناء التدريب
مجموعات موثقة في المختبر
المراجع (2)
- Li, J., Shomer, H., Mao, H., Zeng, S., Ma, Y., Shah, N., Tang, J., & Yin, D. (2023). Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2306.10453مشكلات تقييم التنبؤ بالروابط واقتراح أخذ عيّنات سلبية أصعب.
- Zhang, M., & Chen, Y. (2018). Link Prediction Based on Graph Neural Networks. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 1802.09691SEAL: تصنيف الرسم الفرعي المحيط بالزوج مع وسم المسافة.
