Web Graph
أسماء أخرى: tfds:web_graph
نظرة عامة
مجموعة بيانات Web Graph في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية.
الوصف (من المصدر)
This dataset contains a sparse graph representing web link structure for a small subset of the Web. Its a processed version of a single crawl performed by CommonCrawl in 2021 where we strip everything and keep only the link->outlinks structure. The final dataset is basically int -> List[int] format with each integer id representing a url. Also, in order to increase the value of this resource, we created 6 different version of WebGraph, each varying in the sparsity pattern and locale. We took the following processing steps, in order: - We started with WAT files from June 2021 crawl. - Since the outlinks in HTTP-Response-Metadata are stored as relative paths, we convert them to absolute paths using urllib after validating each link. - To study locale-specific graphs, we further filter based on 2 top level domains: ‘de’ and ‘in’, each producing a graph with an order of magnitude less number of nodes. - These graphs can still have arbitrary sparsity patterns and dangling links. Thus we further filter the nodes in each graph to have minimum of K ∈ [10, 50] inlinks and outlinks. Note that we only do this processing once, thus this is still an approximation i.e. the resulting graph might have nodes with less than K links. - Using both locale and count filters, we finalize 6 versions of WebGraph dataset, summarized in the folling table. | Version | Top level domain | Min count | Num nodes | Num edges | | ----------- | ---------------- | --------- | --------- | --------- | | sparse | | 10 | 365.4M | 30B | | dense | | 50 | 136.5M | 22B | | de-sparse | de | 10 | 19.7M | 1.19B | | de-dense | de | 50 | 5.7M | 0.82B | | in-sparse | in | 10 | 1.5M | 0.14B | | in-dense | in | 50 | 0.5M | 0.12B | All versions of the dataset have following features: - "row_tag": a unique identifier of the row (source link). - "col_tag": a list of unique identifiers of non-zero columns (dest outlinks). - "gt_tag": a list of unique identifiers of non-zero columns used as ground truth (dest outlinks), empty for train/train_t splits.
- المجال
- البيانات الجدولية والتعلم الآلي التقليدي (Tabular Data)
- نوع البيانات
- بيانات جدولية
- المهام
- غير متوفر
- التخصصات الفرعية
- غير متوفر
- اللغات
- غير متوفر
- الوسوم
- غير متوفر
الإحصائيات والبنية
- عدد العينات
- غير متوفر
- عدد الفئات
- غير متوفر
- عدد الخصائص
- غير متوفر
- عدد المشاركين/الحالات
- غير متوفر
- عدد الصور
- غير متوفر
- عدد الملفات
- غير متوفر
- الحجم
- غير متوفر
- الصيغ
- غير متوفر
- القيم المفقودة
- غير متوفر
ملاحظة العينات: يختلف عدد العينات حسب الإعداد (6 إعدادات في TFDS).
الترخيص والوصول
- الترخيص
- غير معروف — لم يُذكر ترخيص صريح في المصادر المعتمدة
- توثيق الترخيص
- غير معروف
- الاستخدام التجاري
- غير معروف
- إعادة التوزيع
- غير معروف
- اشتراط النسبة
- غير معروف
- طريقة الوصول
- زيارة المصدر
- قيود الوصول
- غير متوفر
- شروط الاستخدام
- غير متوفر
لم يُعثر على ترخيص صريح في المصادر المستخدمة؛ لا تفترض أي إذن قبل مراجعة المصدر الأصلي.
راجع دائماً شروط الناشر الأصلي قبل الاستخدام؛ المستكشف لا يمنح أي ترخيص.
المصدر والتنزيل
- المنصة
- TensorFlow Datasets catalog
- الناشر/المصدر
- TensorFlow Datasets (TFDS)
- المعرّف في المصدر
- tfds:web_graph
- DOI
- غير متوفر
- مصدر البيانات الوصفية
- tfds
- آخر تحديث للبيانات الوصفية
- 2026-11-14
- الصفحة الأصلية
arxiv.org - التوثيق
www.tensorflow.org - بطاقة البيانات
www.tensorflow.org - واجهة API
storage.googleapis.com - مصدر البيانات الوصفية
storage.googleapis.com
لا يستضيف المستكشف ملفات البيانات؛ كل الروابط تشير إلى الناشر الأصلي.
الأبحاث المرتبطة
-
البحث الذي قدّم مجموعة البياناتHarsh Mehta, Steffen Rendle, Walid Krichene, Li Zhang (2021). ALX: Large Scale Matrix Factorization on TPUs. https://arxiv.org/abs/2112.02194مذكور لهذه المجموعة في كتالوج المصدر · رابط البحث · الدليل
الاستشهاد بالمجموعة
مبني من الحقول المسجلة فقط؛ الحقول غير المتوفرة تُحذف ولا تُخمَّن. يُستحسن أيضاً الاستشهاد بالبحث الذي قدّم المجموعة إن وُجد.
Web Graph [Data set]. (2021). TensorFlow Datasets (TFDS). https://arxiv.org/abs/2112.02194
[1] "Web Graph," TensorFlow Datasets (TFDS), 2021. [Online]. Available: https://arxiv.org/abs/2112.02194
@misc{webgraph2021,
title = {{Web Graph}},
year = {2021},
publisher = {TensorFlow Datasets (TFDS)},
url = {https://arxiv.org/abs/2112.02194},
howpublished = {\url{https://arxiv.org/abs/2112.02194}},
note = {Dataset. Accessed: 2026-11-16}
}التحقق
- حالة التحقق
- موثّقة جزئياً
- آخر فحص للروابط
- لم يُفحص بعد
- تاريخ التحقق من المصدر
- غير متوفر
- طريقة التحقق
- Metadata imported from the official TensorFlow Datasets catalog (dataset_info.json on storage.googleapis.com and the tensorflow-datasets 4.9.10 package).
- ملاحظات
- Counts and sizes come from the TFDS-prepared version 1.0.0 (config de-dense). Licence not stated in TFDS metadata unless shown; check the original source. Original URL not yet checked for availability.
مصدر كل حقل وتاريخ فحصه
| الحقل | المصدر | التاريخ |
|---|---|---|
| original_url | TFDS dataset_info.json (location.urls) | 2026-11-14 |
| description | TFDS README.md / dataset_info.description | 2026-11-14 |
مجموعات مشابهة
Abalone
مجموعة بيانات Abalone في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 4,177. المهام: Classification، Regression.
Adult
مجموعة بيانات Adult في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 48,842. المهام: Classification.
AI4I 2020 Predictive Maintenance Dataset
مجموعة بيانات AI4I 2020 Predictive Maintenance Dataset في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 10,000. المهام: Classification، Regression، Causal-Discovery.
Appliances Energy Prediction
مجموعة بيانات Appliances Energy Prediction في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 19,735. المهام: Regression.
Auto MPG
مجموعة بيانات Auto MPG في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 398. المهام: Regression.
Bank Marketing
مجموعة بيانات Bank Marketing في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 45,211. المهام: Classification.
