Web Graph

أسماء أخرى: tfds:web_graph

زيارة المصدر الأصلي

نظرة عامة

مجموعة بيانات Web Graph في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية.

الوصف (من المصدر)

This dataset contains a sparse graph representing web link structure for a small subset of the Web. Its a processed version of a single crawl performed by CommonCrawl in 2021 where we strip everything and keep only the link->outlinks structure. The final dataset is basically int -> List[int] format with each integer id representing a url. Also, in order to increase the value of this resource, we created 6 different version of WebGraph, each varying in the sparsity pattern and locale. We took the following processing steps, in order: - We started with WAT files from June 2021 crawl. - Since the outlinks in HTTP-Response-Metadata are stored as relative paths, we convert them to absolute paths using urllib after validating each link. - To study locale-specific graphs, we further filter based on 2 top level domains: ‘de’ and ‘in’, each producing a graph with an order of magnitude less number of nodes. - These graphs can still have arbitrary sparsity patterns and dangling links. Thus we further filter the nodes in each graph to have minimum of K ∈ [10, 50] inlinks and outlinks. Note that we only do this processing once, thus this is still an approximation i.e. the resulting graph might have nodes with less than K links. - Using both locale and count filters, we finalize 6 versions of WebGraph dataset, summarized in the folling table. | Version | Top level domain | Min count | Num nodes | Num edges | | ----------- | ---------------- | --------- | --------- | --------- | | sparse | | 10 | 365.4M | 30B | | dense | | 50 | 136.5M | 22B | | de-sparse | de | 10 | 19.7M | 1.19B | | de-dense | de | 50 | 5.7M | 0.82B | | in-sparse | in | 10 | 1.5M | 0.14B | | in-dense | in | 50 | 0.5M | 0.12B | All versions of the dataset have following features: - "row_tag": a unique identifier of the row (source link). - "col_tag": a list of unique identifiers of non-zero columns (dest outlinks). - "gt_tag": a list of unique identifiers of non-zero columns used as ground truth (dest outlinks), empty for train/train_t splits.

المجال
البيانات الجدولية والتعلم الآلي التقليدي (Tabular Data)
نوع البيانات
بيانات جدولية
المهام
غير متوفر
التخصصات الفرعية
غير متوفر
اللغات
غير متوفر
الوسوم
غير متوفر

الإحصائيات والبنية

عدد العينات
غير متوفر
عدد الفئات
غير متوفر
عدد الخصائص
غير متوفر
عدد المشاركين/الحالات
غير متوفر
عدد الصور
غير متوفر
عدد الملفات
غير متوفر
الحجم
غير متوفر
الصيغ
غير متوفر
القيم المفقودة
غير متوفر

ملاحظة العينات: يختلف عدد العينات حسب الإعداد (6 إعدادات في TFDS).

الترخيص والوصول

الترخيص
غير معروف — لم يُذكر ترخيص صريح في المصادر المعتمدة
توثيق الترخيص
غير معروف
الاستخدام التجاري
غير معروف
إعادة التوزيع
غير معروف
اشتراط النسبة
غير معروف
طريقة الوصول
زيارة المصدر
قيود الوصول
غير متوفر
شروط الاستخدام
غير متوفر

لم يُعثر على ترخيص صريح في المصادر المستخدمة؛ لا تفترض أي إذن قبل مراجعة المصدر الأصلي.

راجع دائماً شروط الناشر الأصلي قبل الاستخدام؛ المستكشف لا يمنح أي ترخيص.

المصدر والتنزيل

المنصة
TensorFlow Datasets catalog
الناشر/المصدر
TensorFlow Datasets (TFDS)
المعرّف في المصدر
tfds:web_graph
DOI
غير متوفر
مصدر البيانات الوصفية
tfds
آخر تحديث للبيانات الوصفية
2026-11-14

لا يستضيف المستكشف ملفات البيانات؛ كل الروابط تشير إلى الناشر الأصلي.

الأبحاث المرتبطة

  1. البحث الذي قدّم مجموعة البيانات
    Harsh Mehta, Steffen Rendle, Walid Krichene, Li Zhang (2021). ALX: Large Scale Matrix Factorization on TPUs. https://arxiv.org/abs/2112.02194
    مذكور لهذه المجموعة في كتالوج المصدر · رابط البحث · الدليل

الاستشهاد بالمجموعة

مبني من الحقول المسجلة فقط؛ الحقول غير المتوفرة تُحذف ولا تُخمَّن. يُستحسن أيضاً الاستشهاد بالبحث الذي قدّم المجموعة إن وُجد.

APA 7
Web Graph [Data set]. (2021). TensorFlow Datasets (TFDS). https://arxiv.org/abs/2112.02194
IEEE
[1] "Web Graph," TensorFlow Datasets (TFDS), 2021. [Online]. Available: https://arxiv.org/abs/2112.02194
BibTeX
@misc{webgraph2021,
  title = {{Web Graph}},
  year = {2021},
  publisher = {TensorFlow Datasets (TFDS)},
  url = {https://arxiv.org/abs/2112.02194},
  howpublished = {\url{https://arxiv.org/abs/2112.02194}},
  note = {Dataset. Accessed: 2026-11-16}
}

التحقق

حالة التحقق
موثّقة جزئياً
آخر فحص للروابط
لم يُفحص بعد
تاريخ التحقق من المصدر
غير متوفر
طريقة التحقق
Metadata imported from the official TensorFlow Datasets catalog (dataset_info.json on storage.googleapis.com and the tensorflow-datasets 4.9.10 package).
ملاحظات
Counts and sizes come from the TFDS-prepared version 1.0.0 (config de-dense). Licence not stated in TFDS metadata unless shown; check the original source. Original URL not yet checked for availability.
مصدر كل حقل وتاريخ فحصه
الحقلالمصدرالتاريخ
original_urlTFDS dataset_info.json (location.urls)2026-11-14
descriptionTFDS README.md / dataset_info.description2026-11-14

مجموعات مشابهة

البيانات الجدولية والتعلم الآلي التقليدي موثّقة جزئياً

Abalone

مجموعة بيانات Abalone في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 4,177. المهام: Classification، Regression.

العينات
4٬177
النوع
بيانات جدولية
الترخيص
غير معروف
المصدر
UCI Machine Learning Repository
البيانات الجدولية والتعلم الآلي التقليدي موثّقة جزئياً

Adult

مجموعة بيانات Adult في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 48,842. المهام: Classification.

العينات
48٬842
النوع
بيانات جدولية
الترخيص
غير معروف
المصدر
UCI Machine Learning Repository
البيانات الجدولية والتعلم الآلي التقليدي موثّقة جزئياً

AI4I 2020 Predictive Maintenance Dataset

مجموعة بيانات AI4I 2020 Predictive Maintenance Dataset في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 10,000. المهام: Classification، Regression، Causal-Discovery.

العينات
10٬000
النوع
بيانات جدولية
الترخيص
غير معروف
المصدر
UCI Machine Learning Repository
البيانات الجدولية والتعلم الآلي التقليدي موثّقة جزئياً

Appliances Energy Prediction

مجموعة بيانات Appliances Energy Prediction في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 19,735. المهام: Regression.

العينات
19٬735
النوع
بيانات جدولية
الترخيص
غير معروف
المصدر
UCI Machine Learning Repository
البيانات الجدولية والتعلم الآلي التقليدي موثّقة جزئياً

Auto MPG

مجموعة بيانات Auto MPG في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 398. المهام: Regression.

العينات
398
النوع
بيانات جدولية
الترخيص
غير معروف
المصدر
UCI Machine Learning Repository
البيانات الجدولية والتعلم الآلي التقليدي موثّقة جزئياً

Bank Marketing

مجموعة بيانات Bank Marketing في مجال البيانات الجدولية والتعلم الآلي التقليدي، نوع البيانات: بيانات جدولية. عدد العينات المسجل: 45,211. المهام: Classification.

العينات
45٬211
النوع
بيانات جدولية
الترخيص
غير معروف
المصدر
UCI Machine Learning Repository