جامع بيانات غير متزامن يحترم الموقع

أوامر Pythonالصعوبة: متقدم آخر تحديث: 16 نوفمبر 2026

وصف الاستخدام

كتابة أداة جمع بيانات asyncio تحترم robots.txt وحدود المعدل.

نص الأمر

Prompt
اكتب أداة Python غير متزامنة لجمع بيانات عامة من: {{project}}.
- استخدم httpx أو aiohttp مع حد للتزامن (Semaphore) وتأخير بين الطلبات.
- احترم robots.txt وشروط الموقع؛ إن كانت تمنع الجمع فتوقف وأبلغني.
- أعد المحاولة مع تراجع أسي للأخطاء المؤقتة فقط (429, 5xx).
- حلل الصفحات بـ selectolax أو BeautifulSoup واحفظ النتائج JSON Lines.
- لا تجمع بيانات شخصية.
الحقول المطلوبة: {{extra}}
أضف اختبارات تستخدم ردوداً مسجلة بدلاً من الشبكة.

المدخلات المطلوبة

الموقع، الحقول المطلوبة.

المخرجات المتوقعة

الأداة، الاختبارات، تعليمات التشغيل.

الأدوات المناسبة

مثال تطبيقي

project = «فهرس عام لمقالات مدونة تقنية تسمح بالجمع»، extra = «العنوان والتاريخ والرابط».

قيّم:
لا تقييمات بعد

لم يُدَّعَ اختبار هذا الأمر على نموذج بعينه؛ النتائج تختلف حسب النموذج والسياق، فراجع المخرجات دائماً.