جامع بيانات غير متزامن يحترم الموقع
وصف الاستخدام
كتابة أداة جمع بيانات asyncio تحترم robots.txt وحدود المعدل.
نص الأمر
اكتب أداة Python غير متزامنة لجمع بيانات عامة من: {{project}}.
- استخدم httpx أو aiohttp مع حد للتزامن (Semaphore) وتأخير بين الطلبات.
- احترم robots.txt وشروط الموقع؛ إن كانت تمنع الجمع فتوقف وأبلغني.
- أعد المحاولة مع تراجع أسي للأخطاء المؤقتة فقط (429, 5xx).
- حلل الصفحات بـ selectolax أو BeautifulSoup واحفظ النتائج JSON Lines.
- لا تجمع بيانات شخصية.
الحقول المطلوبة: {{extra}}
أضف اختبارات تستخدم ردوداً مسجلة بدلاً من الشبكة.المدخلات المطلوبة
الموقع، الحقول المطلوبة.
المخرجات المتوقعة
الأداة، الاختبارات، تعليمات التشغيل.
الأدوات المناسبة
مثال تطبيقي
project = «فهرس عام لمقالات مدونة تقنية تسمح بالجمع»، extra = «العنوان والتاريخ والرابط».
لم يُدَّعَ اختبار هذا الأمر على نموذج بعينه؛ النتائج تختلف حسب النموذج والسياق، فراجع المخرجات دائماً.
