معماريات الرؤية الحاسوبية
Computer Vision Architectures
CNN ← ResNet ← ViT ← Swin Transformer ← النماذج البصرية الهجينة.
أهداف المسار
- مقارنة التحيّز الاستقرائي في CNN مع مرونة ViT.
- شرح تقسيم الصورة إلى رقع والنوافذ المزاحة في Swin.
- فهم التقطير في DeiT كحل لقلة البيانات.
- اختيار نموذج هجين مناسب حسب حجم البيانات والموارد.
المتطلبات السابقة
- مسار الأساسيات أو ما يعادله.
- فهم الالتفاف والتجميع.
ترتيب التعلّم
- الشبكة العصبية الالتفافية Convolutional Neural Network
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
- الشبكة المتبقية Residual Network
تضيف وصلات تخطٍّ (skip connections) تجعل كل كتلة تتعلم الفرق المتبقي F(x) بدلاً من التحويل الكامل، فيصبح تدريب شبكات بمئات الطبقات ممكناً.
- محوّل الرؤية Vision Transformer
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
- محوّلات الصور كفؤة البيانات Data-efficient Image Transformers
طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات…
- محوّل سوين Swin Transformer
محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات…
- الشبكات الهجينة CNN–Transformer CNN-Transformer Hybrids
تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على…
- الشبكات الالتفافية المعززة بالانتباه Attention-based CNN
شبكات التفافية تضيف وحدات انتباه خفيفة تعيد وزن القنوات (أي السمات أهم) أو المواقع (أين ينظر النموذج)، بتكلفة حسابية صغيرة جداً.
المختبرات
مشاريع مقترحة
- قارن في مقارن المعماريات بين ResNet وViT وSwin من حيث البيانات المناسبة والكلفة.
- شغّل مثال ViT في الموسوعة بحجم رقعة 4 ثم 8، ولاحظ أثر طول التسلسل على السرعة.
- صمم تجربة على مجموعة صور صغيرة (مثل CIFAR-10) تقارن CNN بـ ViT مع وبدون تعزيز البيانات، مع فصل صارم لمجموعة الاختبار.
اختبار المسار
يحتاج ViT عادة إلى بيانات أكثر أو تعزيز أقوى من CNN بالحجم نفسه لأنه يفتقر إلى تحيّز المحلية.
لماذا؟ هذا ما لاحظه بحث ViT الأصلي، وما عالجته DeiT بالتقطير وتعزيز البيانات.
ما الذي تحلّه النوافذ المزاحة (Shifted Windows) في Swin؟
لماذا؟ الانتباه داخل نافذة ثابتة يعزل النوافذ؛ إزاحتها في الطبقة التالية تربطها مع بقاء الكلفة خطية في عدد الرقع.
صورة 224×224 مقسمة إلى رقع 16×16: كم رقعة (token) تدخل ViT قبل رمز التصنيف؟
لماذا؟ $224/16=14$ في كل اتجاه، و$14\times14=196$.
رمز التقطير في DeiT يتعلم من مخرجات نموذج معلّم.
لماذا؟ يُضاف رمز ثانٍ إلى جانب رمز التصنيف، وخسارته تقارن بتنبؤ المعلّم.
