CLIP
كليب
التعريف
نموذج يتعلم تمثيلاً مشتركاً للصور والنصوص بتدريب تبايني على أزواج صور-وصف.
يُقرَّب تضمين الصورة من تضمين وصفها ويُبعَد عن أوصاف أخرى. يتيح تصنيفاً صفرياً بكتابة أسماء الفئات نصاً، ويُستخدم لتوجيه نماذج توليد الصور.
Definition
CLIP jointly trains image and text encoders with a contrastive objective on image-caption pairs, enabling zero-shot classification and text-guided image models.
شرح مبسّط للمبتدئين
كمترجم يربط الصور بكلماتها فيعرف أن صورة قطة تناسب جملة «قطة تجلس».
شرح أكاديمي متخصص
قدّمه Radford وآخرون (2021) بتدريب على 400 مليون زوج.
أمثلة عملية
- تصنيف صورة بأسماء فئات لم يرها.
التطبيقات والاستخدامات
- البحث بالصور وتوجيه التوليد.
المزايا
- تعميم صفري قوي.
القيود والعيوب
- يرث تحيزات بيانات الويب.
