الذكاء الاصطناعي متعدد الوسائط
Multimodal AI
نماذج تفهم وتولد أكثر من نوع من البيانات: نص وصورة وصوت وفيديو.
تقنية قائمة ومستخدمة فعلياً؛ ما يلي يصف وضعها الحالي. آخر مراجعة لهذه المعلومات: 2026-11-17.
التعريف
نموذج واحد يتعامل مع عدة وسائط بتمثيل مشترك أو بمشفرات متصلة.
الأساس العلمي
التعلم التبايني بين الصور والنصوص، والمحولات القادرة على معالجة رموز من وسائط مختلفة.
تاريخ التطور
من CLIP (2021) وFlamingo (2022) إلى نماذج مثل Gemini (2023) المصممة متعددة الوسائط منذ البداية.
الوضع البحثي الحالي
حقيقة: نماذج تجارية ومفتوحة متعددة الوسائط متاحة على نطاق واسع.
التطبيقات المحتملة
توقع: مساعدات تفهم البيئة المرئية والصوتية في الوقت الحقيقي، وتطبيقات طبية وتعليمية.
التحديات
- الهلوسة في وصف الصور
- تحيزات البيانات
- تكلفة التدريب
عناصر مرتبطة
يستند إلى
- كليب نموذج · 2021المصدر: Learning Transferable Visual Models From Natural Language Supervision
مرتبط بـ
- جيميني (الإصدار 1.0) نموذج · 2023المصدر: Gemini: A Family of Highly Capable Multimodal Models
خريطة المعرفة لهذا العنصر
افتح بالحجم الكاملالمصادر والمراجع العلمية
- Jean-Baptiste Alayrac; Jeff Donahue; Pauline Luc; ... (27) (2022). Flamingo: a Visual Language Model for Few-Shot Learning. arXiv, 2204.14198. DOI: 10.48550/arXiv.2204.14198 · arXiv: 2204.14198
يدعم: Flamingo
- Gemini Team, Google (Rohan Anil; Sebastian Borgeaud; ...) (2023). Gemini: A Family of Highly Capable Multimodal Models. arXiv, 2312.11805. DOI: 10.48550/arXiv.2312.11805 · arXiv: 2312.11805
يدعم: تقرير Gemini
