آلية الانتباه
Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
Transformer Visualizer
من تقطيع الجملة إلى التضمينات والترميز الموضعي وQ وK وV ودرجات الانتباه وتعدد الرؤوس وشبكة التغذية الأمامية.
يُحمَّل المختبر… إن لم يظهر فتأكد من تفعيل JavaScript في متصفحك.
التضمينات ومصفوفات Q وK وV عشوائية بثابت بذرة؛ الأوزان الناتجة توضح الحساب فقط ولا تعكس نموذجاً لغوياً مدرّباً.
Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
Graph Transformer (GT)
تطبيق الانتباه الذاتي على عقد الرسم مع ترميزات موضعية أو بنيوية (مثل متجهات لابلاسيان الذاتية) كي يعرف النموذج بنية الرسم، فيتجاوز قيود الجوار المحلي.
CNN-Transformer Hybrids
تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.
U-Net + Transformer (U-Net+Transformer)
عائلة نماذج تجزئة تحتفظ بشكل U-Net (مشفّر–مفكك بوصلات تخطٍّ) وتُدخل المحوّل في موضع ما: عنق الزجاجة، أو المشفّر كاملاً، أو كل المعمارية (نموذج محوّل خالص على شكل U).
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
Swin Transformer
محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…
Data-efficient Image Transformers (DeiT)
طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات تدريب مسبق ضخمة.
Perceiver
معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.
Cross-Attention (Cross-Attn)
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
Multimodal Transformers (MM-Transformer)
محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).
Vision-Language Models (VLM)
نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…
لا توجد نتائج مطابقة للمرشحات.
الأقسام
لا يوجد قسم بهذا الاسم. اضغط «بحث» للبحث في محتوى الموقع كله.
المفضلة
نتائجي وشهاداتي
تقدّمي في الأكاديميةنتائج اختباراتيتقدّم الأطفالشهادات الأكاديميةشهادات الاختباراتابدأ أي درس أو اختبار وسيظهر هنا لتعود إليه بسرعة.
الإعدادات
أنا المساعد الذكي لمعماريات التعلم العميق. اسألني عن معمارية أو معادلة أو كود، أو اطلب مقارنة أو مساراً أو شرحاً لنتيجة مختبر.
يجيب من محتوى الموسوعة فقط، دون نموذج لغوي ودون إرسال سؤالك إلى أي جهة خارجية.
قد يخطئ المساعد أحياناً، فراجع المصادر المرفقة.