Transformer
المحوّل
أول نموذج مشفّر-فك تشفير يعتمد كلياً على الانتباه دون تكرار أو التفاف، فيعالج كل مواضع التسلسل بالتوازي.
نماذج مبنية على الانتباه الذاتي (Self-Attention) دون تكرار، بثلاثة أنماط: مشفّر فقط (BERT)، وفك تشفير فقط (GPT)، ومشفّر-فك تشفير (Transformer الأصلي و T5).
مختبر Transformerالمحوّل
أول نموذج مشفّر-فك تشفير يعتمد كلياً على الانتباه دون تكرار أو التفاف، فيعالج كل مواضع التسلسل بالتوازي.
بيرت
مشفّر محوّل مدرَّب مسبقاً بإخفاء الكلمات على نصوص ضخمة، ينتج تمثيلات سياقية ثنائية الاتجاه تُضبط بدقة لمهام الفهم.
جي بي تي 1
فك تشفير محوّل يُدرَّب مسبقاً على التنبؤ بالكلمة التالية في نصوص طويلة ثم يُضبط بدقة لمهام الفهم بتحويل المدخلات إلى تسلسلات.
روبرتا
إعادة دراسة لتدريب BERT بينت أنه كان غير مدرَّب بما يكفي؛ بالمعمارية نفسها وتدريب أطول وبيانات أكثر تحسنت النتائج كثيراً.
ألبرت
نسخة خفيفة من BERT تقلل المعاملات كثيراً بتفكيك مصفوفة التضمين ومشاركة الأوزان بين كل الطبقات.
تي 5
إطار يحوّل كل مهام اللغة إلى صيغة «نص إلى نص» بنموذج مشفّر-فك تشفير واحد، مع دراسة منهجية لخيارات التدريب المسبق.
إكس إل نت
نموذج تدريب مسبق ذاتي الانحدار يعظّم الاحتمال المتوقع على كل ترتيبات التبديل للتسلسل، فيحصل على سياق ثنائي الاتجاه دون رمز [MASK].
الأقسام
لا يوجد قسم بهذا الاسم. اضغط «بحث» للبحث في محتوى الموقع كله.
المفضلة
نتائجي وشهاداتي
تقدّمي في الأكاديميةنتائج اختباراتيتقدّم الأطفالشهادات الأكاديميةشهادات الاختباراتابدأ أي درس أو اختبار وسيظهر هنا لتعود إليه بسرعة.
الإعدادات
أنا مساعد الأطلس. اسألني عن نموذج أو طبقة أو معادلة أو تطبيق، أو اطلب مقارنة بين نموذجين، وسأجيبك من سجلات الأطلس مع روابطها.
يجيب من قاعدة بيانات الأطلس فقط، دون أي نموذج لغوي خارجي، ولا يخترع أرقاماً أو مراجع.
قد يخطئ المساعد أحياناً، فراجع المصادر المرفقة.