المحوّلات Transformers

نماذج مبنية على الانتباه الذاتي (Self-Attention) دون تكرار، بثلاثة أنماط: مشفّر فقط (BERT)، وفك تشفير فقط (GPT)، ومشفّر-فك تشفير (Transformer الأصلي و T5).

مختبر Transformer
  1. 2017Transformer
  2. 2018BERT
  3. 2018GPT-1
  4. 2019RoBERTa
  5. 2019ALBERT
  6. 2019T5
  7. 2019XLNet
المحوّلات 2017

Transformer

المحوّل

أول نموذج مشفّر-فك تشفير يعتمد كلياً على الانتباه دون تكرار أو التفاف، فيعالج كل مواضع التسلسل بالتوازي.

Parameters
63.08M
النوع
Encoder–decoder Transformer
المحوّلات 2018

GPT (Generative Pre-trained Transformer)

جي بي تي 1

فك تشفير محوّل يُدرَّب مسبقاً على التنبؤ بالكلمة التالية في نصوص طويلة ثم يُضبط بدقة لمهام الفهم بتحويل المدخلات إلى تسلسلات.

Parameters
116.53M
النوع
Decoder-only Transformer
المحوّلات 2019

RoBERTa (Robustly Optimized BERT Pretraining Approach)

روبرتا

إعادة دراسة لتدريب BERT بينت أنه كان غير مدرَّب بما يكفي؛ بالمعمارية نفسها وتدريب أطول وبيانات أكثر تحسنت النتائج كثيراً.

Parameters
124.65M
النوع
Encoder-only Transformer
المحوّلات 2019

ALBERT (A Lite BERT)

ألبرت

نسخة خفيفة من BERT تقلل المعاملات كثيراً بتفكيك مصفوفة التضمين ومشاركة الأوزان بين كل الطبقات.

Parameters
11.68M
النوع
Encoder-only Transformer with parameter sharing
المحوّلات 2019

T5 (Text-to-Text Transfer Transformer)

تي 5

إطار يحوّل كل مهام اللغة إلى صيغة «نص إلى نص» بنموذج مشفّر-فك تشفير واحد، مع دراسة منهجية لخيارات التدريب المسبق.

Parameters
222.9M
النوع
Encoder–decoder Transformer
المحوّلات 2019

XLNet

إكس إل نت

نموذج تدريب مسبق ذاتي الانحدار يعظّم الاحتمال المتوقع على كل ترتيبات التبديل للتسلسل، فيحصل على سياق ثنائي الاتجاه دون رمز [MASK].

Parameters
116.72M
النوع
Autoregressive Transformer-XL encoder