مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةTransformerLong Short-Term Memory
العائلةالمحوّلاتالشبكات العصبية التكرارية
سنة الظهور20171997
الباحثونAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,…Sepp Hochreiter, Jürgen Schmidhuber
نوع المعماريةEncoder–decoder TransformerGated recurrent network
آلية التعلمsupervisedsupervised
التكوين المقارنTransformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048LSTM ‏(I = 128، H = 256، مخرج 10)
شكل المدخلn رمزاً للمصدر و n للهدفT × 128
شكل المخرجn × 3700010
العمق6 طبقات مشفّر + 6 طبقات فك تشفيرطبقة LSTM واحدة
Parameters (محسوبة)63,084,544
≈63.08M
397,834
≈397.83K
Parameters (منشورة)65,000,000
≈65M
غير محدد
MACs8,363,966,464
≈8.36B
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
19,663,360
≈19.66M
لتسلسل T = 50: T·4H(I+H) + H·O.
التعقيدالانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).O(T·4H(I+H))؛ أربعة أضعاف RNN البسيطة بالأبعاد نفسها.
المهامالترجمة الآلية، تحويل التسلسلاتنمذجة التسلسلات، الترجمة الآلية، التعرف على الكلام، التنبؤ بالسلاسل الزمنية
أبرز ميزةتدريب متوازٍ بالكاملتتعلم اعتماديات طويلة
أبرز قيدكلفة الانتباه تربيعية في طول التسلسلمعالجة تسلسلية لا تتوازى زمنياً
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابnn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.أبعاد تعليمية. عرف PyTorch: انحيازان لكل بوابة (b_ih و b_hh). الصيغة مع بوابة النسيان (Gers وآخرون 2000).

العلاقات المسجلة بين النماذج المقارنة

  • Transformer بديل Long Short-Term Memory — يحل محل الشبكات التكرارية.