Transformer

بنية شبكة عصبية (neural network) تم تطويرها في Google وتعتمد على آليات الانتباه الذاتي (self-attention) لتحويل تسلسل تضمين المدخلات إلى سلسلة من عمليات دمج المخرجات دون الاعتماد على التلافيف (convolutions) أو الشبكات العصبية المتكررة (recurrent neural networks). يمكن اعتبار المحول مكدس من طبقات الانتباه الذاتي.
يمكن أن يتضمن المحول أيًا مما يلي:
• المشفر (encoder).
• مفكك الشفرة (decoder).
• كلاً من المشفر ومفكك الشفرة.
يحول المشفر سلسلة من التضمينات (embeddings) إلى تسلسل جديد بنفس الطول. يشتمل المشفر على N طبقات متطابقة، تحتوي كل منها على طبقتين فرعيتين. يتم تطبيق هاتين الطبقتين الفرعيتين في كل موضع من تسلسل تضمين الإدخال، مما يحول كل عنصر من عناصر التسلسل إلى تضمين جديد. تجمع الطبقة الفرعية الأولى من المشفر المعلومات عبر تسلسل الإدخال. تقوم الطبقة الفرعية الثانية للمشفر بتحويل المعلومات المجمعة إلى دمج مخرجات.
يحول مفكك الشفرة سلسلة من إدخالات المدخلات إلى سلسلة من التضمينات المخرجة، ربما بطول مختلف. يشتمل مفكك الشفرة أيضًا على طبقات متطابقة N مع ثلاث طبقات فرعية، اثنتان منها تشبه الطبقات الفرعية للمشفر. تأخذ الطبقة الفرعية الثالثة من مفكك الشفرة إخراج المشفر وتطبق آلية الانتباه الذاتي لجمع المعلومات منه.