المشفر والمفكك مع الانتباه
Encoder–Decoder with Attention
معمارية عصبية يقرأ فيها المشفر الجملة المصدر إلى تمثيلات، ويولد المفكك الترجمة كلمة بعد كلمة مع آلية انتباه تحدد أجزاء المصدر المهمة لكل خطوة.
طريقة العمل
في Bahdanau وآخرين (2015) يحسب الانتباه أوزاناً على حالات المشفر في كل خطوة توليد بدلاً من ضغط الجملة كلها في متجه واحد.
الخطوات
- ترميز المصدر
- حساب أوزان الانتباه
- توليد الكلمة التالية
- التكرار حتى رمز النهاية
مثال
أساس أنظمة الترجمة العصبية بين 2015 و2017.
المزايا
- ترجمات أطلق
- يتعامل مع الجمل الطويلة أفضل من المشفر بلا انتباه
العيوب
- تدريب تسلسلي بطيء (RNN)
الاستخدامات
- الترجمة والتلخيص التوليدي
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS 2014.
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015.
هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح لأنها تحتاج إلى نموذج مدرَّب؛ يمكن لمدير الموقع ربط محرك خارجي يقدّمها. افتح الترجمة الآلية
