Denoising

نهج شائع للتعلم تحت الإشراف الذاتي (self-supervised learning) حيث:
• يتم إضافة الضوضاء (Noise) بشكل مصطنع إلى مجموعة البيانات.
• يحاول النموذج (model) إزالة الضوضاء.
يتيح تقليل الضوضاء التعلم من الأمثلة غير المسماة (unlabeled examples). تعمل مجموعة البيانات (dataset) الأصلية كهدف أو تسمية (label) والبيانات الصاخبة (noisy data) كإدخال.
تستخدم بعض نماذج اللغة المقنعة (masked language models) تقليل الضوضاء على النحو التالي:
• يتم إضافة الضوضاء بشكل مصطنع إلى جملة غير مسماة بإخفاء بعض الرموز.
• يحاول النموذج توقع الرموز المميزة (الوحدة اللفظية) (tokens) الأصلية.