المحوّلات في معالجة اللغة

مسار النص داخل المحوّل

1. التقطيع الجزئي: النص ← رموز ← معرّفات رقمية.
2. التضمين + ترميز المواضع.
3. طبقات المحوّل: انتباه ذاتي متعدد الرؤوس + شبكة أمامية.
4. رأس المهمة: تصنيف، أو وسم لكل رمز، أو توليد.

تفاصيل الانتباه شُرحت في درس المحوّلات بمسار التعلم العميق.

ثلاث عائلات

العائلة	التدريب المسبق	أمثلة	مهام نموذجية
مشفر	التنبؤ بالكلمات المقنَّعة	BERT، RoBERTa، AraBERT	التصنيف، الكيانات، الاسترجاع
مفكك	التنبؤ بالرمز التالي	GPT ونماذج لغوية كبيرة	التوليد والحوار
مشفر-مفكك	إعادة بناء نص مشوَّه	T5، BART، mT5	الترجمة والتلخيص

Hugging Face بسرعة

pip install transformers torch

from transformers import pipeline
fill = pipeline("fill-mask", model="aubmindlab/bert-base-arabertv02")
print(fill("عاصمة العراق هي [MASK] ."))

الدالة pipeline تخفي التقطيع والتمرير والمعالجة اللاحقة. تُنزَّل النماذج عند أول استخدام، وبعضها كبير الحجم.

تمثيلات سياقية

from transformers import AutoTokenizer, AutoModel
import torch
name = "aubmindlab/bert-base-arabertv02"
tok, model = AutoTokenizer.from_pretrained(name), AutoModel.from_pretrained(name)
with torch.no_grad():
    out = model(**tok("نظرت إلى عين الماء", return_tensors="pt"))
print(out.last_hidden_state.shape)   # (1, عدد الرموز, 768)

التدريب المسبق ثم الضبط الدقيق

• مرحلة مكلفة مرة واحدة على نصوص ضخمة غير موسومة.
• مرحلة رخيصة نسبياً لكل مهمة ببيانات موسومة قليلة.

هذا النمط هو ما جعل نماذج مثل BERT تغير المجال، وهو موضوع الدرس التالي.