نقل التعلم

لماذا ينجح؟

السمات التي تتعلمها الطبقات الأولى (حواف، أنسجة) عامة وتفيد مهام كثيرة، بينما الطبقات الأخيرة أكثر تخصصاً في المهمة الأصلية (Yosinski et al., 2014).

الأسلوبان

	استخراج السمات	الضبط الدقيق
الطبقات المدربة	مجمدة	تُحدَّث كلها أو بعضها
البيانات المطلوبة	قليلة	متوسطة
الكلفة	منخفضة	أعلى
خطر فرط التخصيص	أقل	أعلى مع البيانات القليلة

مثال في PyTorch

import torch, torch.nn as nn
from torchvision import models

weights = models.ResNet18_Weights.DEFAULT
model = models.resnet18(weights=weights)       # تُنزّل الأوزان عند أول استخدام
preprocess = weights.transforms()               # التطبيع الصحيح لهذه الأوزان

for p in model.parameters():                    # 1) استخراج السمات: تجميد
    p.requires_grad = False
model.fc = nn.Linear(model.fc.in_features, 3)   # رأس جديد لثلاث فئات

opt = torch.optim.AdamW(model.fc.parameters(), lr=1e-3)
# ... درّب الرأس بضع حقب ...

for p in model.layer4.parameters():             # 2) ضبط دقيق لآخر كتلة
    p.requires_grad = True
opt = torch.optim.AdamW([
    {"params": model.layer4.parameters(), "lr": 1e-5},
    {"params": model.fc.parameters(), "lr": 1e-4},
])

إرشادات

• استخدم معالجة المدخلات نفسها التي استُخدمت مع الأوزان الأصلية.
• ابدأ بتجميد الشبكة وتدريب الرأس، ثم حرر الطبقات العليا تدريجياً.
• معدل تعلم صغير للطبقات المدربة مسبقاً.
• راقب بيانات التحقق للتوقف المبكر.

تنبيه للمجالات المتخصصة

في الصور الطبية مثلاً يختلف التوزيع كثيراً عن ImageNet؛ نقل التعلم مفيد غالباً لكنه ليس مضموناً، ويجب التحقق التجريبي ومقارنته بنماذج مدربة مسبقاً على بيانات من المجال نفسه عند توفرها.