محوّلات الصور كفؤة البيانات (DeiT)
Data-efficient Image Transformers
طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات تدريب مسبق ضخمة.
نظرة عامة
| الاسم | محوّلات الصور كفؤة البيانات – Data-efficient Image Transformers |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | Hugo Touvron، Matthieu Cord، Matthijs Douze، Francisco Massa، Alexandre Sablayrolles، Hervé Jégou |
| الجهة | Facebook AI (Meta) / Sorbonne University |
| الورقة الأصلية | Training data-efficient image transformers & distillation through attention arXiv |
| نوع البيانات | صور |
| المجالات | الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | كلفة ViT نفسها + تمرير أمامي للمعلّم في التدريب. |
| حجم البيانات | متوسطة (ImageNet-1k في الورقة). |
المشكلة التي تحلها
نتائج ViT الأصلية اعتمدت على تدريب مسبق ضخم (JFT-300M)، ما جعله غير عملي لمعظم المختبرات.
الخلفية والتطور
ما قبلها: محوّل الرؤية، الشبكة العصبية الالتفافية
الفكرة الأساسية
يضاف إلى [CLS] رمز ثانٍ (distillation token) له رأس مستقل. رأس [CLS] يتعلم من التسميات الحقيقية، ورأس التقطير يتعلم من تسميات المعلّم. يتفاعل الرمزان مع الرقع عبر الانتباه. في الاستدلال يُجمع خرجا الرأسين. وجد المؤلفون أن معلّماً من نوع CNN أعطى نتائج أفضل من معلّم Transformer، ربما لنقل الانحياز الاستقرائي.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| ViT backbone | رقع + مشفّر |
| [CLS] token + head | يتعلم من التسميات الحقيقية |
| Distillation token + head | يتعلم من المعلّم |
| Teacher (CNN) | مجمّد |
| Strong augmentation | RandAugment وMixup وCutMix وغيرها |
المعادلات
1. التقطير الصارم (Hard distillation)
| $Z_s,Z_s^{dist}$ | مخرجا رأسي الطالب |
| $Z_t$ | مخرج المعلّم |
| $\psi$ | Softmax |
2. التقطير الناعم (Soft distillation)
| $\tau$ | درجة الحرارة |
| $\lambda$ | وزن التقطير |
3. الاستدلال
| $Z_s$ | خرج رأس رمز التصنيف |
| $Z_s^{dist}$ | خرج رأس رمز التقطير |
| $\psi$ | دالة Softmax |
آلية العمل خطوة بخطوة
- درّب أو حمّل معلّماً قوياً.
- أضف رمز التقطير ورأسه إلى ViT.
- احسب تسميات المعلّم لكل دفعة.
- اجمع خسارة التسمية وخسارة المعلّم.
- استخدم زيادات بيانات قوية.
- ادمج الرأسين في الاستدلال.
المزايا والقيود
المزايا
- تدريب ViT دون مجموعات ضخمة.
- تقطير بسيط بلا تعديل جوهري للمعمارية.
- نماذج صغيرة مناسبة للنشر.
القيود
- يحتاج معلّماً جيداً وحسابات إضافية أثناء التدريب.
- الاعتماد الكبير على وصفة زيادات البيانات.
متى تُستخدم؟ ومتى لا؟
تناسب
- بيانات بحجم متوسط ورغبة في استخدام Transformer.
- ضغط نموذج كبير إلى صغير.
لا تناسب
- غياب معلّم جيد للمجال.
- بيانات صغيرة جداً.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | تصنيف الصور بنماذج صغيرة. |
| تحليل الصور الطبية | تقطير نماذج طبية كبيرة إلى نماذج أخف. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
المعلّم هنا CNN صغيرة تُدرّب داخل المثال نفسه؛ في الورقة المعلّم RegNetY مدرّب مسبقاً على ImageNet.
# DeiT: ViT مع رمز تقطير ومعلّم CNN
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class PatchEmbed(nn.Module):
"""تقسيم الصورة إلى رقع P×P وإسقاط كل رقعة خطياً (Conv بخطوة P تكافئ ذلك تماماً)."""
def __init__(self, img=16, P=4, C=1, D=32):
super().__init__()
self.N = (img // P) ** 2
self.proj = nn.Conv2d(C, D, kernel_size=P, stride=P)
def forward(self, x): # B×C×H×W → B×N×D
return self.proj(x).flatten(2).transpose(1, 2)
class ViTBase(nn.Module):
def __init__(self, img=16, P=4, D=32, depth=2, heads=4, n_classes=3):
super().__init__()
self.patch = PatchEmbed(img, P, 1, D)
self.cls = nn.Parameter(torch.zeros(1, 1, D)) # رمز التصنيف [CLS]
self.pos = nn.Parameter(torch.randn(1, self.patch.N + 1, D) * 0.02) # ترميز موضعي متعلَّم
layer = nn.TransformerEncoderLayer(D, heads, 2 * D, dropout=0.0, activation='gelu', batch_first=True, norm_first=True)
self.encoder = nn.TransformerEncoder(layer, depth, enable_nested_tensor=False)
self.norm, self.head = nn.LayerNorm(D), nn.Linear(D, n_classes)
def forward(self, x):
z = self.patch(x)
z = torch.cat([self.cls.expand(len(z), -1, -1), z], 1) + self.pos
z = self.encoder(z)
return self.head(self.norm(z[:, 0])) # التصنيف من رمز CLS
class DeiT(ViTBase):
"""ViT + رمز تقطير (distillation token) ورأس ثانٍ يتعلم من تسميات المعلّم."""
def __init__(self, D=32, n_classes=3, **kw):
super().__init__(D=D, n_classes=n_classes, **kw)
self.dist = nn.Parameter(torch.zeros(1, 1, D))
self.pos = nn.Parameter(torch.randn(1, self.patch.N + 2, D) * 0.02)
self.head_dist = nn.Linear(D, n_classes)
def forward(self, x):
z = self.patch(x)
B = len(z)
z = torch.cat([self.cls.expand(B, -1, -1), self.dist.expand(B, -1, -1), z], 1) + self.pos
z = self.norm(self.encoder(z))
return self.head(z[:, 0]), self.head_dist(z[:, 1])
# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
X = torch.randn(n, 1, 16, 16) * 0.3
y = torch.randint(0, 3, (n,))
pos = torch.randint(2, 14, (n,))
r = torch.arange(2, 14)
for i in range(n):
if y[i] == 0: X[i, 0, pos[i], 2:14] += 1.5
elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
else: X[i, 0, r, (r + pos[i]) % 16] += 1.5
return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = DeiT()
# 4) المعلّم: CNN صغيرة تُدرَّب أولاً (في DeiT الأصلية المعلّم RegNetY مدرَّب مسبقاً)
teacher = nn.Sequential(nn.Conv2d(1, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding=1), nn.ReLU(),
nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(32, 3))
t_opt = torch.optim.Adam(teacher.parameters(), lr=1e-2)
for epoch in range(6):
for i in range(0, len(X_train), 64):
xb, yb = X_train[i:i + 64], y_train[i:i + 64]
t_loss = F.cross_entropy(teacher(xb), yb)
t_opt.zero_grad(); t_loss.backward(); t_opt.step()
teacher.eval()
with torch.no_grad():
print(f"teacher test accuracy = {(teacher(X_test).argmax(1) == y_test).float().mean().item():.3f}")
# 5) الطالب DeiT مع التقطير الصارم (hard distillation) ودالة الخسارة والمحسّن
opt = torch.optim.AdamW(model.parameters(), lr=3e-3, weight_decay=0.05)
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
model.train()
perm, total = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
with torch.no_grad():
y_t = teacher(xb).argmax(1) # تسمية المعلّم الصلبة
out_cls, out_dist = model(xb) # Forward Pass: رأسان
loss = 0.5 * F.cross_entropy(out_cls, yb) + 0.5 * F.cross_entropy(out_dist, y_t)
opt.zero_grad(); loss.backward(); opt.step()
total += loss.item() * len(idx)
if epoch % 4 == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم: متوسط احتمالات الرأسين (كما في الورقة)
model.eval()
with torch.no_grad():
c, d = model(X_test)
p = (c.softmax(-1) + d.softmax(-1)) / 2
print(f"test accuracy = {(p.argmax(1) == y_test).float().mean().item():.3f}")
print(f"agreement with teacher = {(p.argmax(1) == teacher(X_test).argmax(1)).float().mean().item():.3f}")
# 7) الاستدلال
with torch.no_grad():
c, d = model(X_test[:1])
print("predicted class:", ((c.softmax(-1) + d.softmax(-1)) / 2).argmax(1).item(), " true:", y_test[0].item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.6 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
teacher test accuracy = 1.000 test accuracy = 1.000 agreement with teacher = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 18٬534، teacher = 4٬899.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصوّر المحولات
- مختبر الرؤية الحاسوبية قسم آخر في الموقع
معماريات مرتبطة
محوّل الرؤية
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
محوّل سوين
Swin Transformer
محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…
الشبكة العصبية الالتفافية
Convolutional Neural Network (CNN)
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- تقطير نموذج أساس طبي كبير إلى DeiT صغير يعمل على أجهزة المستشفيات.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الفرق بين رمز [CLS] ورمز التقطير في DeiT؟
لماذا؟ لكل منهما رأس وخسارة.
في التقطير الصارم، ما الهدف لرأس التقطير؟
لماذا؟ $y_t=\arg\max Z_t$.
أي نوع من المعلّمين وجد مؤلفو DeiT أنه يعطي نتائج أفضل؟
لماذا؟ فسّروه بنقل الانحياز الاستقرائي.
المراجع
Touvron, H., Cord, M., Douze, M., Massa, F., Sablayrolles, A., & Jégou, H. (2021). Training data-efficient image transformers & distillation through attention. International Conference on Machine Learning (ICML), PMLR 139, 10347–10357. https://arxiv.org/abs/2012.12877
Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the knowledge in a neural network. NIPS 2014 Deep Learning Workshop. https://arxiv.org/abs/1503.02531
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929
