كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متوسطمعماريات المحولات

محوّلات الصور كفؤة البيانات (DeiT)

Data-efficient Image Transformers

طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات تدريب مسبق ضخمة.

نظرة عامة

الاسممحوّلات الصور كفؤة البيانات – Data-efficient Image Transformers
سنة الظهور2021
الباحثونHugo Touvron، Matthieu Cord، Matthijs Douze، Francisco Massa، Alexandre Sablayrolles، Hervé Jégou
الجهةFacebook AI (Meta) / Sorbonne University
الورقة الأصليةTraining data-efficient image transformers & distillation through attention arXiv
نوع البياناتصور
المجالاتالرؤية الحاسوبية، تحليل الصور الطبية
الكلفة الحسابيةكلفة ViT نفسها + تمرير أمامي للمعلّم في التدريب.
حجم البياناتمتوسطة (ImageNet-1k في الورقة).

المشكلة التي تحلها

نتائج ViT الأصلية اعتمدت على تدريب مسبق ضخم (JFT-300M)، ما جعله غير عملي لمعظم المختبرات.

الخلفية والتطور

ما قبلها: محوّل الرؤية، الشبكة العصبية الالتفافية

  1. 2015

    قدم Hinton وزملاؤه تقطير المعرفة. [مرجع]

  2. 2021

    قدم Touvron وزملاؤه DeiT ورمز التقطير (ICML 2021). [مرجع]

الفكرة الأساسية

يضاف إلى [CLS] رمز ثانٍ (distillation token) له رأس مستقل. رأس [CLS] يتعلم من التسميات الحقيقية، ورأس التقطير يتعلم من تسميات المعلّم. يتفاعل الرمزان مع الرقع عبر الانتباه. في الاستدلال يُجمع خرجا الرأسين. وجد المؤلفون أن معلّماً من نوع CNN أعطى نتائج أفضل من معلّم Transformer، ربما لنقل الانحياز الاستقرائي.

مثال: مختبر لديه 20 ألف صورة جلدية: يدرّب CNN جيدة كمعلّم، ثم يقطّرها في DeiT صغير يستفيد من الانحياز المحلي للمعلّم.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
ViT backboneرقع + مشفّر
[CLS] token + headيتعلم من التسميات الحقيقية
Distillation token + headيتعلم من المعلّم
Teacher (CNN)مجمّد
Strong augmentationRandAugment وMixup وCutMix وغيرها

المعادلات

1. التقطير الصارم (Hard distillation)

$$\mathcal{L}=\tfrac12\,\mathcal{L}_{CE}\!\big(\psi(Z_s),y\big)+\tfrac12\,\mathcal{L}_{CE}\!\big(\psi(Z_s^{dist}),y_t\big),\qquad y_t=\arg\max_c Z_t(c)$$

الرموز
$Z_s,Z_s^{dist}$مخرجا رأسي الطالب
$Z_t$مخرج المعلّم
$\psi$Softmax
الأبعاد
قيمة قياسية
مثال عددي
إذا كانت الخسارة الأولى $0.4$ والثانية $0.8$ فإن $\mathcal{L}=0.6$.
علاقتها بالمعمارية
الصيغة التي اعتمدها المؤلفون افتراضياً.

2. التقطير الناعم (Soft distillation)

$$\mathcal{L}=(1-\lambda)\,\mathcal{L}_{CE}(\psi(Z_s),y)+\lambda\tau^2\,\mathrm{KL}\!\big(\psi(Z_s/\tau),\psi(Z_t/\tau)\big)$$

الرموز
$\tau$درجة الحرارة
$\lambda$وزن التقطير
الأبعاد
قيمة قياسية
مثال عددي
$\lambda=0.1$، $\tau=3$، CE=$0.5$، KL=$0.05$: $0.9(0.5)+0.1(9)(0.05)=0.495$.
علاقتها بالمعمارية
صيغة Hinton الكلاسيكية للمقارنة.

3. الاستدلال

$$p(c\mid x)=\tfrac12\big(\psi(Z_s)+\psi(Z_s^{dist})\big)$$

الرموز
$Z_s$خرج رأس رمز التصنيف
$Z_s^{dist}$خرج رأس رمز التقطير
$\psi$دالة Softmax
الأبعاد
توزيع احتمالي
مثال عددي
$(0.7,0.3)$ و$(0.5,0.5)$ ⇒ $(0.6,0.4)$.
علاقتها بالمعمارية
دمج متأخر للرأسين.

آلية العمل خطوة بخطوة

  1. درّب أو حمّل معلّماً قوياً.
  2. أضف رمز التقطير ورأسه إلى ViT.
  3. احسب تسميات المعلّم لكل دفعة.
  4. اجمع خسارة التسمية وخسارة المعلّم.
  5. استخدم زيادات بيانات قوية.
  6. ادمج الرأسين في الاستدلال.

المزايا والقيود

المزايا

  • تدريب ViT دون مجموعات ضخمة.
  • تقطير بسيط بلا تعديل جوهري للمعمارية.
  • نماذج صغيرة مناسبة للنشر.

القيود

  • يحتاج معلّماً جيداً وحسابات إضافية أثناء التدريب.
  • الاعتماد الكبير على وصفة زيادات البيانات.

متى تُستخدم؟ ومتى لا؟

تناسب

  • بيانات بحجم متوسط ورغبة في استخدام Transformer.
  • ضغط نموذج كبير إلى صغير.

لا تناسب

  • غياب معلّم جيد للمجال.
  • بيانات صغيرة جداً.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةتصنيف الصور بنماذج صغيرة.
تحليل الصور الطبيةتقطير نماذج طبية كبيرة إلى نماذج أخف.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

المعلّم هنا CNN صغيرة تُدرّب داخل المثال نفسه؛ في الورقة المعلّم RegNetY مدرّب مسبقاً على ImageNet.

Python (PyTorch)
# DeiT: ViT مع رمز تقطير ومعلّم CNN
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class PatchEmbed(nn.Module):
    """تقسيم الصورة إلى رقع P×P وإسقاط كل رقعة خطياً (Conv بخطوة P تكافئ ذلك تماماً)."""
    def __init__(self, img=16, P=4, C=1, D=32):
        super().__init__()
        self.N = (img // P) ** 2
        self.proj = nn.Conv2d(C, D, kernel_size=P, stride=P)
    def forward(self, x):                               # B×C×H×W → B×N×D
        return self.proj(x).flatten(2).transpose(1, 2)

class ViTBase(nn.Module):
    def __init__(self, img=16, P=4, D=32, depth=2, heads=4, n_classes=3):
        super().__init__()
        self.patch = PatchEmbed(img, P, 1, D)
        self.cls = nn.Parameter(torch.zeros(1, 1, D))                     # رمز التصنيف [CLS]
        self.pos = nn.Parameter(torch.randn(1, self.patch.N + 1, D) * 0.02)   # ترميز موضعي متعلَّم
        layer = nn.TransformerEncoderLayer(D, heads, 2 * D, dropout=0.0, activation='gelu', batch_first=True, norm_first=True)
        self.encoder = nn.TransformerEncoder(layer, depth, enable_nested_tensor=False)
        self.norm, self.head = nn.LayerNorm(D), nn.Linear(D, n_classes)
    def forward(self, x):
        z = self.patch(x)
        z = torch.cat([self.cls.expand(len(z), -1, -1), z], 1) + self.pos
        z = self.encoder(z)
        return self.head(self.norm(z[:, 0]))                              # التصنيف من رمز CLS

class DeiT(ViTBase):
    """ViT + رمز تقطير (distillation token) ورأس ثانٍ يتعلم من تسميات المعلّم."""
    def __init__(self, D=32, n_classes=3, **kw):
        super().__init__(D=D, n_classes=n_classes, **kw)
        self.dist = nn.Parameter(torch.zeros(1, 1, D))
        self.pos = nn.Parameter(torch.randn(1, self.patch.N + 2, D) * 0.02)
        self.head_dist = nn.Linear(D, n_classes)
    def forward(self, x):
        z = self.patch(x)
        B = len(z)
        z = torch.cat([self.cls.expand(B, -1, -1), self.dist.expand(B, -1, -1), z], 1) + self.pos
        z = self.norm(self.encoder(z))
        return self.head(z[:, 0]), self.head_dist(z[:, 1])

# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
    X = torch.randn(n, 1, 16, 16) * 0.3
    y = torch.randint(0, 3, (n,))
    pos = torch.randint(2, 14, (n,))
    r = torch.arange(2, 14)
    for i in range(n):
        if y[i] == 0:   X[i, 0, pos[i], 2:14] += 1.5
        elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
        else:           X[i, 0, r, (r + pos[i]) % 16] += 1.5
    return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = DeiT()

# 4) المعلّم: CNN صغيرة تُدرَّب أولاً (في DeiT الأصلية المعلّم RegNetY مدرَّب مسبقاً)
teacher = nn.Sequential(nn.Conv2d(1, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding=1), nn.ReLU(),
                        nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(32, 3))
t_opt = torch.optim.Adam(teacher.parameters(), lr=1e-2)
for epoch in range(6):
    for i in range(0, len(X_train), 64):
        xb, yb = X_train[i:i + 64], y_train[i:i + 64]
        t_loss = F.cross_entropy(teacher(xb), yb)
        t_opt.zero_grad(); t_loss.backward(); t_opt.step()
teacher.eval()
with torch.no_grad():
    print(f"teacher test accuracy = {(teacher(X_test).argmax(1) == y_test).float().mean().item():.3f}")

# 5) الطالب DeiT مع التقطير الصارم (hard distillation) ودالة الخسارة والمحسّن
opt = torch.optim.AdamW(model.parameters(), lr=3e-3, weight_decay=0.05)
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
    model.train()
    perm, total = torch.randperm(len(X_train)), 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        with torch.no_grad():
            y_t = teacher(xb).argmax(1)                               # تسمية المعلّم الصلبة
        out_cls, out_dist = model(xb)                                 # Forward Pass: رأسان
        loss = 0.5 * F.cross_entropy(out_cls, yb) + 0.5 * F.cross_entropy(out_dist, y_t)
        opt.zero_grad(); loss.backward(); opt.step()
        total += loss.item() * len(idx)
    if epoch % 4 == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم: متوسط احتمالات الرأسين (كما في الورقة)
model.eval()
with torch.no_grad():
    c, d = model(X_test)
    p = (c.softmax(-1) + d.softmax(-1)) / 2
    print(f"test accuracy = {(p.argmax(1) == y_test).float().mean().item():.3f}")
    print(f"agreement with teacher = {(p.argmax(1) == teacher(X_test).argmax(1)).float().mean().item():.3f}")

# 7) الاستدلال
with torch.no_grad():
    c, d = model(X_test[:1])
    print("predicted class:", ((c.softmax(-1) + d.softmax(-1)) / 2).argmax(1).item(), " true:", y_test[0].item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.6 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

teacher test accuracy = 1.000
test accuracy = 1.000
agreement with teacher = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 18٬534، teacher = 4٬899.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متوسط2021

محوّل الرؤية

Vision Transformer (ViT)

يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.

معماريات المحولات

متقدم2021

محوّل سوين

Swin Transformer

محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…

معماريات المحولات

مبتدئ1998

الشبكة العصبية الالتفافية

Convolutional Neural Network (CNN)

شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.

الأساسيات

أفكار بحثية

  • تقطير نموذج أساس طبي كبير إلى DeiT صغير يعمل على أجهزة المستشفيات.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مقارنة

    ما الفرق بين رمز [CLS] ورمز التقطير في DeiT؟

  2. مفهوم

    في التقطير الصارم، ما الهدف لرأس التقطير؟

  3. مفهوم

    أي نوع من المعلّمين وجد مؤلفو DeiT أنه يعطي نتائج أفضل؟

المراجع

  1. Touvron, H., Cord, M., Douze, M., Massa, F., Sablayrolles, A., & Jégou, H. (2021). Training data-efficient image transformers & distillation through attention. International Conference on Machine Learning (ICML), PMLR 139, 10347–10357. https://arxiv.org/abs/2012.12877

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the knowledge in a neural network. NIPS 2014 Deep Learning Workshop. https://arxiv.org/abs/1503.02531

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20