كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متوسطمعماريات المحولات

محوّل الرؤية (ViT)

Vision Transformer

يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.

نظرة عامة

الاسممحوّل الرؤية – Vision Transformer
سنة الظهور2021
الباحثونAlexey Dosovitskiy، Lucas Beyer، Alexander Kolesnikov، Dirk Weissenborn، Xiaohua Zhai، Thomas Unterthiner، وآخرون
الجهةGoogle Research, Brain Team
الورقة الأصليةAn image is worth 16x16 words: Transformers for image recognition at scale arXiv
نوع البياناتصور
المجالاتالرؤية الحاسوبية، تحليل الصور الطبية
الكلفة الحسابية$O(N^2D)$ لكل طبقة حيث $N=HW/P^2$.
حجم البياناتتدريب مسبق كبير (ImageNet-21k أو JFT-300M في الورقة)؛ أو DeiT مع ImageNet-1k وتقنيات زيادة قوية.

المشكلة التي تحلها

كانت الشبكات الالتفافية هي المعيار في الرؤية، وأراد الباحثون معرفة هل يكفي Transformer "خام" بأقل انحياز استقرائي إذا توفرت بيانات تدريب مسبق كبيرة.

الخلفية والتطور

ما قبلها: المحوّل، الشبكة العصبية الالتفافية، الشبكة المتبقية

  1. 2017

    Transformer في معالجة اللغة. [مرجع]

  2. 2021

    قدم Dosovitskiy وزملاؤه ViT (arXiv أكتوبر 2020، ثم ICLR 2021) مع تدريب مسبق على مجموعات كبيرة. [مرجع]

  3. 2021

    أظهر DeiT إمكان تدريب ViT على ImageNet وحدها مع تقطير المعرفة. [مرجع]

  4. 2021

    أضاف Swin بنية هرمية ونوافذ محلية. [مرجع]

الفكرة الأساسية

صورة $H\times W$ تُقسم إلى $N=HW/P^2$ رقعة، كل رقعة تُسطّح وتُسقط خطياً إلى بُعد $D$. يُضاف رمز [CLS] متعلَّم وترميز موضعي، ثم يمر التسلسل عبر مشفّر Transformer، ويُصنَّف من تمثيل [CLS] النهائي. الانحياز المحلي للالتفاف غائب تقريباً، لذلك يتعلمه النموذج من البيانات.

مثال: صورة 224×224 برقع 16×16 تصبح 196 رمزاً (+[CLS] = 197)، تماماً كجملة من 197 كلمة.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

الكتلة تتكرر L مرة (12 في ViT-Base).

المكونات

المكوّنالوظيفة
Patch Embeddingإسقاط خطي لكل رقعة (يكافئ Conv بخطوة P)
[CLS] Tokenرمز متعلَّم للتصنيف
Learnable Position Embeddingترميز موضعي متعلَّم
Transformer EncoderPre-LN، MSA + MLP بـ GELU
MLP Headرأس التصنيف

المعادلات

1. تضمين الرقع

$$z_0=\left[x_{class};\,x_p^{1}E;\,x_p^{2}E;\dots;x_p^{N}E\right]+E_{pos},\qquad N=\frac{HW}{P^2}$$

الرموز
$x_p^i$الرقعة i مسطحة بطول $P^2C$
$E$مصفوفة الإسقاط
$E_{pos}$الترميز الموضعي
الأبعاد
$E\in\mathbb{R}^{(P^2C)\times D}$، $z_0\in\mathbb{R}^{(N+1)\times D}$
مثال عددي
$224\times224\times3$ مع $P=16$: $N=196$، وطول الرقعة المسطحة $16^2\times3=768$.
علاقتها بالمعمارية
تحول الصورة إلى تسلسل رموز.

2. كتلة المشفّر (Pre-LN)

$$z'_\ell=\mathrm{MSA}(\mathrm{LN}(z_{\ell-1}))+z_{\ell-1},\quad z_\ell=\mathrm{MLP}(\mathrm{LN}(z'_\ell))+z'_\ell,\quad y=\mathrm{LN}(z_L^{0})$$

الرموز
$z_L^0$تمثيل [CLS] في آخر طبقة
الأبعاد
$z_\ell\in\mathbb{R}^{(N+1)\times D}$
مثال عددي
ViT-Base: $L=12$، $D=768$، 12 رأساً، ونحو 86 مليون معامل وفق الورقة.
علاقتها بالمعمارية
التطبيع قبل الطبقة الفرعية يجعل التدريب أكثر استقراراً.

آلية العمل خطوة بخطوة

  1. قسّم الصورة إلى رقع P×P.
  2. أسقط كل رقعة إلى D.
  3. أضف [CLS] والترميز الموضعي.
  4. مرّر عبر L كتلة مشفّر.
  5. صنّف من تمثيل [CLS].
  6. عملياً: درّب مسبقاً على بيانات كبيرة ثم اضبط على المهمة.

المزايا والقيود

المزايا

  • معمارية بسيطة وموحدة مع NLP.
  • مجال استقبال عام منذ الطبقة الأولى.
  • تتوسع جيداً مع البيانات والنماذج الكبيرة.

القيود

  • انحياز استقرائي ضعيف: تحتاج بيانات كثيرة أو تقنيات تدريب خاصة.
  • تكلفة تربيعية في عدد الرقع تجعل الدقة العالية مكلفة.
  • مخرجات أحادية المقياس، أقل ملاءمة مباشرة للكشف والتجزئة.

متى تُستخدم؟ ومتى لا؟

تناسب

  • يتوفر نموذج مدرب مسبقاً للضبط الدقيق.
  • مهام تصنيف وتمثيل صور على نطاق واسع.

لا تناسب

  • بيانات صغيرة دون تدريب مسبق، حيث تتفوق CNN غالباً.
  • صور عالية الدقة جداً دون آلية لتقليل الرموز.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةالتصنيف ونماذج الأساس البصرية (مثل مشفّر CLIP).
تحليل الصور الطبيةتصنيف الصور الطبية ومشفّرات لنماذج مثل UNETR.
الذكاء الاصطناعي التوليديالعمود الفقري لـ DiT في نماذج الانتشار.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Vision Transformer مصغّر — تصنيف خطوط اصطناعية
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class PatchEmbed(nn.Module):
    """تقسيم الصورة إلى رقع P×P وإسقاط كل رقعة خطياً (Conv بخطوة P تكافئ ذلك تماماً)."""
    def __init__(self, img=16, P=4, C=1, D=32):
        super().__init__()
        self.N = (img // P) ** 2
        self.proj = nn.Conv2d(C, D, kernel_size=P, stride=P)
    def forward(self, x):                               # B×C×H×W → B×N×D
        return self.proj(x).flatten(2).transpose(1, 2)

class ViT(nn.Module):
    def __init__(self, img=16, P=4, D=32, depth=2, heads=4, n_classes=3):
        super().__init__()
        self.patch = PatchEmbed(img, P, 1, D)
        self.cls = nn.Parameter(torch.zeros(1, 1, D))                     # رمز التصنيف [CLS]
        self.pos = nn.Parameter(torch.randn(1, self.patch.N + 1, D) * 0.02)   # ترميز موضعي متعلَّم
        layer = nn.TransformerEncoderLayer(D, heads, 2 * D, dropout=0.0, activation='gelu', batch_first=True, norm_first=True)
        self.encoder = nn.TransformerEncoder(layer, depth, enable_nested_tensor=False)
        self.norm, self.head = nn.LayerNorm(D), nn.Linear(D, n_classes)
    def forward(self, x):
        z = self.patch(x)
        z = torch.cat([self.cls.expand(len(z), -1, -1), z], 1) + self.pos
        z = self.encoder(z)
        return self.head(self.norm(z[:, 0]))                              # التصنيف من رمز CLS

# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
    X = torch.randn(n, 1, 16, 16) * 0.3
    y = torch.randint(0, 3, (n,))
    pos = torch.randint(2, 14, (n,))
    r = torch.arange(2, 14)
    for i in range(n):
        if y[i] == 0:   X[i, 0, pos[i], 2:14] += 1.5
        elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
        else:           X[i, 0, r, (r + pos[i]) % 16] += 1.5
    return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = ViT()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.0 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 18٬371.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متوسط2021

محوّلات الصور كفؤة البيانات

Data-efficient Image Transformers (DeiT)

طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات تدريب مسبق ضخمة.

معماريات المحولات

متقدم2021

محوّل سوين

Swin Transformer

محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…

معماريات المحولات

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

مبتدئ1998

الشبكة العصبية الالتفافية

Convolutional Neural Network (CNN)

شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.

الأساسيات

متقدم2022

يو-نيتر

UNETR

نموذج تجزئة ثلاثي الأبعاد مشفّره ViT خالص على رقع حجمية 16³، تُؤخذ تمثيلات من طبقاته (3، 6، 9، 12) وتُعاد تشكيلها وترفع بالالتفاف المعكوس لتغذي مفككاً التفافياً عبر وصلا…

المعماريات الهجينةمعماريات المحولات

أفكار بحثية

  • مقارنة ViT وCNN في تصنيف صور الأشعة مع بيانات محدودة وتحليل أثر التدريب المسبق الذاتي الإشراف.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    كم رمزاً يدخل مشفّر ViT لصورة 224×224 برقع 16×16 مع رمز [CLS]؟

  2. مفهوم

    لماذا يحتاج ViT عادةً بيانات أكثر من CNN مماثلة؟

  3. مفهوم

    ما وظيفة رمز [CLS] في ViT؟

المراجع

  1. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Touvron, H., Cord, M., Douze, M., Massa, F., Sablayrolles, A., & Jégou, H. (2021). Training data-efficient image transformers & distillation through attention. International Conference on Machine Learning (ICML), PMLR 139, 10347–10357. https://arxiv.org/abs/2012.12877

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swin Transformer: Hierarchical vision transformer using shifted windows. IEEE/CVF International Conference on Computer Vision (ICCV), 9992–10002. https://doi.org/10.1109/ICCV48922.2021.00986

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  5. Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H. R., & Xu, D. (2022). UNETR: Transformers for 3D medical image segmentation. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 1748–1758. https://doi.org/10.1109/WACV51458.2022.00181

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  6. Hendrycks, D., & Gimpel, K. (2016). Gaussian error linear units (GELUs). arXiv preprint. https://arxiv.org/abs/1606.08415

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20