محوّل الرؤية (ViT)
Vision Transformer
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
نظرة عامة
| الاسم | محوّل الرؤية – Vision Transformer |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | Alexey Dosovitskiy، Lucas Beyer، Alexander Kolesnikov، Dirk Weissenborn، Xiaohua Zhai، Thomas Unterthiner، وآخرون |
| الجهة | Google Research, Brain Team |
| الورقة الأصلية | An image is worth 16x16 words: Transformers for image recognition at scale arXiv |
| نوع البيانات | صور |
| المجالات | الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | $O(N^2D)$ لكل طبقة حيث $N=HW/P^2$. |
| حجم البيانات | تدريب مسبق كبير (ImageNet-21k أو JFT-300M في الورقة)؛ أو DeiT مع ImageNet-1k وتقنيات زيادة قوية. |
المشكلة التي تحلها
كانت الشبكات الالتفافية هي المعيار في الرؤية، وأراد الباحثون معرفة هل يكفي Transformer "خام" بأقل انحياز استقرائي إذا توفرت بيانات تدريب مسبق كبيرة.
الخلفية والتطور
ما قبلها: المحوّل، الشبكة العصبية الالتفافية، الشبكة المتبقية
الفكرة الأساسية
صورة $H\times W$ تُقسم إلى $N=HW/P^2$ رقعة، كل رقعة تُسطّح وتُسقط خطياً إلى بُعد $D$. يُضاف رمز [CLS] متعلَّم وترميز موضعي، ثم يمر التسلسل عبر مشفّر Transformer، ويُصنَّف من تمثيل [CLS] النهائي. الانحياز المحلي للالتفاف غائب تقريباً، لذلك يتعلمه النموذج من البيانات.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
الكتلة تتكرر L مرة (12 في ViT-Base).
المكونات
| المكوّن | الوظيفة |
|---|---|
| Patch Embedding | إسقاط خطي لكل رقعة (يكافئ Conv بخطوة P) |
| [CLS] Token | رمز متعلَّم للتصنيف |
| Learnable Position Embedding | ترميز موضعي متعلَّم |
| Transformer Encoder | Pre-LN، MSA + MLP بـ GELU |
| MLP Head | رأس التصنيف |
المعادلات
1. تضمين الرقع
| $x_p^i$ | الرقعة i مسطحة بطول $P^2C$ |
| $E$ | مصفوفة الإسقاط |
| $E_{pos}$ | الترميز الموضعي |
2. كتلة المشفّر (Pre-LN)
| $z_L^0$ | تمثيل [CLS] في آخر طبقة |
آلية العمل خطوة بخطوة
- قسّم الصورة إلى رقع P×P.
- أسقط كل رقعة إلى D.
- أضف [CLS] والترميز الموضعي.
- مرّر عبر L كتلة مشفّر.
- صنّف من تمثيل [CLS].
- عملياً: درّب مسبقاً على بيانات كبيرة ثم اضبط على المهمة.
المزايا والقيود
المزايا
- معمارية بسيطة وموحدة مع NLP.
- مجال استقبال عام منذ الطبقة الأولى.
- تتوسع جيداً مع البيانات والنماذج الكبيرة.
القيود
- انحياز استقرائي ضعيف: تحتاج بيانات كثيرة أو تقنيات تدريب خاصة.
- تكلفة تربيعية في عدد الرقع تجعل الدقة العالية مكلفة.
- مخرجات أحادية المقياس، أقل ملاءمة مباشرة للكشف والتجزئة.
متى تُستخدم؟ ومتى لا؟
تناسب
- يتوفر نموذج مدرب مسبقاً للضبط الدقيق.
- مهام تصنيف وتمثيل صور على نطاق واسع.
لا تناسب
- بيانات صغيرة دون تدريب مسبق، حيث تتفوق CNN غالباً.
- صور عالية الدقة جداً دون آلية لتقليل الرموز.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | التصنيف ونماذج الأساس البصرية (مثل مشفّر CLIP). |
| تحليل الصور الطبية | تصنيف الصور الطبية ومشفّرات لنماذج مثل UNETR. |
| الذكاء الاصطناعي التوليدي | العمود الفقري لـ DiT في نماذج الانتشار. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Vision Transformer مصغّر — تصنيف خطوط اصطناعية
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class PatchEmbed(nn.Module):
"""تقسيم الصورة إلى رقع P×P وإسقاط كل رقعة خطياً (Conv بخطوة P تكافئ ذلك تماماً)."""
def __init__(self, img=16, P=4, C=1, D=32):
super().__init__()
self.N = (img // P) ** 2
self.proj = nn.Conv2d(C, D, kernel_size=P, stride=P)
def forward(self, x): # B×C×H×W → B×N×D
return self.proj(x).flatten(2).transpose(1, 2)
class ViT(nn.Module):
def __init__(self, img=16, P=4, D=32, depth=2, heads=4, n_classes=3):
super().__init__()
self.patch = PatchEmbed(img, P, 1, D)
self.cls = nn.Parameter(torch.zeros(1, 1, D)) # رمز التصنيف [CLS]
self.pos = nn.Parameter(torch.randn(1, self.patch.N + 1, D) * 0.02) # ترميز موضعي متعلَّم
layer = nn.TransformerEncoderLayer(D, heads, 2 * D, dropout=0.0, activation='gelu', batch_first=True, norm_first=True)
self.encoder = nn.TransformerEncoder(layer, depth, enable_nested_tensor=False)
self.norm, self.head = nn.LayerNorm(D), nn.Linear(D, n_classes)
def forward(self, x):
z = self.patch(x)
z = torch.cat([self.cls.expand(len(z), -1, -1), z], 1) + self.pos
z = self.encoder(z)
return self.head(self.norm(z[:, 0])) # التصنيف من رمز CLS
# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
X = torch.randn(n, 1, 16, 16) * 0.3
y = torch.randint(0, 3, (n,))
pos = torch.randint(2, 14, (n,))
r = torch.arange(2, 14)
for i in range(n):
if y[i] == 0: X[i, 0, pos[i], 2:14] += 1.5
elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
else: X[i, 0, r, (r + pos[i]) % 16] += 1.5
return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = ViT()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.0 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 18٬371.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصوّر المحولات
- مقارن المعماريات
- مختبر الرؤية الحاسوبية قسم آخر في الموقع
- أطلس نماذج الذكاء الاصطناعي قسم آخر في الموقع
معماريات مرتبطة
محوّلات الصور كفؤة البيانات
Data-efficient Image Transformers (DeiT)
طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات تدريب مسبق ضخمة.
محوّل سوين
Swin Transformer
محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
الشبكة العصبية الالتفافية
Convolutional Neural Network (CNN)
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
يو-نيتر
UNETR
نموذج تجزئة ثلاثي الأبعاد مشفّره ViT خالص على رقع حجمية 16³، تُؤخذ تمثيلات من طبقاته (3، 6، 9، 12) وتُعاد تشكيلها وترفع بالالتفاف المعكوس لتغذي مفككاً التفافياً عبر وصلا…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة ViT وCNN في تصنيف صور الأشعة مع بيانات محدودة وتحليل أثر التدريب المسبق الذاتي الإشراف.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
كم رمزاً يدخل مشفّر ViT لصورة 224×224 برقع 16×16 مع رمز [CLS]؟
لماذا؟ $224^2/16^2=196$ ثم +1.
لماذا يحتاج ViT عادةً بيانات أكثر من CNN مماثلة؟
لماذا؟ CNN تبني المحلية في المعمارية، وViT يتعلمها من البيانات.
ما وظيفة رمز [CLS] في ViT؟
لماذا؟ يتبادل الانتباه مع كل الرقع عبر الطبقات.
المراجع
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762
Touvron, H., Cord, M., Douze, M., Massa, F., Sablayrolles, A., & Jégou, H. (2021). Training data-efficient image transformers & distillation through attention. International Conference on Machine Learning (ICML), PMLR 139, 10347–10357. https://arxiv.org/abs/2012.12877
Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swin Transformer: Hierarchical vision transformer using shifted windows. IEEE/CVF International Conference on Computer Vision (ICCV), 9992–10002. https://doi.org/10.1109/ICCV48922.2021.00986
Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H. R., & Xu, D. (2022). UNETR: Transformers for 3D medical image segmentation. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 1748–1758. https://doi.org/10.1109/WACV51458.2022.00181
Hendrycks, D., & Gimpel, K. (2016). Gaussian error linear units (GELUs). arXiv preprint. https://arxiv.org/abs/1606.08415
