يو-نت بالانتباه
Attention U-Net
U-Net مع بوابات انتباه (attention gates) على وصلات التخطي تتعلم إبراز المناطق ذات الصلة وكتم الخلفية قبل دمج السمات.
نظرة عامة
| الاسم | يو-نت بالانتباه – Attention U-Net |
|---|---|
| سنة الظهور | 2018 |
| الباحثون | Ozan Oktay، Jo Schlemper، Loic Le Folgoc وآخرون |
| الورقة الأصلية | Attention U-Net: Learning where to look for the pancreas arXiv |
| نوع البيانات | صور |
| المجالات | تحليل الصور الطبية |
المشكلة التي تحلها
الأعضاء الصغيرة مثل البنكرياس تشغل جزءاً صغيراً من الصورة، فتنقل وصلات التخطي كثيراً من سمات الخلفية غير المفيدة.
الخلفية والتطور
ما قبلها: يو-نت
- 2018
قُدمت في MIDL 2018 وجُرّبت على تجزئة البنكرياس في صور CT. [مرجع]
الفكرة الأساسية
قبل ربط خريطة المشفّر $x$ بفك التشفير، تُحسب خريطة أوزان $\alpha\in[0,1]$ لكل بكسل باستخدام إشارة بوابة $g$ من المستوى الأعمق. تُضرب $x$ بـ $\alpha$ فتمر المناطق المهمة فقط.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Encoder/Decoder | كما في U-Net |
| Gating Signal g | سمات المستوى الأعمق |
| Attention Gate | دمج جمعي ثم Sigmoid |
| Skip Connection | ربط السمات بعد الضرب بالأوزان |
المعادلات
1. بوابة الانتباه
| $x_i$ | سمات المشفّر عند البكسل i |
| $g_i$ | إشارة البوابة |
| $\sigma_1$ | ReLU |
| $\sigma_2$ | Sigmoid |
آلية العمل خطوة بخطوة
- يمر الدخل في مشفّر U-Net.
- في كل مستوى لفك التشفير تُحسب إشارة البوابة.
- تُحسب خريطة α من x وg.
- تضرب سمات التخطي بـ α.
- تُربط بفك التشفير ويستمر رفع الدقة.
المزايا والقيود
المزايا
- تحسّن تجزئة الأهداف الصغيرة.
- إضافة خفيفة على U-Net.
- تعطي خرائط انتباه قابلة للعرض.
القيود
- تزيد التكلفة قليلاً.
- الفائدة تعتمد على المهمة وليست مضمونة.
متى تُستخدم؟ ومتى لا؟
تناسب
- تجزئة أعضاء صغيرة أو آفات في خلفية كبيرة.
لا تناسب
- عندما تشغل الأهداف معظم الصورة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| تحليل الصور الطبية | تجزئة البنكرياس والآفات الصغيرة في CT وMRI. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Attention U-Net مصغّرة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
def block(ci, co):
return nn.Sequential(nn.Conv2d(ci, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU(),
nn.Conv2d(co, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU())
class AttentionGate(nn.Module):
def __init__(self, cx, cg, ci):
super().__init__()
self.wx, self.wg = nn.Conv2d(cx, ci, 1), nn.Conv2d(cg, ci, 1)
self.psi = nn.Conv2d(ci, 1, 1)
def forward(self, x, g):
a = torch.sigmoid(self.psi(F.relu(self.wx(x) + self.wg(g)))) # B×1×H×W
return x * a
class AttUNet(nn.Module):
def __init__(self, c=1, k=2):
super().__init__()
self.e1, self.e2, self.mid = block(c, 8), block(8, 16), block(16, 32)
self.up2, self.ag2, self.d2 = nn.ConvTranspose2d(32, 16, 2, 2), AttentionGate(16, 16, 8), block(32, 16)
self.up1, self.ag1, self.d1 = nn.ConvTranspose2d(16, 8, 2, 2), AttentionGate(8, 8, 4), block(16, 8)
self.out = nn.Conv2d(8, k, 1)
def forward(self, x):
e1 = self.e1(x); e2 = self.e2(F.max_pool2d(e1, 2)); m = self.mid(F.max_pool2d(e2, 2))
u2 = self.up2(m); d2 = self.d2(torch.cat([u2, self.ag2(e2, u2)], 1))
u1 = self.up1(d2); d1 = self.d1(torch.cat([u1, self.ag1(e1, u1)], 1))
return self.out(d1)
# 3) إعداد البيانات
# أهداف صغيرة (دوائر بنصف قطر 2–3) في خلفية فيها مربعات مشتتة
def make(n, S=32):
yy, xx = torch.meshgrid(torch.arange(S), torch.arange(S), indexing='ij')
cx, cy, r = torch.randint(6, 26, (n,)), torch.randint(6, 26, (n,)), torch.randint(2, 4, (n,))
mask = ((xx[None] - cx[:, None, None]) ** 2 + (yy[None] - cy[:, None, None]) ** 2 <= r[:, None, None] ** 2).long()
X = mask[:, None].float() * 1.5 + 0.4 * torch.randn(n, 1, S, S)
for i in range(n):
a, b = torch.randint(0, S - 6, (2,)).tolist()
X[i, 0, a:a + 6, b:b + 6] += 0.6 # مشتّت: مربع أخفت
return X, mask
X_train, y_train = make(256)
X_test, y_test = make(64)
model = AttUNet()
# 4) الخسارة: CE موزونة لأن الهدف صغير
loss_fn = nn.CrossEntropyLoss(weight=torch.tensor([1.0, 5.0]))
opt = torch.optim.Adam(model.parameters(), lr=1e-2)
# 5) حلقة التدريب
for epoch in range(8):
model.train()
for i in range(0, len(X_train), 32):
xb, yb = X_train[i:i + 32], y_train[i:i + 32]
loss = loss_fn(model(xb), yb)
opt.zero_grad(); loss.backward(); opt.step()
print(f"epoch {epoch} loss={loss.item():.4f}")
# 6) التقييم بمعامل Dice
model.eval()
with torch.no_grad():
pred = model(X_test).argmax(1)
inter = ((pred == 1) & (y_test == 1)).sum().item()
print(f"test Dice = {2 * inter / max(1, (pred == 1).sum().item() + (y_test == 1).sum().item()):.3f}")
# 7) الاستدلال
with torch.no_grad():
print("foreground pixels in first test image:", int(model(X_test[:1]).argmax(1).sum()))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test Dice = 0.974
عدد المعاملات القابلة للتدريب في المثال: model = 30٬008.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مختبر تحليل الصور الطبية قسم آخر في الموقع
معماريات مرتبطة
يو-نت
U-Net
معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.
ترانس-يو-نت
TransUNet
نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وص…
الشبكات الالتفافية المعززة بالانتباه
Attention-based CNN (Attention CNN)
شبكات التفافية تضيف وحدات انتباه خفيفة تعيد وزن القنوات (أي السمات أهم) أو المواقع (أين ينظر النموذج)، بتكلفة حسابية صغيرة جداً.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- تقييم بوابات الانتباه مقابل Swin-UNETR في تجزئة الآفات الصغيرة مع تحليل الحساسية حسب حجم الآفة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
أين تُوضع بوابات الانتباه في Attention U-Net؟
لماذا؟ تفلتر سمات المشفّر قبل دمجها.
ما مدى قيم معاملات الانتباه α في البوابة؟
لماذا؟ آخر دالة في البوابة هي Sigmoid.
لأي نوع من المهام تفيد بوابات الانتباه أكثر؟
لماذا؟ هذا هو الدافع الأصلي في البحث (البنكرياس في CT).
المراجع
Oktay, O., Schlemper, J., Le Folgoc, L., Lee, M., Heinrich, M., Misawa, K., et al. (2018). Attention U-Net: Learning where to look for the pancreas. Medical Imaging with Deep Learning (MIDL). https://arxiv.org/abs/1804.03999
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS 9351, 234–241. https://doi.org/10.1007/978-3-319-24574-4_28
