البحث المعماري القابل للاشتقاق (DARTS)
Differentiable Architecture Search
يجعل البحث المعماري مسألة تحسين مستمرة: كل حافة في الخلية تحسب خليطاً موزوناً من كل العمليات الممكنة بأوزان Softmax لمعاملات معمارية α، فتُحسّن α بالتدرج على بيانات التحقق والأوزان على بيانات التدريب، ثم تُختار أقوى عملية لكل حافة.
نظرة عامة
| الاسم | البحث المعماري القابل للاشتقاق – Differentiable Architecture Search |
|---|---|
| سنة الظهور | 2019 |
| الباحثون | Hanxiao Liu، Karen Simonyan، Yiming Yang |
| الجهة | Carnegie Mellon University / DeepMind |
| الورقة الأصلية | DARTS: Differentiable architecture search arXiv |
| نوع البيانات | صور، نصوص |
| المجالات | الرؤية الحاسوبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | تمرير لكل العمليات على كل حافة؛ ذاكرة عالية. |
| حجم البيانات | متوسطة (CIFAR-10 في الورقة). |
المشكلة التي تحلها
طرق NAS المبنية على التعلم المعزز أو التطور تقيّم آلاف المعماريات المنفصلة بتكلفة ضخمة.
الخلفية والتطور
ما قبلها: البحث عن المعماريات العصبية، الشبكة العصبية الالتفافية
الفكرة الأساسية
بدلاً من اختيار عملية واحدة لكل حافة، نستخدم $\bar o(x)=\sum_o\mathrm{softmax}(\alpha)_o\,o(x)$ فتصبح الشبكة "فائقة" وقابلة للاشتقاق بالنسبة إلى α. نتناوب: خطوة على α لتقليل خسارة التحقق، وخطوة على w لتقليل خسارة التدريب. في النهاية نأخذ argmax لكل حافة (مع استبعاد none)، ونبني شبكة أعمق ونعيد تدريبها.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Supernet cell | DAG بعقد وسيطة |
| Mixed operation | Softmax(α) على العمليات |
| Architecture parameters α | |
| Bilevel optimization | تقريب أول أو ثانٍ |
| Discretization | argmax ثم إعادة تدريب |
المعادلات
1. العملية المختلطة
| $\mathcal{O}$ | مجموعة العمليات |
| $\alpha^{(i,j)}$ | معاملات الحافة |
2. المسألة ثنائية المستوى
| $\alpha$ | معاملات المعمارية (أوزان العمليات) |
| $w$ | أوزان الشبكة |
| $\mathcal L_{train},\mathcal L_{val}$ | خسارتا التدريب والتحقق |
3. التقريب من الرتبة الثانية
| $\xi$ | خطوة افتراضية |
آلية العمل خطوة بخطوة
- عرّف الخلية والعمليات.
- هيئ α صغيرة.
- تناوب تحديث α (تحقق) وw (تدريب).
- اشتق الخلية المنفصلة.
- ابنِ شبكة أعمق وأعد التدريب.
- قيّم على الاختبار.
المزايا والقيود
المزايا
- تكلفة بحث أقل بكثير من RL والتطور.
- بسيط التنفيذ بالتدرج.
القيود
- انهيار نحو التخطي والتجميع (عمليات بلا معاملات) في بحث طويل.
- فجوة بين الشبكة الفائقة والمشتقة.
- ذاكرة عالية لأن كل العمليات تُحسب.
متى تُستخدم؟ ومتى لا؟
تناسب
- بحث سريع في فضاء خلايا صغيرة.
لا تناسب
- فضاءات ضخمة بذاكرة محدودة.
- حين لا يمكن تحمل عدم الاستقرار.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | خلايا تصنيف الصور. |
| معالجة اللغة الطبيعية | خلايا متكررة لنمذجة اللغة (في الورقة). |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
الخلية صغيرة جداً والبحث قصير، لذلك قيم α متقاربة؛ المثال يوضح الآلية لا يبرهن على أفضلية عملية بعينها.
# DARTS مصغّر: عمليات مختلطة وتحديث متناوب لـ α وw
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
OPS = {
'none': lambda C: Zero(),
'skip': lambda C: nn.Identity(),
'conv3': lambda C: nn.Sequential(nn.ReLU(), nn.Conv2d(C, C, 3, padding=1, bias=False), nn.BatchNorm2d(C, affine=False)),
'conv5': lambda C: nn.Sequential(nn.ReLU(), nn.Conv2d(C, C, 5, padding=2, bias=False), nn.BatchNorm2d(C, affine=False)),
'dil3': lambda C: nn.Sequential(nn.ReLU(), nn.Conv2d(C, C, 3, padding=2, dilation=2, bias=False), nn.BatchNorm2d(C, affine=False)),
'maxpool': lambda C: nn.MaxPool2d(3, 1, 1),
}
class Zero(nn.Module):
def forward(self, x): return x * 0.
class MixedOp(nn.Module):
"""ō(x) = Σ_o softmax(α)_o · o(x): الاسترخاء المستمر لاختيار عملية واحدة."""
def __init__(self, C):
super().__init__(); self.ops = nn.ModuleList([OPS[k](C) for k in OPS])
def forward(self, x, w):
return sum(wi * op(x) for wi, op in zip(w, self.ops))
class Cell(nn.Module):
"""خلية بعقدتين وسيطتين: العقدة 1 من الدخل، والعقدة 2 من الدخل ومن العقدة 1 (3 حواف)."""
def __init__(self, C):
super().__init__(); self.edges = nn.ModuleList([MixedOp(C) for _ in range(3)])
def forward(self, x, alphas):
w = alphas.softmax(-1)
n1 = self.edges[0](x, w[0])
n2 = self.edges[1](x, w[1]) + self.edges[2](n1, w[2])
return torch.cat([n1, n2], 1)
class SearchNet(nn.Module):
def __init__(self, C=8, n_classes=3):
super().__init__()
self.stem = nn.Sequential(nn.Conv2d(1, C, 3, padding=1, bias=False), nn.BatchNorm2d(C))
self.cell = Cell(C)
self.head = nn.Linear(2 * C, n_classes)
self.alphas = nn.Parameter(1e-3 * torch.randn(3, len(OPS))) # معاملات المعمارية α
def weights(self): return [p for n, p in self.named_parameters() if n != 'alphas']
def forward(self, x):
return self.head(self.cell(self.stem(x), self.alphas).mean((2, 3)))
# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
X = torch.randn(n, 1, 16, 16) * 0.3
y = torch.randint(0, 3, (n,))
pos = torch.randint(2, 14, (n,))
r = torch.arange(2, 14)
for i in range(n):
if y[i] == 0: X[i, 0, pos[i], 2:14] += 1.5
elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
else: X[i, 0, r, (r + pos[i]) % 16] += 1.5
return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = SearchNet()
# 4) المحسّنان: SGD/Adam للأوزان w على بيانات التدريب، وAdam لمعاملات المعمارية α على بيانات التحقق
X_tr, y_tr, X_val, y_val = X_train[:450], y_train[:450], X_train[450:], y_train[450:]
w_opt = torch.optim.Adam(model.weights(), lr=3e-3)
a_opt = torch.optim.Adam([model.alphas], lr=1e-2, betas=(0.5, 0.999), weight_decay=1e-3)
# 5) البحث: تقريب الدرجة الأولى للمسألة ثنائية المستوى (تبادل تحديث α ثم w)
for epoch in range(8):
for i in range(0, len(X_tr), 32):
j = torch.randint(0, len(X_val), (32,))
a_loss = F.cross_entropy(model(X_val[j]), y_val[j]) # ∇_α L_val
a_opt.zero_grad(); a_loss.backward(); a_opt.step()
w_loss = F.cross_entropy(model(X_tr[i:i + 32]), y_tr[i:i + 32]) # ∇_w L_train
w_opt.zero_grad(); w_loss.backward(); w_opt.step()
if epoch % 2 == 0 or epoch == 7:
print(f"epoch {epoch} train loss={w_loss.item():.3f} val loss={a_loss.item():.3f}")
# 6) اشتقاق المعمارية المنفصلة: أقوى عملية غير 'none' لكل حافة
names = list(OPS)
with torch.no_grad():
probs = model.alphas.softmax(-1)
for e, p in enumerate(probs):
best = max((k for k in range(len(names)) if names[k] != 'none'), key=lambda k: p[k])
print(f"edge {e}: chosen op = {names[best]:8s} | softmax(α) = {[round(v, 2) for v in p.tolist()]}")
model.eval()
with torch.no_grad():
print(f"supernet test accuracy = {(model(X_test).argmax(1) == y_test).float().mean().item():.3f}")
# 7) ملاحظة: في DARTS الكاملة تُبنى شبكة أعمق من الخلية المشتقة وتُدرّب من الصفر قبل التقرير النهائي
نُفّذ هذا الكود بتاريخ 2026-11-20 في 6.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
supernet test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 8٬413.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
البحث عن المعماريات العصبية
Neural Architecture Search (NAS)
أتمتة تصميم المعماريات: فضاء بحث يحدد المعماريات الممكنة، واستراتيجية بحث (تعلم معزز، تطور، بايزي، تدرج) تقترح مرشحين، واستراتيجية لتقدير أدائهم.
الشبكات الفائقة
Hypernetworks
شبكة صغيرة (الشبكة الفائقة) تولّد أوزان شبكة أخرى (الشبكة الهدف)، فتصبح الأوزان دالة لمدخل شرطي مثل هوية المهمة أو رقم الطبقة.
الشبكة العصبية الالتفافية
Convolutional Neural Network (CNN)
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- DARTS مع قيود الطاقة لتصميم نماذج تجزئة طبية تعمل على أجهزة طرفية.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الذي يجعل DARTS قابلاً للاشتقاق؟
لماذا؟ استرخاء مستمر.
على أي بيانات تُحدّث معاملات المعمارية α؟
لماذا؟ w على التدريب وα على التحقق.
ما المشكلة المعروفة في DARTS عند البحث الطويل؟
لماذا؟ درستها أعمال لاحقة مثل P-DARTS.
المراجع
Liu, H., Simonyan, K., & Yang, Y. (2019). DARTS: Differentiable architecture search. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1806.09055
Chen, X., Xie, L., Wu, J., & Tian, Q. (2019). Progressive differentiable architecture search: Bridging the depth gap between search and evaluation. IEEE/CVF International Conference on Computer Vision (ICCV), 1294–1303. https://doi.org/10.1109/ICCV.2019.00138
Elsken, T., Metzen, J. H., & Hutter, F. (2019). Neural architecture search: A survey. Journal of Machine Learning Research, 20(55), 1–21. https://arxiv.org/abs/1808.05377
Zoph, B., & Le, Q. V. (2017). Neural architecture search with reinforcement learning. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1611.01578
