كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

بحثيالمعماريات المتخصصة

البحث المعماري القابل للاشتقاق (DARTS)

Differentiable Architecture Search

يجعل البحث المعماري مسألة تحسين مستمرة: كل حافة في الخلية تحسب خليطاً موزوناً من كل العمليات الممكنة بأوزان Softmax لمعاملات معمارية α، فتُحسّن α بالتدرج على بيانات التحقق والأوزان على بيانات التدريب، ثم تُختار أقوى عملية لكل حافة.

نظرة عامة

الاسمالبحث المعماري القابل للاشتقاق – Differentiable Architecture Search
سنة الظهور2019
الباحثونHanxiao Liu، Karen Simonyan، Yiming Yang
الجهةCarnegie Mellon University / DeepMind
الورقة الأصليةDARTS: Differentiable architecture search arXiv
نوع البياناتصور، نصوص
المجالاتالرؤية الحاسوبية، معالجة اللغة الطبيعية
الكلفة الحسابيةتمرير لكل العمليات على كل حافة؛ ذاكرة عالية.
حجم البياناتمتوسطة (CIFAR-10 في الورقة).

المشكلة التي تحلها

طرق NAS المبنية على التعلم المعزز أو التطور تقيّم آلاف المعماريات المنفصلة بتكلفة ضخمة.

الخلفية والتطور

ما قبلها: البحث عن المعماريات العصبية، الشبكة العصبية الالتفافية

  1. 2019

    DARTS (ICLR 2019) مع تقريب من الرتبة الأولى والثانية. [مرجع]

  2. 2019

    P-DARTS: زيادة العمق تدريجياً لسد الفجوة بين البحث والتقييم. [مرجع]

الفكرة الأساسية

بدلاً من اختيار عملية واحدة لكل حافة، نستخدم $\bar o(x)=\sum_o\mathrm{softmax}(\alpha)_o\,o(x)$ فتصبح الشبكة "فائقة" وقابلة للاشتقاق بالنسبة إلى α. نتناوب: خطوة على α لتقليل خسارة التحقق، وخطوة على w لتقليل خسارة التدريب. في النهاية نأخذ argmax لكل حافة (مع استبعاد none)، ونبني شبكة أعمق ونعيد تدريبها.

مثال: بحث خلية التفافية لتصنيف صور مجهرية: كل حافة تختار بين conv3 وconv5 والالتفاف المتسع والتجميع والتخطي.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Supernet cellDAG بعقد وسيطة
Mixed operationSoftmax(α) على العمليات
Architecture parameters α
Bilevel optimizationتقريب أول أو ثانٍ
Discretizationargmax ثم إعادة تدريب

المعادلات

1. العملية المختلطة

$$\bar o^{(i,j)}(x)=\sum_{o\in\mathcal{O}}\frac{\exp\big(\alpha_o^{(i,j)}\big)}{\sum_{o\'\in\mathcal{O}}\exp\big(\alpha_{o\'}^{(i,j)}\big)}\,o(x)$$

الرموز
$\mathcal{O}$مجموعة العمليات
$\alpha^{(i,j)}$معاملات الحافة
الأبعاد
نفس شكل $o(x)$
مثال عددي
$\alpha=(1,0,0)$ لثلاث عمليات ⇒ أوزان $(0.576,0.212,0.212)$.
علاقتها بالمعمارية
استرخاء مستمر للاختيار المنفصل.

2. المسألة ثنائية المستوى

$$\min_\alpha\;\mathcal{L}_{val}\big(w^{*}(\alpha),\alpha\big)\quad\text{s.t.}\quad w^{*}(\alpha)=\arg\min_w\mathcal{L}_{train}(w,\alpha)$$

الرموز
$\alpha$معاملات المعمارية (أوزان العمليات)
$w$أوزان الشبكة
$\mathcal L_{train},\mathcal L_{val}$خسارتا التدريب والتحقق
الأبعاد
تحسين
مثال عددي
التقريب الأول يتجاهل اعتماد $w^*$ على α ويحدّث α بـ $\nabla_\alpha\mathcal{L}_{val}(w,\alpha)$ مباشرة.
علاقتها بالمعمارية
جوهر الكفاءة.

3. التقريب من الرتبة الثانية

$$\nabla_\alpha\mathcal{L}_{val}\big(w-\xi\nabla_w\mathcal{L}_{train}(w,\alpha),\,\alpha\big)$$

الرموز
$\xi$خطوة افتراضية
الأبعاد
تدرج
مثال عددي
مع $\xi=0$ نعود إلى تقريب الرتبة الأولى.
علاقتها بالمعمارية
أدق لكنه أكثر كلفة.

آلية العمل خطوة بخطوة

  1. عرّف الخلية والعمليات.
  2. هيئ α صغيرة.
  3. تناوب تحديث α (تحقق) وw (تدريب).
  4. اشتق الخلية المنفصلة.
  5. ابنِ شبكة أعمق وأعد التدريب.
  6. قيّم على الاختبار.

المزايا والقيود

المزايا

  • تكلفة بحث أقل بكثير من RL والتطور.
  • بسيط التنفيذ بالتدرج.

القيود

  • انهيار نحو التخطي والتجميع (عمليات بلا معاملات) في بحث طويل.
  • فجوة بين الشبكة الفائقة والمشتقة.
  • ذاكرة عالية لأن كل العمليات تُحسب.

متى تُستخدم؟ ومتى لا؟

تناسب

  • بحث سريع في فضاء خلايا صغيرة.

لا تناسب

  • فضاءات ضخمة بذاكرة محدودة.
  • حين لا يمكن تحمل عدم الاستقرار.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةخلايا تصنيف الصور.
معالجة اللغة الطبيعيةخلايا متكررة لنمذجة اللغة (في الورقة).

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

الخلية صغيرة جداً والبحث قصير، لذلك قيم α متقاربة؛ المثال يوضح الآلية لا يبرهن على أفضلية عملية بعينها.

Python (PyTorch)
# DARTS مصغّر: عمليات مختلطة وتحديث متناوب لـ α وw
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
OPS = {
    'none':     lambda C: Zero(),
    'skip':     lambda C: nn.Identity(),
    'conv3':    lambda C: nn.Sequential(nn.ReLU(), nn.Conv2d(C, C, 3, padding=1, bias=False), nn.BatchNorm2d(C, affine=False)),
    'conv5':    lambda C: nn.Sequential(nn.ReLU(), nn.Conv2d(C, C, 5, padding=2, bias=False), nn.BatchNorm2d(C, affine=False)),
    'dil3':     lambda C: nn.Sequential(nn.ReLU(), nn.Conv2d(C, C, 3, padding=2, dilation=2, bias=False), nn.BatchNorm2d(C, affine=False)),
    'maxpool':  lambda C: nn.MaxPool2d(3, 1, 1),
}
class Zero(nn.Module):
    def forward(self, x): return x * 0.

class MixedOp(nn.Module):
    """ō(x) = Σ_o softmax(α)_o · o(x): الاسترخاء المستمر لاختيار عملية واحدة."""
    def __init__(self, C):
        super().__init__(); self.ops = nn.ModuleList([OPS[k](C) for k in OPS])
    def forward(self, x, w):
        return sum(wi * op(x) for wi, op in zip(w, self.ops))

class Cell(nn.Module):
    """خلية بعقدتين وسيطتين: العقدة 1 من الدخل، والعقدة 2 من الدخل ومن العقدة 1 (3 حواف)."""
    def __init__(self, C):
        super().__init__(); self.edges = nn.ModuleList([MixedOp(C) for _ in range(3)])
    def forward(self, x, alphas):
        w = alphas.softmax(-1)
        n1 = self.edges[0](x, w[0])
        n2 = self.edges[1](x, w[1]) + self.edges[2](n1, w[2])
        return torch.cat([n1, n2], 1)

class SearchNet(nn.Module):
    def __init__(self, C=8, n_classes=3):
        super().__init__()
        self.stem = nn.Sequential(nn.Conv2d(1, C, 3, padding=1, bias=False), nn.BatchNorm2d(C))
        self.cell = Cell(C)
        self.head = nn.Linear(2 * C, n_classes)
        self.alphas = nn.Parameter(1e-3 * torch.randn(3, len(OPS)))         # معاملات المعمارية α
    def weights(self): return [p for n, p in self.named_parameters() if n != 'alphas']
    def forward(self, x):
        return self.head(self.cell(self.stem(x), self.alphas).mean((2, 3)))

# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
    X = torch.randn(n, 1, 16, 16) * 0.3
    y = torch.randint(0, 3, (n,))
    pos = torch.randint(2, 14, (n,))
    r = torch.arange(2, 14)
    for i in range(n):
        if y[i] == 0:   X[i, 0, pos[i], 2:14] += 1.5
        elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
        else:           X[i, 0, r, (r + pos[i]) % 16] += 1.5
    return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = SearchNet()

# 4) المحسّنان: SGD/Adam للأوزان w على بيانات التدريب، وAdam لمعاملات المعمارية α على بيانات التحقق
X_tr, y_tr, X_val, y_val = X_train[:450], y_train[:450], X_train[450:], y_train[450:]
w_opt = torch.optim.Adam(model.weights(), lr=3e-3)
a_opt = torch.optim.Adam([model.alphas], lr=1e-2, betas=(0.5, 0.999), weight_decay=1e-3)

# 5) البحث: تقريب الدرجة الأولى للمسألة ثنائية المستوى (تبادل تحديث α ثم w)
for epoch in range(8):
    for i in range(0, len(X_tr), 32):
        j = torch.randint(0, len(X_val), (32,))
        a_loss = F.cross_entropy(model(X_val[j]), y_val[j])                   # ∇_α L_val
        a_opt.zero_grad(); a_loss.backward(); a_opt.step()
        w_loss = F.cross_entropy(model(X_tr[i:i + 32]), y_tr[i:i + 32])       # ∇_w L_train
        w_opt.zero_grad(); w_loss.backward(); w_opt.step()
    if epoch % 2 == 0 or epoch == 7:
        print(f"epoch {epoch}  train loss={w_loss.item():.3f}  val loss={a_loss.item():.3f}")

# 6) اشتقاق المعمارية المنفصلة: أقوى عملية غير 'none' لكل حافة
names = list(OPS)
with torch.no_grad():
    probs = model.alphas.softmax(-1)
for e, p in enumerate(probs):
    best = max((k for k in range(len(names)) if names[k] != 'none'), key=lambda k: p[k])
    print(f"edge {e}: chosen op = {names[best]:8s} | softmax(α) = {[round(v, 2) for v in p.tolist()]}")
model.eval()
with torch.no_grad():
    print(f"supernet test accuracy = {(model(X_test).argmax(1) == y_test).float().mean().item():.3f}")

# 7) ملاحظة: في DARTS الكاملة تُبنى شبكة أعمق من الخلية المشتقة وتُدرّب من الصفر قبل التقرير النهائي

نُفّذ هذا الكود بتاريخ 2026-11-20 في 6.5 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

supernet test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 8٬413.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متقدم2017

البحث عن المعماريات العصبية

Neural Architecture Search (NAS)

أتمتة تصميم المعماريات: فضاء بحث يحدد المعماريات الممكنة، واستراتيجية بحث (تعلم معزز، تطور، بايزي، تدرج) تقترح مرشحين، واستراتيجية لتقدير أدائهم.

المعماريات المتخصصة

متوسط2017

الشبكات الفائقة

Hypernetworks

شبكة صغيرة (الشبكة الفائقة) تولّد أوزان شبكة أخرى (الشبكة الهدف)، فتصبح الأوزان دالة لمدخل شرطي مثل هوية المهمة أو رقم الطبقة.

المعماريات العصبية المتقدمةالمعماريات المتخصصة

مبتدئ1998

الشبكة العصبية الالتفافية

Convolutional Neural Network (CNN)

شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.

الأساسيات

أفكار بحثية

  • DARTS مع قيود الطاقة لتصميم نماذج تجزئة طبية تعمل على أجهزة طرفية.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما الذي يجعل DARTS قابلاً للاشتقاق؟

  2. مفهوم

    على أي بيانات تُحدّث معاملات المعمارية α؟

  3. مفهوم

    ما المشكلة المعروفة في DARTS عند البحث الطويل؟

المراجع

  1. Liu, H., Simonyan, K., & Yang, Y. (2019). DARTS: Differentiable architecture search. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1806.09055

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Chen, X., Xie, L., Wu, J., & Tian, Q. (2019). Progressive differentiable architecture search: Bridging the depth gap between search and evaluation. IEEE/CVF International Conference on Computer Vision (ICCV), 1294–1303. https://doi.org/10.1109/ICCV.2019.00138

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  3. Elsken, T., Metzen, J. H., & Hutter, F. (2019). Neural architecture search: A survey. Journal of Machine Learning Research, 20(55), 1–21. https://arxiv.org/abs/1808.05377

    arXivالناشرتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Zoph, B., & Le, Q. V. (2017). Neural architecture search with reinforcement learning. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1611.01578

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20