مطابقة التدفق (FM)
Flow Matching
تتعلم حقل سرعة لمعادلة تفاضلية عادية ينقل توزيع الضوضاء إلى توزيع البيانات، بالانحدار مباشرة على سرعات مسارات احتمالية بسيطة (مثل خطوط مستقيمة بين ضوضاء وبيانات)، دون محاكاة المعادلة أثناء التدريب.
نظرة عامة
| الاسم | مطابقة التدفق – Flow Matching |
|---|---|
| سنة الظهور | 2023 |
| الباحثون | Yaron Lipman، Ricky T. Q. Chen، Heli Ben-Hamu، Maximilian Nickel، Matt Le |
| الجهة | Meta AI / Weizmann Institute |
| الورقة الأصلية | Flow matching for generative modeling arXiv |
| نوع البيانات | صور، بيانات جدولية، تسلسلات وسلاسل زمنية |
| المجالات | الحوسبة العلمية، الذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، الصوت والكلام |
| الكلفة الحسابية | تمرير واحد للتدريب؛ عشرات التقييمات للتوليد. |
| حجم البيانات | مثل الانتشار. |
المشكلة التي تحلها
تدريب التدفقات الطبيعية المستمرة (CNF) بأقصى احتمال يتطلب محاكاة ODE مكلفة، ونماذج الانتشار تحتاج خطوات توليد كثيرة لأن مساراتها منحنية.
الخلفية والتطور
ما قبلها: نماذج الانتشار، النماذج التوليدية القائمة على الدرجة، المعادلات التفاضلية العصبية
الفكرة الأساسية
نختار مساراً شرطياً بسيطاً بين عينة ضوضاء $x_0$ وعينة بيانات $x_1$، مثل $x_t=(1-t)x_0+tx_1$ وسرعته $x_1-x_0$. ندرّب $v_\theta(x_t,t)$ بانحدار MSE على هذه السرعة. أثبت المؤلفون أن تدرّج هذه الخسارة الشرطية يساوي تدرّج خسارة الحقل الهامشي غير المعروف. للتوليد نحل $dx/dt=v_\theta$ من $t=0$ إلى 1.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Probability path p_t | خطي/OT أو انتشاري |
| Conditional velocity u_t | x₁ − x₀ للخطي |
| Velocity network v_θ(x, t) | |
| ODE solver | Euler/RK عند التوليد |
المعادلات
1. خسارة مطابقة التدفق الشرطية
| $u_t$ | السرعة الشرطية للمسار |
2. المسار الأمثل-النقل (OT) في الورقة
| $\sigma_{min}$ | انحراف صغير عند t=1 |
3. التوليد بحل ODE
| $v_\theta$ | حقل السرعة المتعلَّم |
| $t$ | الزمن من 0 (ضوضاء) إلى 1 (بيانات) |
| $x(t)$ | موضع العيّنة على المسار |
آلية العمل خطوة بخطوة
- اسحب ضوضاء وبيانات وt.
- احسب نقطة المسار وسرعته.
- انحدر $v_\theta$ على السرعة.
- ولّد بحل ODE.
المزايا والقيود
المزايا
- تدريب بسيط بلا محاكاة.
- خطوات توليد أقل غالباً من الانتشار.
- إطار مرن لمسارات مختلفة.
القيود
- المسارات الهامشية ليست مستقيمة تماماً حتى مع شرطية خطية.
- إطار أحدث وممارساته تتطور.
متى تُستخدم؟ ومتى لا؟
تناسب
- بديل للانتشار بتوليد أسرع.
- نقل بين توزيعين عامين.
لا تناسب
- حين تكون أدوات الانتشار الجاهزة كافية ومطلوبة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الذكاء الاصطناعي التوليدي | توليد الصور والفيديو. |
| الصوت والكلام | توليد الكلام. |
| الحوسبة العلمية | توليد الجزيئات والبروتينات. |
| الرؤية الحاسوبية | ترجمة التوزيعات. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
التقييم هنا بمقياسين بسيطين محسوبين داخل المثال: نسبة العينات القريبة من أحد الأنماط الثمانية، وعدد الأنماط المغطاة. لا يُستخدم FID لأنه خاص بالصور. يقارن المثال 5 و50 خطوة أويلر.
# Flow Matching بمسار خطي وحل ODE بأويلر
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class VelocityNet(nn.Module):
"""v_θ(x_t, t): حقل سرعة يحمل الضوضاء إلى البيانات على طول مسار مستقيم."""
def __init__(self, h=128):
super().__init__()
self.net = nn.Sequential(nn.Linear(3, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, 2))
def forward(self, x, t):
return self.net(torch.cat([x, t[:, None]], 1))
model = VelocityNet()
# 3) إعداد البيانات
# التوزيع الهدف: خليط من 8 توزيعات غاوسية على دائرة نصف قطرها 2 (اختبار كلاسيكي لانهيار الأنماط)
CENTERS = torch.stack([torch.tensor([2 * torch.cos(torch.tensor(k * torch.pi / 4)), 2 * torch.sin(torch.tensor(k * torch.pi / 4))]) for k in range(8)])
def sample_ring(n, std=0.1):
k = torch.randint(0, 8, (n,))
return CENTERS[k] + std * torch.randn(n, 2), k
def ring_metrics(x):
"""جودة: نسبة العينات القريبة (<0.3) من أحد المراكز. تغطية: عدد الأنماط التي نالت ≥5% من العينات الجيدة."""
d = torch.cdist(x, CENTERS)
near, k = d.min(1)
good = near < 0.3
counts = torch.bincount(k[good], minlength=8).float()
covered = int((counts >= 0.05 * max(1, good.sum().item())).sum())
return good.float().mean().item(), covered
# 4) خسارة مطابقة التدفق الشرطية (مسار خطي، σ_min = 0): || v_θ(x_t, t) − (x_1 − x_0) ||²
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب: لا محاكاة ODE أثناء التدريب، فقط انحدار على السرعة الهدف
STEPS, BATCH = 4000, 256
for step in range(STEPS):
x1, _ = sample_ring(BATCH) # بيانات
x0 = torch.randn_like(x1) # ضوضاء
t = torch.rand(BATCH)
xt = (1 - t[:, None]) * x0 + t[:, None] * x1 # نقطة على المسار المستقيم
loss = F.mse_loss(model(xt, t), x1 - x0) # Forward Pass
opt.zero_grad(); loss.backward(); opt.step()
if step % 1000 == 0 or step == STEPS - 1:
print(f"step {step:4d} loss={loss.item():.4f}")
# 6) التقييم: حل المعادلة dx/dt = v_θ(x, t) بطريقة أويلر من t=0 إلى 1
@torch.no_grad()
def sample(n, steps=50):
x = torch.randn(n, 2)
for k in range(steps):
t = torch.full((n,), k / steps)
x = x + model(x, t) / steps
return x
for s in (5, 50):
q, cov = ring_metrics(sample(4000, s))
print(f"Euler steps={s:2d}: sample quality (near a mode) = {q:.3f} ; modes covered = {cov}/8")
# 7) الاستدلال
print("generated point:", [round(v, 3) for v in sample(1)[0].tolist()])
نُفّذ هذا الكود بتاريخ 2026-11-20 في 9.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
Euler steps= 5: sample quality (near a mode) = 0.754 ; modes covered = 8/8 Euler steps=50: sample quality (near a mode) = 0.936 ; modes covered = 8/8
عدد المعاملات القابلة للتدريب في المثال: model = 33٬794.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
نماذج الانتشار
Diffusion Models (DDPM)
تفسد البيانات تدريجياً بإضافة ضوضاء غاوسية عبر T خطوة، ثم تتعلم شبكة عكس هذه العملية بالتنبؤ بالضوضاء المضافة، فيُولَّد مثال جديد بإزالة الضوضاء خطوة بخطوة بدءاً من ضوضا…
النماذج التوليدية القائمة على الدرجة
Score-Based Generative Models (SGM)
تتعلم شبكة "الدرجة" _x p(x) عند مستويات ضوضاء متعددة، ثم تولّد العينات بديناميكا لانجفان تتبع الدرجة من الضوضاء نحو مناطق الكثافة العالية؛ وتُعمم إلى معادلات تفاضلية عشو…
المعادلات التفاضلية العصبية
Neural Ordinary Differential Equations (Neural ODE)
تُعرّف الحالة المخفية بمعادلة تفاضلية مستمرة تُعطى مشتقتها بشبكة عصبية، ويُحسب الخرج بحلّال عددي، فتصبح الشبكة "مستمرة العمق".
نماذج الانتشار الكامنة
Latent Diffusion Models (LDM)
تطبق الانتشار في فضاء كامن مضغوط من مشفّر تلقائي مدرّب مسبقاً بدلاً من فضاء البكسلات، مع آلية انتباه متقاطع لإدخال الشروط (نص، تجزئة...)، فتقل الحسابات كثيراً مع الحفاظ…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مطابقة التدفق لتوليد سلاسل زمنية طبية اصطناعية مع تقييم الخصوصية والفائدة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الهدف الذي تنحدر عليه الشبكة في مطابقة التدفق بالمسار الخطي؟
لماذا؟ مشتقة $x_t$ بالنسبة إلى t.
هل يتطلب التدريب محاكاة المعادلة التفاضلية؟
لماذا؟ هذه ميزته الأساسية مقابل CNF التقليدية.
مع $x_0=(1,1)$ و$x_1=(3,1)$ و$t=0.25$، ما $x_t$؟
لماذا؟ $0.75x_0+0.25x_1$.
المراجع
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nickel, M., & Le, M. (2023). Flow matching for generative modeling. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2210.02747
Liu, X., Gong, C., & Liu, Q. (2023). Flow straight and fast: Learning to generate and transfer data with rectified flow. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2209.03003
Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. (2018). Neural ordinary differential equations. Advances in Neural Information Processing Systems (NeurIPS) 31. https://arxiv.org/abs/1806.07366
Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, A., Ermon, S., & Poole, B. (2021). Score-based generative modeling through stochastic differential equations. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2011.13456
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2006.11239
