كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدممعماريات المحولات

بيرسيفر

Perceiver

معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.

نظرة عامة

الاسمبيرسيفر – Perceiver
سنة الظهور2021
الباحثونAndrew Jaegle، Felix Gimeno، Andrew Brock، Andrew Zisserman، Oriol Vinyals، João Carreira
الجهةDeepMind
الورقة الأصليةPerceiver: General perception with iterative attention arXiv
نوع البياناتصور، تسلسلات وسلاسل زمنية، أنواع متعددة
المجالاتالحوسبة العلمية، الرؤية الحاسوبية، الصوت والكلام، معالجة اللغة الطبيعية
الكلفة الحسابية$O(MN)$ للقراءة + $O(LM^2)$ للكوامن.
حجم البياناتكبيرة عادة؛ تعتمد على الوسيط.

المشكلة التي تحلها

تكلفة الانتباه الذاتي $O(N^2)$ تمنع تطبيقه مباشرة على دخل كبير (بكسلات خام، صوت، سحب نقاط)، والمعماريات المتخصصة تفترض بنية دخل معينة.

الخلفية والتطور

ما قبلها: المحوّل، الانتباه المتقاطع

  1. 2021

    قدم Jaegle وزملاؤه Perceiver (ICML 2021). [مرجع]

  2. 2022

    وسّع Perceiver IO المعمارية لمخرجات منظمة عبر استعلامات خرج. [مرجع]

  3. 2022

    استخدم Flamingo "Perceiver Resampler" لضغط السمات البصرية. [مرجع]

الفكرة الأساسية

بدلاً من أن ينتبه كل عنصر دخل إلى كل عنصر، تملك الشبكة $M$ متجهاً كامناً (مثلاً 512) تعمل كاستعلامات تقرأ الدخل ($N$ عنصراً) عبر انتباه متقاطع بتكلفة $O(MN)$. بعدها تُعالج الكوامن بطبقات انتباه ذاتي بتكلفة $O(M^2)$ لا تعتمد على $N$. يمكن تكرار القراءة من الدخل. المعلومات المكانية تُعطى بترميز فورييه للمواقع.

مثال: سحابة نقاط من حساس LiDAR فيها 50 ألف نقطة: يقرأها Perceiver إلى 256 متجهاً كامناً ثم يصنف المشهد دون أن يبني مصفوفة انتباه 50,000×50,000.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

يمكن تكرار الانتباه المتقاطع عدة مرات لقراءة الدخل من جديد.

المكونات

المكوّنالوظيفة
Latent array$M\times D$ متعلَّم
Cross-attentionQ من الكوامن، K/V من الدخل
Latent Transformerانتباه ذاتي على الكوامن
Fourier position featuresترميز مواقع الدخل
Weight sharingمشاركة أوزان بين التكرارات (اختيارية)
Output queries (IO)لمخرجات منظمة في Perceiver IO

المعادلات

1. الانتباه المتقاطع من الكوامن إلى الدخل

$$Z\leftarrow Z+\mathrm{softmax}\!\left(\frac{(ZW_Q)(XW_K)^{\top}}{\sqrt d}\right)XW_V$$

الرموز
$Z$الكوامن $M\times D$
$X$الدخل $N\times C$
الأبعاد
مصفوفة الانتباه $M\times N$
مثال عددي
$N=224^2=50{,}176$ بكسل و$M=512$: $MN\approx2.57\times10^7$ مقابل $N^2\approx2.52\times10^9$ للانتباه الذاتي على البكسلات.
علاقتها بالمعمارية
عنق زجاجة يجعل التكلفة خطية في N.

2. ترميز فورييه للمواقع

$$\gamma(x)=\left[x,\;\sin(f_k\pi x),\;\cos(f_k\pi x)\right]_{k=1}^{K}$$

الرموز
$f_k$ترددات حتى نصف تردد أخذ العينات
$x$إحداثي مُطبع في $[-1,1]$
الأبعاد
$\mathbb{R}^{d}\rightarrow\mathbb{R}^{d(2K+1)}$
مثال عددي
$x=0.5$، $f=1$: $\sin(\pi/2)=1$ و$\cos(\pi/2)=0$.
علاقتها بالمعمارية
يعطي الشبكة معلومة الموقع دون افتراض شبكة بكسلات.

آلية العمل خطوة بخطوة

  1. رمّز المواقع وأرفقها بالدخل.
  2. هيئ المصفوفة الكامنة.
  3. طبّق انتباهاً متقاطعاً من الكوامن إلى الدخل.
  4. طبّق طبقات انتباه ذاتي على الكوامن.
  5. كرر القراءة عند الحاجة.
  6. اجمع الكوامن وصنّف (أو استخدم استعلامات خرج في IO).

المزايا والقيود

المزايا

  • تكلفة خطية في حجم الدخل.
  • معمارية واحدة لوسائط متعددة.
  • عمق لا يعتمد على حجم الدخل.

القيود

  • عنق الزجاجة الكامن قد يفقد تفاصيل دقيقة.
  • أداء أقل من النماذج المتخصصة في بعض المهام.
  • حساسية لاختيار M وعدد القراءات.

متى تُستخدم؟ ومتى لا؟

تناسب

  • دخل ضخم أو متعدد الوسائط أو غير منتظم.
  • الحاجة لمعمارية موحدة.

لا تناسب

  • صور صغيرة تكفيها CNN.
  • مهام تحتاج تفاصيل دقيقة جداً لكل بكسل دون تصميم مخرجات IO.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةتصنيف صور وفيديو من بكسلات خام.
الصوت والكلامتصنيف صوت.
الحوسبة العلميةسحب النقاط والبيانات غير المنتظمة.
الذكاء الاصطناعي التوليديمُعيد التشكيل في Flamingo لضغط السمات البصرية.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Perceiver مصغّر — تصنيف مجموعات نقاط
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class CrossAttention(nn.Module):
    def __init__(self, d_q, d_kv, d, heads=1):
        super().__init__()
        self.att = nn.MultiheadAttention(d, heads, kdim=d_kv, vdim=d_kv, batch_first=True)
        self.q_in, self.kv_ln = nn.Linear(d_q, d), nn.LayerNorm(d_kv)
    def forward(self, latents, inputs):
        out, self.w = self.att(self.q_in(latents), self.kv_ln(inputs), self.kv_ln(inputs))
        return out

def fourier_features(xy, n_bands=4):
    """ترميز فورييه للإحداثيات كما في Perceiver: sin/cos بترددات متعددة + الإحداثيات نفسها."""
    f = 2.0 ** torch.arange(n_bands).float() * torch.pi
    ang = xy[..., None] * f                                   # B×N×2×bands
    return torch.cat([xy, ang.sin().flatten(-2), ang.cos().flatten(-2)], -1)

class TinyPerceiver(nn.Module):
    def __init__(self, c_in=2 + 2 * 2 * 4, M=8, d=32, n_latent_layers=2, n_classes=2):
        super().__init__()
        self.latents = nn.Parameter(torch.randn(M, d) * 0.1)          # مصفوفة كامنة صغيرة M×d (مستقلة عن N)
        self.cross = CrossAttention(d, c_in, d)
        self.ff = nn.Sequential(nn.LayerNorm(d), nn.Linear(d, 2 * d), nn.GELU(), nn.Linear(2 * d, d))
        layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
        self.latent_tf = nn.TransformerEncoder(layer, n_latent_layers, enable_nested_tensor=False)  # انتباه ذاتي على الكوامن فقط: O(M²)
        self.out = nn.Linear(d, n_classes)
    def forward(self, pts):                                           # pts: B×N×2 (مجموعة نقاط بلا ترتيب)
        x = fourier_features(pts)
        z = self.latents.expand(len(pts), -1, -1)
        z = z + self.cross(z, x)                                      # انتباه متقاطع: O(M·N)
        z = z + self.ff(z)
        z = self.latent_tf(z)
        return self.out(z.mean(1))

# 3) إعداد البيانات
# مجموعة 64 نقطة ثنائية الأبعاد: على محيط دائرة (0) أو على محيط مربع (1)، بمقياس وإزاحة وضوضاء عشوائية
def make(n, N=64):
    t = torch.rand(n, N) * 2 * torch.pi
    circ = torch.stack([t.cos(), t.sin()], -1)
    s = torch.rand(n, N) * 4; side = s.long().clamp(max=3); u = (s - side) * 2 - 1
    sq = torch.zeros(n, N, 2)
    for k, (a, b) in enumerate([(1, 0), (-1, 0), (0, 1), (0, -1)]):
        m = side == k
        sq[..., 0] = torch.where(m, a + (b != 0) * u, sq[..., 0])
        sq[..., 1] = torch.where(m, b + (a != 0) * u, sq[..., 1])
    y = torch.randint(0, 2, (n,))
    X = torch.where(y[:, None, None] == 0, circ, sq * 0.85)
    X = X * (0.5 + 0.4 * torch.rand(n, 1, 1)) + 0.1 * torch.randn(n, 1, 2) + 0.02 * torch.randn(n, N, 2)
    return X, y
X_train, y_train = make(800)
X_test, y_test = make(200)
model = TinyPerceiver()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=3e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 20, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 6.1 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 0.950

عدد المعاملات القابلة للتدريب في المثال: model = 26٬086.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2017

الانتباه المتقاطع

Cross-Attention (Cross-Attn)

انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.

معماريات المحولات

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

متقدم2021

نماذج الرؤية واللغة

Vision-Language Models (VLM)

نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…

معماريات المحولات

متوسط2019

المحوّلات متعددة الوسائط

Multimodal Transformers (MM-Transformer)

محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).

معماريات المحولات

أفكار بحثية

  • استخدام Perceiver لدمج إشارات حيوية متعددة القنوات بمعدلات أخذ عينات مختلفة.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. رياضي

    ما تكلفة الانتباه المتقاطع في Perceiver مع $M$ كامناً و$N$ عنصر دخل؟

  2. مفهوم

    لماذا يعمل Perceiver على أي نوع دخل تقريباً؟

  3. مفهوم

    ماذا أضاف Perceiver IO؟

المراجع

  1. Jaegle, A., Gimeno, F., Brock, A., Zisserman, A., Vinyals, O., & Carreira, J. (2021). Perceiver: General perception with iterative attention. International Conference on Machine Learning (ICML), PMLR 139, 4651–4664. https://arxiv.org/abs/2103.03206

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Jaegle, A., Borgeaud, S., Alayrac, J.-B., Doersch, C., Ionescu, C., Ding, D., et al. (2022). Perceiver IO: A general architecture for structured inputs & outputs. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2107.14795

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Alayrac, J.-B., Donahue, J., Luc, P., Miech, A., Barr, I., Hasson, Y., et al. (2022). Flamingo: A visual language model for few-shot learning. Advances in Neural Information Processing Systems (NeurIPS) 35. https://arxiv.org/abs/2204.14198

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20