بيرسيفر
Perceiver
معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.
نظرة عامة
| الاسم | بيرسيفر – Perceiver |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | Andrew Jaegle، Felix Gimeno، Andrew Brock، Andrew Zisserman، Oriol Vinyals، João Carreira |
| الجهة | DeepMind |
| الورقة الأصلية | Perceiver: General perception with iterative attention arXiv |
| نوع البيانات | صور، تسلسلات وسلاسل زمنية، أنواع متعددة |
| المجالات | الحوسبة العلمية، الرؤية الحاسوبية، الصوت والكلام، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $O(MN)$ للقراءة + $O(LM^2)$ للكوامن. |
| حجم البيانات | كبيرة عادة؛ تعتمد على الوسيط. |
المشكلة التي تحلها
تكلفة الانتباه الذاتي $O(N^2)$ تمنع تطبيقه مباشرة على دخل كبير (بكسلات خام، صوت، سحب نقاط)، والمعماريات المتخصصة تفترض بنية دخل معينة.
الخلفية والتطور
ما قبلها: المحوّل، الانتباه المتقاطع
الفكرة الأساسية
بدلاً من أن ينتبه كل عنصر دخل إلى كل عنصر، تملك الشبكة $M$ متجهاً كامناً (مثلاً 512) تعمل كاستعلامات تقرأ الدخل ($N$ عنصراً) عبر انتباه متقاطع بتكلفة $O(MN)$. بعدها تُعالج الكوامن بطبقات انتباه ذاتي بتكلفة $O(M^2)$ لا تعتمد على $N$. يمكن تكرار القراءة من الدخل. المعلومات المكانية تُعطى بترميز فورييه للمواقع.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
يمكن تكرار الانتباه المتقاطع عدة مرات لقراءة الدخل من جديد.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Latent array | $M\times D$ متعلَّم |
| Cross-attention | Q من الكوامن، K/V من الدخل |
| Latent Transformer | انتباه ذاتي على الكوامن |
| Fourier position features | ترميز مواقع الدخل |
| Weight sharing | مشاركة أوزان بين التكرارات (اختيارية) |
| Output queries (IO) | لمخرجات منظمة في Perceiver IO |
المعادلات
1. الانتباه المتقاطع من الكوامن إلى الدخل
| $Z$ | الكوامن $M\times D$ |
| $X$ | الدخل $N\times C$ |
2. ترميز فورييه للمواقع
| $f_k$ | ترددات حتى نصف تردد أخذ العينات |
| $x$ | إحداثي مُطبع في $[-1,1]$ |
آلية العمل خطوة بخطوة
- رمّز المواقع وأرفقها بالدخل.
- هيئ المصفوفة الكامنة.
- طبّق انتباهاً متقاطعاً من الكوامن إلى الدخل.
- طبّق طبقات انتباه ذاتي على الكوامن.
- كرر القراءة عند الحاجة.
- اجمع الكوامن وصنّف (أو استخدم استعلامات خرج في IO).
المزايا والقيود
المزايا
- تكلفة خطية في حجم الدخل.
- معمارية واحدة لوسائط متعددة.
- عمق لا يعتمد على حجم الدخل.
القيود
- عنق الزجاجة الكامن قد يفقد تفاصيل دقيقة.
- أداء أقل من النماذج المتخصصة في بعض المهام.
- حساسية لاختيار M وعدد القراءات.
متى تُستخدم؟ ومتى لا؟
تناسب
- دخل ضخم أو متعدد الوسائط أو غير منتظم.
- الحاجة لمعمارية موحدة.
لا تناسب
- صور صغيرة تكفيها CNN.
- مهام تحتاج تفاصيل دقيقة جداً لكل بكسل دون تصميم مخرجات IO.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | تصنيف صور وفيديو من بكسلات خام. |
| الصوت والكلام | تصنيف صوت. |
| الحوسبة العلمية | سحب النقاط والبيانات غير المنتظمة. |
| الذكاء الاصطناعي التوليدي | مُعيد التشكيل في Flamingo لضغط السمات البصرية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Perceiver مصغّر — تصنيف مجموعات نقاط
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class CrossAttention(nn.Module):
def __init__(self, d_q, d_kv, d, heads=1):
super().__init__()
self.att = nn.MultiheadAttention(d, heads, kdim=d_kv, vdim=d_kv, batch_first=True)
self.q_in, self.kv_ln = nn.Linear(d_q, d), nn.LayerNorm(d_kv)
def forward(self, latents, inputs):
out, self.w = self.att(self.q_in(latents), self.kv_ln(inputs), self.kv_ln(inputs))
return out
def fourier_features(xy, n_bands=4):
"""ترميز فورييه للإحداثيات كما في Perceiver: sin/cos بترددات متعددة + الإحداثيات نفسها."""
f = 2.0 ** torch.arange(n_bands).float() * torch.pi
ang = xy[..., None] * f # B×N×2×bands
return torch.cat([xy, ang.sin().flatten(-2), ang.cos().flatten(-2)], -1)
class TinyPerceiver(nn.Module):
def __init__(self, c_in=2 + 2 * 2 * 4, M=8, d=32, n_latent_layers=2, n_classes=2):
super().__init__()
self.latents = nn.Parameter(torch.randn(M, d) * 0.1) # مصفوفة كامنة صغيرة M×d (مستقلة عن N)
self.cross = CrossAttention(d, c_in, d)
self.ff = nn.Sequential(nn.LayerNorm(d), nn.Linear(d, 2 * d), nn.GELU(), nn.Linear(2 * d, d))
layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
self.latent_tf = nn.TransformerEncoder(layer, n_latent_layers, enable_nested_tensor=False) # انتباه ذاتي على الكوامن فقط: O(M²)
self.out = nn.Linear(d, n_classes)
def forward(self, pts): # pts: B×N×2 (مجموعة نقاط بلا ترتيب)
x = fourier_features(pts)
z = self.latents.expand(len(pts), -1, -1)
z = z + self.cross(z, x) # انتباه متقاطع: O(M·N)
z = z + self.ff(z)
z = self.latent_tf(z)
return self.out(z.mean(1))
# 3) إعداد البيانات
# مجموعة 64 نقطة ثنائية الأبعاد: على محيط دائرة (0) أو على محيط مربع (1)، بمقياس وإزاحة وضوضاء عشوائية
def make(n, N=64):
t = torch.rand(n, N) * 2 * torch.pi
circ = torch.stack([t.cos(), t.sin()], -1)
s = torch.rand(n, N) * 4; side = s.long().clamp(max=3); u = (s - side) * 2 - 1
sq = torch.zeros(n, N, 2)
for k, (a, b) in enumerate([(1, 0), (-1, 0), (0, 1), (0, -1)]):
m = side == k
sq[..., 0] = torch.where(m, a + (b != 0) * u, sq[..., 0])
sq[..., 1] = torch.where(m, b + (a != 0) * u, sq[..., 1])
y = torch.randint(0, 2, (n,))
X = torch.where(y[:, None, None] == 0, circ, sq * 0.85)
X = X * (0.5 + 0.4 * torch.rand(n, 1, 1)) + 0.1 * torch.randn(n, 1, 2) + 0.02 * torch.randn(n, N, 2)
return X, y
X_train, y_train = make(800)
X_test, y_test = make(200)
model = TinyPerceiver()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 20, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 6.1 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 0.950
عدد المعاملات القابلة للتدريب في المثال: model = 26٬086.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
الانتباه المتقاطع
Cross-Attention (Cross-Attn)
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
نماذج الرؤية واللغة
Vision-Language Models (VLM)
نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…
المحوّلات متعددة الوسائط
Multimodal Transformers (MM-Transformer)
محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- استخدام Perceiver لدمج إشارات حيوية متعددة القنوات بمعدلات أخذ عينات مختلفة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما تكلفة الانتباه المتقاطع في Perceiver مع $M$ كامناً و$N$ عنصر دخل؟
لماذا؟ مصفوفة الانتباه $M\times N$.
لماذا يعمل Perceiver على أي نوع دخل تقريباً؟
لماذا؟ البنية تُعطى عبر ترميز المواقع فقط.
ماذا أضاف Perceiver IO؟
لماذا؟ يقرأ الخرج من الكوامن عبر انتباه متقاطع.
المراجع
Jaegle, A., Gimeno, F., Brock, A., Zisserman, A., Vinyals, O., & Carreira, J. (2021). Perceiver: General perception with iterative attention. International Conference on Machine Learning (ICML), PMLR 139, 4651–4664. https://arxiv.org/abs/2103.03206
Jaegle, A., Borgeaud, S., Alayrac, J.-B., Doersch, C., Ionescu, C., Ding, D., et al. (2022). Perceiver IO: A general architecture for structured inputs & outputs. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2107.14795
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762
Alayrac, J.-B., Donahue, J., Luc, P., Miech, A., Barr, I., Hasson, Y., et al. (2022). Flamingo: A visual language model for few-shot learning. Advances in Neural Information Processing Systems (NeurIPS) 35. https://arxiv.org/abs/2204.14198
