المعماريات العصبية المعززة بالاسترجاع (RAG)
Retrieval-Augmented Neural Architectures
نماذج تجمع ذاكرة غير معلمية (فهرس مستندات) مع نموذج معلمي: مسترجع يجد مقاطع ذات صلة بالسؤال، ومولّد يستخدمها لإنتاج الجواب، فيمكن تحديث المعرفة بتحديث الفهرس دون إعادة التدريب، وتتبع المصادر.
نظرة عامة
| الاسم | المعماريات العصبية المعززة بالاسترجاع – Retrieval-Augmented Neural Architectures |
|---|---|
| سنة الظهور | 2020 |
| الباحثون | Patrick Lewis، Ethan Perez، Aleksandra Piktus، Fabio Petroni، Vladimir Karpukhin، Naman Goyal، وآخرون |
| الجهة | Facebook AI Research / University College London / New York University |
| الورقة الأصلية | Retrieval-augmented generation for knowledge-intensive NLP tasks arXiv |
| نوع البيانات | نصوص، أنواع متعددة |
| المجالات | الرؤية الحاسوبية، تحليل الصور الطبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | بحث تقريبي في الفهرس + تمرير المولّد k مرة. |
| حجم البيانات | فهرس كبير؛ التدريب على أزواج سؤال–جواب. |
المشكلة التي تحلها
النماذج اللغوية تخزن المعرفة في أوزانها: يصعب تحديثها، وتهلوس، ولا تذكر مصادرها.
الخلفية والتطور
ما قبلها: المحوّل، آلية الانتباه
الفكرة الأساسية
$p(z\mid x)\propto\exp(d(z)^\top q(x))$ تختار أفضل k مقاطع. المولّد يحسب $p(y\mid x,z)$ لكل مقطع، ويُهمّش على المقاطع. لأن الإشراف على الجواب فقط، يتعلم المسترجع ضمنياً أي المقاطع تساعد. تنويعات: RAG-Sequence (مقطع لكل الإجابة) وRAG-Token (مقطع لكل رمز)، وRETRO (استرجاع داخل طبقات النموذج).
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Document index | متجهات المقاطع |
| Query encoder | |
| Retriever (MIPS) | بحث الضرب النقطي الأعظم |
| Generator / reader | |
| Marginalization over passages |
المعادلات
1. الاسترجاع الكثيف
| $d(z)$ | تمثيل المقطع |
| $q(x)$ | تمثيل السؤال |
2. RAG-Sequence
| $p_\theta$ | المولّد |
آلية العمل خطوة بخطوة
- قسّم المستندات وفهرسها.
- رمّز السؤال.
- استرجع أفضل k.
- ولّد الجواب مشروطاً بكل مقطع.
- همّش أو اختر.
- اعرض المصادر.
المزايا والقيود
المزايا
- تحديث المعرفة بلا إعادة تدريب.
- إمكان ذكر المصادر.
- هلوسة أقل في الأسئلة المعرفية حسب تجارب المؤلفين.
القيود
- الجودة محدودة بجودة الاسترجاع.
- قد يتجاهل المولّد المقطع ويعتمد على ذاكرته.
- زمن استجابة وتكلفة فهرسة.
متى تُستخدم؟ ومتى لا؟
تناسب
- أسئلة معرفية تتغير مصادرها.
- أنظمة تحتاج تتبع المصادر.
لا تناسب
- مهام لا تعتمد على معرفة خارجية.
- فهرس غير موثوق.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | الإجابة عن الأسئلة المفتوحة والمساعدات. |
| تحليل الصور الطبية | مساعدات تعتمد على الأدلة الإكلينيكية المحدثة. |
| الرؤية الحاسوبية | توليد صور مدعوم بالاسترجاع. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
قاعدة معرفة اصطناعية صغيرة؛ مساعد هذه الموسوعة نفسه يعمل بمبدأ استرجاعي مشابه من محتوى الموسوعة.
# RAG مصغّر: مسترجع ثنائي المشفّر + قارئ + تهميش، ومقارنة بنموذج مغلق عند تحديث المعرفة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class Retriever(nn.Module):
"""مسترجع بالضرب النقطي بين تمثيل السؤال وتمثيل المقطع (مثل DPR). للتبسيط يتشارك المشفّران جدول التضمين،
فيتطابق تمثيل الكيان في السؤال والمقطع حتى لكيانات لم يُسأل عنها في التدريب (DPR الأصلية تستخدم مشفّري BERT منفصلين)."""
def __init__(self, vocab, d=32):
super().__init__()
self.q_enc = self.p_enc = nn.EmbeddingBag(vocab, d)
def forward(self, q, passages): # q: B×Lq ، passages: K×Lp
return self.q_enc(q) @ self.p_enc(passages).T # B×K درجات الصلة
class Reader(nn.Module):
"""القارئ: يولّد الجواب من المقطع المسترجع (هنا: تصنيف على مفردات القيم). جعلناه يقرأ المقطع وحده؛
لو قرأ السؤال أيضاً لتعلم "حفظ" الإجابات في أوزانه وتجاهل المقطع، وهي ظاهرة معروفة تضعف الاستناد إلى المصدر."""
def __init__(self, vocab, n_answers, d=32):
super().__init__()
self.emb = nn.EmbeddingBag(vocab, d)
self.net = nn.Sequential(nn.Linear(d, 64), nn.ReLU(), nn.Linear(64, n_answers))
def forward(self, q, passage):
return self.net(self.emb(passage))
class RAG(nn.Module):
"""p(y|q) = Σ_{z ∈ top-k} p(z|q) · p(y|q, z) — صيغة RAG-Sequence مع هامش على المقاطع المسترجعة."""
def __init__(self, vocab, n_answers, k=4):
super().__init__()
self.retriever, self.reader, self.k = Retriever(vocab), Reader(vocab, n_answers), k
def forward(self, q, kb):
scores = self.retriever(q, kb) # B×K
top, idx = scores.topk(self.k, -1)
p_z = top.softmax(-1) # B×k
logp_y = torch.stack([self.reader(q, kb[idx[:, j]]).log_softmax(-1) for j in range(self.k)], 1) # B×k×A
return torch.logsumexp(p_z.log()[..., None] + logp_y, 1), idx[:, 0]
# 3) إعداد البيانات
# قاعدة معرفة اصطناعية: 60 كياناً، لكل كيان "مدينة" (واحدة من 10). المقطع = [كيان، "تقع_في"، مدينة].
# السؤال = [قالب سؤال عشوائي، كيان]. المفردات: 0..59 كيانات، 60..69 مدن، 70 "تقع_في"، 71..74 قوالب أسئلة.
N_ENT, N_CITY = 60, 10
def build_kb(cities):
return torch.stack([torch.arange(N_ENT), torch.full((N_ENT,), 70), 60 + cities], 1) # K×3
cities = torch.randint(0, N_CITY, (N_ENT,))
KB = build_kb(cities)
def questions(ents):
return torch.stack([71 + torch.randint(0, 4, (len(ents),)), ents], 1)
train_ents = torch.randint(0, 45, (4000,)) # الأسئلة التدريبية عن أول 45 كياناً فقط
test_ents = torch.arange(45, 60) # كيانات لم يُسأل عنها أثناء التدريب
model = RAG(vocab=75, n_answers=N_CITY)
closed_book = nn.Sequential(nn.EmbeddingBag(75, 32), nn.Linear(32, 64), nn.ReLU(), nn.Linear(64, N_CITY)) # يحفظ الحقائق في أوزانه
# 4) الخسارة: −log p(y|q) بعد التهميش على المقاطع؛ والنموذج المغلق يتدرب على الأسئلة نفسها
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
opt_cb = torch.optim.Adam(closed_book.parameters(), lr=3e-3)
# 5) حلقة التدريب (الإشراف على الجواب فقط؛ المسترجع يتعلم ضمنياً أي مقطع يفيد)
for epoch in range(15):
perm = torch.randperm(len(train_ents))
for i in range(0, len(perm), 100):
e = train_ents[perm[i:i + 100]]; q, y = questions(e), cities[e]
logp, _ = model(q, KB) # Forward Pass: استرجاع + قراءة
loss = F.nll_loss(logp, y)
opt.zero_grad(); loss.backward(); opt.step()
loss_cb = F.cross_entropy(closed_book(q), y); opt_cb.zero_grad(); loss_cb.backward(); opt_cb.step()
if epoch % 5 == 0 or epoch == 14:
print(f"epoch {epoch:2d} RAG loss={loss.item():.4f} closed-book loss={loss_cb.item():.4f}")
# 6) التقييم: (أ) كيانات لم يُسأل عنها، (ب) تحديث قاعدة المعرفة دون إعادة تدريب
@torch.no_grad()
def evaluate(kb, truth, ents):
q = questions(ents)
logp, top1 = model(q, kb)
return ((logp.argmax(1) == truth[ents]).float().mean().item(), (top1 == ents).float().mean().item(),
(closed_book(q).argmax(1) == truth[ents]).float().mean().item())
a, r, c = evaluate(KB, cities, torch.arange(45))
print(f"seen entities : RAG acc={a:.3f} (retrieval@1={r:.3f}) | closed-book acc={c:.3f}")
a, r, c = evaluate(KB, cities, test_ents)
print(f"unseen entities : RAG acc={a:.3f} (retrieval@1={r:.3f}) | closed-book acc={c:.3f}")
new_cities = (cities + 1 + torch.randint(0, N_CITY - 1, (N_ENT,))) % N_CITY # كل الحقائق تتغير
a, r, c = evaluate(build_kb(new_cities), new_cities, torch.arange(N_ENT))
print(f"after KB update : RAG acc={a:.3f} | closed-book acc={c:.3f} (no retraining)")
# 7) الاستدلال: سؤال عن الكيان 10 مع المقطع المسترجع
with torch.no_grad():
q = questions(torch.tensor([10])); logp, top1 = model(q, KB)
print("question tokens:", q[0].tolist(), "→ retrieved passage:", KB[top1[0]].tolist(), "→ answer city id:", logp.argmax(1).item(), "true:", cities[10].item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
seen entities : RAG acc=1.000 (retrieval@1=1.000) | closed-book acc=1.000 unseen entities : RAG acc=0.600 (retrieval@1=0.667) | closed-book acc=0.267 after KB update : RAG acc=0.867 | closed-book acc=0.017 (no retraining)
عدد المعاملات القابلة للتدريب في المثال: model = 7٬562، closed_book = 5٬162.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
الانتباه المتقاطع
Cross-Attention (Cross-Attn)
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
نماذج الرؤية واللغة
Vision-Language Models (VLM)
نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…
الشبكات العصبية المعيارية
Modular Neural Networks (Modular NN)
شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- RAG عربي للإرشادات الطبية مع تقييم الاستناد إلى المصادر ونسبة الهلوسة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الميزة الأساسية لـ RAG مقارنة بنموذج "مغلق الكتاب"؟
لماذا؟ الذاكرة غير معلمية.
مع $p(z)=(0.6,0.4)$ و$p(y\mid z)=(0.5,1.0)$، ما $p(y)$؟
لماذا؟ $0.3+0.4$.
ما مشكلة قد تظهر إذا قرأ المولّد السؤال وتعلم حفظ الإجابات؟
لماذا؟ ظاهرة معروفة في أنظمة RAG.
المراجع
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2005.11401
Guu, K., Lee, K., Tung, Z., Pasupat, P., & Chang, M.-W. (2020). REALM: Retrieval-augmented language model pre-training. International Conference on Machine Learning (ICML), PMLR 119, 3929–3938. https://arxiv.org/abs/2002.08909
Karpukhin, V., Oğuz, B., Min, S., Lewis, P., Wu, L., Edunov, S., Chen, D., & Yih, W.-t. (2020). Dense passage retrieval for open-domain question answering. Proceedings of EMNLP 2020, 6769–6781. https://doi.org/10.18653/v1/2020.emnlp-main.550
Borgeaud, S., Mensch, A., Hoffmann, J., Cai, T., Rutherford, E., Millican, K., et al. (2022). Improving language models by retrieving from trillions of tokens. International Conference on Machine Learning (ICML), PMLR 162, 2206–2240. https://arxiv.org/abs/2112.04426
