كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدمالمعماريات المتخصصةمعماريات المحولات

المعماريات العصبية المعززة بالاسترجاع (RAG)

Retrieval-Augmented Neural Architectures

نماذج تجمع ذاكرة غير معلمية (فهرس مستندات) مع نموذج معلمي: مسترجع يجد مقاطع ذات صلة بالسؤال، ومولّد يستخدمها لإنتاج الجواب، فيمكن تحديث المعرفة بتحديث الفهرس دون إعادة التدريب، وتتبع المصادر.

نظرة عامة

الاسمالمعماريات العصبية المعززة بالاسترجاع – Retrieval-Augmented Neural Architectures
سنة الظهور2020
الباحثونPatrick Lewis، Ethan Perez، Aleksandra Piktus، Fabio Petroni، Vladimir Karpukhin، Naman Goyal، وآخرون
الجهةFacebook AI Research / University College London / New York University
الورقة الأصليةRetrieval-augmented generation for knowledge-intensive NLP tasks arXiv
نوع البياناتنصوص، أنواع متعددة
المجالاتالرؤية الحاسوبية، تحليل الصور الطبية، معالجة اللغة الطبيعية
الكلفة الحسابيةبحث تقريبي في الفهرس + تمرير المولّد k مرة.
حجم البياناتفهرس كبير؛ التدريب على أزواج سؤال–جواب.

المشكلة التي تحلها

النماذج اللغوية تخزن المعرفة في أوزانها: يصعب تحديثها، وتهلوس، ولا تذكر مصادرها.

الخلفية والتطور

ما قبلها: المحوّل، آلية الانتباه

  1. 2020

    REALM: تدريب مسبق بمسترجع كامن. [مرجع]

  2. 2020

    DPR: مسترجع كثيف بمشفّرين. [مرجع]

  3. 2020

    RAG: مسترجع DPR + مولّد BART مع تهميش على المقاطع. [مرجع]

  4. 2022

    RETRO: استرجاع من قاعدة بتريليونات الرموز عبر انتباه متقاطع على المقاطع. [مرجع]

الفكرة الأساسية

$p(z\mid x)\propto\exp(d(z)^\top q(x))$ تختار أفضل k مقاطع. المولّد يحسب $p(y\mid x,z)$ لكل مقطع، ويُهمّش على المقاطع. لأن الإشراف على الجواب فقط، يتعلم المسترجع ضمنياً أي المقاطع تساعد. تنويعات: RAG-Sequence (مقطع لكل الإجابة) وRAG-Token (مقطع لكل رمز)، وRETRO (استرجاع داخل طبقات النموذج).

مثال: مساعد طبي يجيب عن جرعة دواء من النشرة الدوائية المحدّثة، مع رابط للمصدر بدلاً من الاعتماد على ذاكرة النموذج.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Document indexمتجهات المقاطع
Query encoder
Retriever (MIPS)بحث الضرب النقطي الأعظم
Generator / reader
Marginalization over passages

المعادلات

1. الاسترجاع الكثيف

$$p_\eta(z\mid x)\propto\exp\big(d(z)^{\top}q(x)\big)$$

الرموز
$d(z)$تمثيل المقطع
$q(x)$تمثيل السؤال
الأبعاد
$d,q\in\mathbb{R}^{768}$ في DPR
مثال عددي
درجات $(5,3,1)$ لثلاثة مقاطع ⇒ $p\approx(0.867,0.117,0.016)$.
علاقتها بالمعمارية
أي المقاطع أقرب للسؤال.

2. RAG-Sequence

$$p(y\mid x)\approx\sum_{z\in\text{top-}k}p_\eta(z\mid x)\prod_{i}p_\theta(y_i\mid x,z,y_{<i})$$

الرموز
$p_\theta$المولّد
الأبعاد
احتمال
مثال عددي
$p(z)=(0.8,0.2)$ و$p(y\mid z)=(0.9,0.1)$ ⇒ $0.72+0.02=0.74$.
علاقتها بالمعمارية
تدريب مشترك دون تسميات للمقاطع.

آلية العمل خطوة بخطوة

  1. قسّم المستندات وفهرسها.
  2. رمّز السؤال.
  3. استرجع أفضل k.
  4. ولّد الجواب مشروطاً بكل مقطع.
  5. همّش أو اختر.
  6. اعرض المصادر.

المزايا والقيود

المزايا

  • تحديث المعرفة بلا إعادة تدريب.
  • إمكان ذكر المصادر.
  • هلوسة أقل في الأسئلة المعرفية حسب تجارب المؤلفين.

القيود

  • الجودة محدودة بجودة الاسترجاع.
  • قد يتجاهل المولّد المقطع ويعتمد على ذاكرته.
  • زمن استجابة وتكلفة فهرسة.

متى تُستخدم؟ ومتى لا؟

تناسب

  • أسئلة معرفية تتغير مصادرها.
  • أنظمة تحتاج تتبع المصادر.

لا تناسب

  • مهام لا تعتمد على معرفة خارجية.
  • فهرس غير موثوق.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةالإجابة عن الأسئلة المفتوحة والمساعدات.
تحليل الصور الطبيةمساعدات تعتمد على الأدلة الإكلينيكية المحدثة.
الرؤية الحاسوبيةتوليد صور مدعوم بالاسترجاع.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

قاعدة معرفة اصطناعية صغيرة؛ مساعد هذه الموسوعة نفسه يعمل بمبدأ استرجاعي مشابه من محتوى الموسوعة.

Python (PyTorch)
# RAG مصغّر: مسترجع ثنائي المشفّر + قارئ + تهميش، ومقارنة بنموذج مغلق عند تحديث المعرفة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class Retriever(nn.Module):
    """مسترجع بالضرب النقطي بين تمثيل السؤال وتمثيل المقطع (مثل DPR). للتبسيط يتشارك المشفّران جدول التضمين،
    فيتطابق تمثيل الكيان في السؤال والمقطع حتى لكيانات لم يُسأل عنها في التدريب (DPR الأصلية تستخدم مشفّري BERT منفصلين)."""
    def __init__(self, vocab, d=32):
        super().__init__()
        self.q_enc = self.p_enc = nn.EmbeddingBag(vocab, d)
    def forward(self, q, passages):                       # q: B×Lq ، passages: K×Lp
        return self.q_enc(q) @ self.p_enc(passages).T     # B×K درجات الصلة

class Reader(nn.Module):
    """القارئ: يولّد الجواب من المقطع المسترجع (هنا: تصنيف على مفردات القيم). جعلناه يقرأ المقطع وحده؛
    لو قرأ السؤال أيضاً لتعلم "حفظ" الإجابات في أوزانه وتجاهل المقطع، وهي ظاهرة معروفة تضعف الاستناد إلى المصدر."""
    def __init__(self, vocab, n_answers, d=32):
        super().__init__()
        self.emb = nn.EmbeddingBag(vocab, d)
        self.net = nn.Sequential(nn.Linear(d, 64), nn.ReLU(), nn.Linear(64, n_answers))
    def forward(self, q, passage):
        return self.net(self.emb(passage))

class RAG(nn.Module):
    """p(y|q) = Σ_{z ∈ top-k} p(z|q) · p(y|q, z)  — صيغة RAG-Sequence مع هامش على المقاطع المسترجعة."""
    def __init__(self, vocab, n_answers, k=4):
        super().__init__()
        self.retriever, self.reader, self.k = Retriever(vocab), Reader(vocab, n_answers), k
    def forward(self, q, kb):
        scores = self.retriever(q, kb)                                  # B×K
        top, idx = scores.topk(self.k, -1)
        p_z = top.softmax(-1)                                           # B×k
        logp_y = torch.stack([self.reader(q, kb[idx[:, j]]).log_softmax(-1) for j in range(self.k)], 1)   # B×k×A
        return torch.logsumexp(p_z.log()[..., None] + logp_y, 1), idx[:, 0]

# 3) إعداد البيانات
# قاعدة معرفة اصطناعية: 60 كياناً، لكل كيان "مدينة" (واحدة من 10). المقطع = [كيان، "تقع_في"، مدينة].
# السؤال = [قالب سؤال عشوائي، كيان]. المفردات: 0..59 كيانات، 60..69 مدن، 70 "تقع_في"، 71..74 قوالب أسئلة.
N_ENT, N_CITY = 60, 10
def build_kb(cities):
    return torch.stack([torch.arange(N_ENT), torch.full((N_ENT,), 70), 60 + cities], 1)   # K×3
cities = torch.randint(0, N_CITY, (N_ENT,))
KB = build_kb(cities)
def questions(ents):
    return torch.stack([71 + torch.randint(0, 4, (len(ents),)), ents], 1)
train_ents = torch.randint(0, 45, (4000,))           # الأسئلة التدريبية عن أول 45 كياناً فقط
test_ents = torch.arange(45, 60)                     # كيانات لم يُسأل عنها أثناء التدريب
model = RAG(vocab=75, n_answers=N_CITY)
closed_book = nn.Sequential(nn.EmbeddingBag(75, 32), nn.Linear(32, 64), nn.ReLU(), nn.Linear(64, N_CITY))   # يحفظ الحقائق في أوزانه

# 4) الخسارة: −log p(y|q) بعد التهميش على المقاطع؛ والنموذج المغلق يتدرب على الأسئلة نفسها
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
opt_cb = torch.optim.Adam(closed_book.parameters(), lr=3e-3)

# 5) حلقة التدريب (الإشراف على الجواب فقط؛ المسترجع يتعلم ضمنياً أي مقطع يفيد)
for epoch in range(15):
    perm = torch.randperm(len(train_ents))
    for i in range(0, len(perm), 100):
        e = train_ents[perm[i:i + 100]]; q, y = questions(e), cities[e]
        logp, _ = model(q, KB)                                                  # Forward Pass: استرجاع + قراءة
        loss = F.nll_loss(logp, y)
        opt.zero_grad(); loss.backward(); opt.step()
        loss_cb = F.cross_entropy(closed_book(q), y); opt_cb.zero_grad(); loss_cb.backward(); opt_cb.step()
    if epoch % 5 == 0 or epoch == 14:
        print(f"epoch {epoch:2d}  RAG loss={loss.item():.4f}  closed-book loss={loss_cb.item():.4f}")

# 6) التقييم: (أ) كيانات لم يُسأل عنها، (ب) تحديث قاعدة المعرفة دون إعادة تدريب
@torch.no_grad()
def evaluate(kb, truth, ents):
    q = questions(ents)
    logp, top1 = model(q, kb)
    return ((logp.argmax(1) == truth[ents]).float().mean().item(), (top1 == ents).float().mean().item(),
            (closed_book(q).argmax(1) == truth[ents]).float().mean().item())
a, r, c = evaluate(KB, cities, torch.arange(45))
print(f"seen entities   : RAG acc={a:.3f} (retrieval@1={r:.3f}) | closed-book acc={c:.3f}")
a, r, c = evaluate(KB, cities, test_ents)
print(f"unseen entities : RAG acc={a:.3f} (retrieval@1={r:.3f}) | closed-book acc={c:.3f}")
new_cities = (cities + 1 + torch.randint(0, N_CITY - 1, (N_ENT,))) % N_CITY            # كل الحقائق تتغير
a, r, c = evaluate(build_kb(new_cities), new_cities, torch.arange(N_ENT))
print(f"after KB update : RAG acc={a:.3f} | closed-book acc={c:.3f}  (no retraining)")

# 7) الاستدلال: سؤال عن الكيان 10 مع المقطع المسترجع
with torch.no_grad():
    q = questions(torch.tensor([10])); logp, top1 = model(q, KB)
    print("question tokens:", q[0].tolist(), "→ retrieved passage:", KB[top1[0]].tolist(), "→ answer city id:", logp.argmax(1).item(), "true:", cities[10].item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

seen entities   : RAG acc=1.000 (retrieval@1=1.000) | closed-book acc=1.000
unseen entities : RAG acc=0.600 (retrieval@1=0.667) | closed-book acc=0.267
after KB update : RAG acc=0.867 | closed-book acc=0.017  (no retraining)

عدد المعاملات القابلة للتدريب في المثال: model = 7٬562، closed_book = 5٬162.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

أساسي2017

الانتباه المتقاطع

Cross-Attention (Cross-Attn)

انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.

معماريات المحولات

متقدم2021

نماذج الرؤية واللغة

Vision-Language Models (VLM)

نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…

معماريات المحولات

متقدم2016

الشبكات العصبية المعيارية

Modular Neural Networks (Modular NN)

شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.

المعماريات المتخصصة

أفكار بحثية

  • RAG عربي للإرشادات الطبية مع تقييم الاستناد إلى المصادر ونسبة الهلوسة.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مقارنة

    ما الميزة الأساسية لـ RAG مقارنة بنموذج "مغلق الكتاب"؟

  2. رياضي

    مع $p(z)=(0.6,0.4)$ و$p(y\mid z)=(0.5,1.0)$، ما $p(y)$؟

  3. مفهوم

    ما مشكلة قد تظهر إذا قرأ المولّد السؤال وتعلم حفظ الإجابات؟

المراجع

  1. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2005.11401

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Guu, K., Lee, K., Tung, Z., Pasupat, P., & Chang, M.-W. (2020). REALM: Retrieval-augmented language model pre-training. International Conference on Machine Learning (ICML), PMLR 119, 3929–3938. https://arxiv.org/abs/2002.08909

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Karpukhin, V., Oğuz, B., Min, S., Lewis, P., Wu, L., Edunov, S., Chen, D., & Yih, W.-t. (2020). Dense passage retrieval for open-domain question answering. Proceedings of EMNLP 2020, 6769–6781. https://doi.org/10.18653/v1/2020.emnlp-main.550

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  4. Borgeaud, S., Mensch, A., Hoffmann, J., Cai, T., Rutherford, E., Millican, K., et al. (2022). Improving language models by retrieving from trillions of tokens. International Conference on Machine Learning (ICML), PMLR 162, 2206–2240. https://arxiv.org/abs/2112.04426

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20