التضمينات

من الكلمة إلى الجملة

تضمينات الكلمات تمثل كل كلمة منفردة. تضمينات الجمل تمثل المعنى الكلي، وتُبنى غالباً بمشفر محوّل مع تجميع (مثل المتوسط) ثم تدريب تبايني.

مثال بحث دلالي

from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
docs = ["الانحدار الخطي يتنبأ بقيمة عددية",
        "الشبكات الالتفافية مناسبة للصور",
        "التحقق المتقاطع يقدر أداء النموذج"]
D = model.encode(docs, normalize_embeddings=True)
q = model.encode("كيف أقيس جودة نموذجي؟", normalize_embeddings=True)
scores = util.cos_sim(q, D)[0]
print(docs[int(scores.argmax())])

النموذج المستخدم متعدد اللغات ويدعم العربية؛ قيّمه على بياناتك مقارنة ببدائل أخرى.

اختيار نموذج التضمين

المعيار	السؤال
اللغة	هل يدعم العربية واللهجات المطلوبة؟
المجال	طبي؟ قانوني؟ شيفرة؟
الأبعاد	أبعاد أقل تعني تخزيناً وبحثاً أسرع
الطول الأقصى	كم رمزاً يقبل في المقطع؟
التكلفة والخصوصية	محلي أم عبر خدمة خارجية؟

معيار MTEB يقارن النماذج على مهام متعددة، لكن التقييم على بياناتك هو الحاسم.

تقييم الاسترجاع

• Recall@k: هل المقطع الصحيح ضمن أعلى k نتائج؟
• MRR: متوسط مقلوب ترتيب أول نتيجة صحيحة.
• nDCG: يراعي ترتيب النتائج ودرجات صلتها.

ابنِ مجموعة صغيرة من الأسئلة مع مقاطعها الصحيحة وقِس بها.

نصائح

• طبّع المتجهات (L2) واستخدم الضرب النقطي كتشابه جيب التمام.
• بعض النماذج تتطلب بادئات مختلفة للاستعلام والمستند؛ اقرأ بطاقة النموذج.
• البحث الهجين (كلمات + دلالي) يعطي غالباً نتائج أقوى من أي منهما منفرداً.