Chunking
تقطيع الوثائق
التعريف
تقسيم الوثائق الطويلة إلى مقاطع أصغر قبل تضمينها وفهرستها لأنظمة الاسترجاع.
يوازن حجم المقطع بين سياق كافٍ ودقة استرجاع. تُستخدم مقاطع بطول ثابت أو بحسب بنية الوثيقة مع تداخل بسيط للحفاظ على السياق.
Definition
Chunking splits long documents into smaller passages for embedding and indexing in retrieval systems, balancing context and precision.
شرح مبسّط للمبتدئين
كتقسيم كتاب إلى فقرات يسهل فهرستها بدل التعامل مع الكتاب كتلة واحدة.
شرح أكاديمي متخصص
التقطيع الدلالي يقسم عند حدود المعنى لا الطول.
أمثلة عملية
- مقاطع بـ 500 رمز مع تداخل 50.
التطبيقات والاستخدامات
- RAG.
المزايا
- استرجاع أدق.
القيود والعيوب
- مقطع صغير يفقد السياق وكبير يشوّش.
