تدريب مقسّم BPE على نص عربي
بناء مقسّم كلمات فرعية من نصوصك الخاصة.
الهدف: حساب أكثر الكلمات والثنائيات تكراراً في نص.
from nltk import FreqDist, ngrams
from nltk.tokenize import RegexpTokenizer
text = "التعلم العميق مفيد والتعلم العميق ممتع والتعلم الآلي أساس التعلم العميق"
tokens = RegexpTokenizer(r"\w+").tokenize(text)
print("أكثر الكلمات:", FreqDist(tokens).most_common(3))
print("أكثر الثنائيات:", FreqDist(ngrams(tokens, 2)).most_common(2))
نستخدم مقسّماً بالتعبيرات النمطية لا يحتاج تنزيل موارد، ثم FreqDist لعدّ الكلمات وngrams لاستخراج الثنائيات. هذه خطوات أساسية في تحليل النصوص الكلاسيكي.
أكثر الكلمات: [('العميق', 3), ('التعلم', 2), ('والتعلم', 2)]
أكثر الثنائيات: [(('التعلم', 'العميق'), 2), (('العميق', 'مفيد'), 1)]نُفّذ هذا المثال فعلياً واختُبر بتاريخ 21 نوفمبر 2026 على CPU — nltk 3.10.4, python 3.13.18
بناء مقسّم كلمات فرعية من نصوصك الخاصة.
تحميل نموذج مدرب وتصنيف جمل بسطرين.
الأقسام
لا يوجد قسم بهذا الاسم. اضغط «بحث» للبحث في محتوى الموقع كله.
المفضلة
نتائجي وشهاداتي
تقدّمي في الأكاديميةنتائج اختباراتيتقدّم الأطفالشهادات الأكاديميةشهادات الاختباراتابدأ أي درس أو اختبار وسيظهر هنا لتعود إليه بسرعة.
الإعدادات
أنا المساعد الذكي لأطر ومكتبات الذكاء الاصطناعي. صف مشروعك أو اسألني عن مكتبة أو مقارنة أو مثال برمجي، وسأجيبك من قاعدة بيانات الموسوعة مع الروابط والمصادر.
يجيب من قاعدة بيانات الموسوعة فقط، دون نموذج لغوي ودون إرسال سؤالك إلى أي جهة خارجية.
قد يخطئ المساعد أحياناً، فراجع المصادر المرفقة.