التعلم العميق بالعربي الدكتور علاء طعيمة

Tokenization

التقسيم الى وحدات لغوية

د. علاء طعيمة دقيقة قراءة

يتم استخدام Tokenizationفي معالجة اللغة الطبيعية (NLP) لتقسيم الفقرات والجمل إلى وحدات أصغر يمكن تعيين معنى لها بسهولة أكبر.