Token

في نموذج لغوي (language model)، الوحدة الذرية التي يتدرب عليها النموذج ويقوم بالتنبؤات. عادةً ما يكون وحدة لفظية واحدًا مما يلي:
• كلمة: على سبيل المثال، تتكون عبارة “dogs like cats” من ثلاث كلمات مميزة: “dogs” و ” like ” و “cats”.
• حرف: على سبيل المثال، تتكون عبارة “bike fish” من تسع وحدات لفظية. (لاحظ أن المساحة الفارغة تُحسب كأحد الوحدات اللفظية)
• الكلمات الفرعية: حيث يمكن أن تكون كلمة واحدة وحدة لفظية واحدًة أو وحدات لفظية متعددة. تتكون الكلمة الفرعية من كلمة جذر أو بادئة أو لاحقة. على سبيل المثال، قد يعرض نموذج اللغة الذي يستخدم كلمات فرعية كرموز لكلمة “dogs” كوحدتين لفظيتين (جذر الكلمة “dog” ولاحقة الجمع “s”). قد يعرض نموذج اللغة نفسه الكلمة المفردة “taller” ككلمتين فرعيتين (الكلمة الجذر “tall” واللاحقة “er”).
في المجالات خارج نماذج اللغة، يمكن أن تمثل الوحدات اللفظية أنواعًا أخرى من كل الوحدات. على سبيل المثال، في الرؤية الحاسوبية، قد تكون الوحدة اللفظية مجموعة فرعية من الصورة.