noun
токендеуіш
A program or algorithm that splits text into smaller units called tokens, such as words, phrases, or symbols, often used in natural language processing (NLP).
Мәтінді кішірек бөліктерге (токендерге), мысалы сөздерге, сөйлемшелерге немесе таңбаларға бөлетін бағдарлама немесе алгоритм. Әдетте табиғи тілді өңдеуде (ТТӨ) қолданылады.
sordсөздік / EN↔KZsordсөздік / EN↔KZsord