Tokenizácia textu je základný krok v spracovaní prirodzeného jazyka (NLP), ktorý rozdeľuje text na menšie jednotky, nazývané tokeny. Tento proces je nevyhnutný pre rôzne aplikácie v oblasti spracovania jazyka, ako je analýza sentimentu, strojový preklad, a rozpoznávanie reči. Tokeny môžu byť slová, ...