Eneltron's Tokenizer – example usage

eneltron-example.clj

(require 'eneltron.tokens)
(eneltron.tokens/initialize-tokenizer)

(def tekst "Siała baba mak. Nie wiedziała jak. Raz, dwa – oraz – 4.")

(time (def wynik (eneltron.tokens/tokenize tekst)))
; => "Elapsed time: 0.230337 msecs"

(apply print
       (map #(str (apply str (next (str (:token-class (meta %1))))) " ->" \tab \tab (apply str %1) \newline)
            wynik))

 letter ->		Siała
 separator ->		 
 letter ->		baba
 separator ->		 
 letter ->		mak
 punctuation ->		.
 separator ->		 
 letter ->		Nie
 separator ->		 
 letter ->		wiedziała
 separator ->		 
 letter ->		jak
 punctuation ->		.
 separator ->		 
 letter ->		Raz
 separator ->		 
 letter ->		–
 separator ->		 
 letter ->		oraz
 separator ->		 
 letter ->		–
 separator ->		 
 number ->		4
 punctuation ->		.