Tokenizer.groovy

import org.nazt.lexto.*
class Tokenizer
{
	private def lextoObj = new LongLexTo(new File('lexitron.txt')) 	
	private def TypeList,IndexList=[]
	def tokenizedText=[]		
	Tokenizer(String srcText)
	{
			lextoObj.wordInstance(srcText)
			
			def indexPtr=0
			TypeList = lextoObj.getTypeList()
			IndexList= lextoObj.getIndexList()

			IndexList.eachWithIndex{ val, idx ->
				tokenizedText<<srcText[indexPtr..<val]
				indexPtr=val
			}
	}
	def getTokenizedText()
	{
		return this.tokenizedText
	}
	def getTokenizedText(String str)
	{ 
		this.tokenizedText.join("|")
	}
	def getTypeList()	{this.TypeList}
	def getIndexList()	{this.IndexList}
}
def c = new Tokenizer("ทดสอบการตัดคำโดยใช้Lextoนะครับนะหิวข้าวจังเลยตอนนี้แต่ว่าคิดไม่ออกว่าจะกินอะไรดี")
println c.getTokenizedText()
println c.tokenizedText
println c.getTokenizedText("String")