Playing with Natural

bla.js

"use strict";

var natural = require('natural');

var tokenizer = new natural.WordTokenizer();

var stopwordsEn = natural.stopwords;
var stopwordsFr = require('natural/lib/natural/util/stopwords_fr.js').words;

var TokenizerFr = require('natural/lib/natural/tokenizers/aggressive_tokenizer_fr.js');
var frTok = new TokenizerFr();

var tokenizeEn = tokenizer.tokenize.bind(tokenizer);
var tokenizeFr = frTok.tokenize.bind(frTok);

var stemEn = natural.PorterStemmer.stem;
var stemFr = natural.PorterStemmerFr.stem;

function filterStopWordsEn(tokens){
    return tokens.filter(function(t){
        return stopwordsEn.indexOf(t) === -1;
    });
}

function filterStopWordsFr(tokens){
    return tokens.filter(function(t){
        return stopwordsFr.indexOf(t) === -1;
    });
}

function toStemsEn(str){
    return stemEn( filterStopWordsEn( tokenizeEn(str) ).join(' ') )
}

function toStemsFr(str){
    return stemFr( filterStopWordsFr( tokenizeFr(str) ).join(' ') )
}


console.log( toStemsEn("i am waking up to the sounds of chainsaws") );
console.log( toStemsFr("je vais bien, je vais bien, c'est une mélodie #nekfeu sans fin") );
console.log( tokenizeFr("je vais bien, je vais bien, c'est une mélodie #nekfeu sans fin") );