沢山ツイートしている単語を知る

tweets.zsh

$ < p_ck_161121.csv |
  ruby -rcgi -rcsv -e '
  CSV.parse($<){|row|
    puts CGI.unescapeHTML(row[2].gsub(/\@[a-zA-Z0-9_]+/, "").gsub(%r!https?://\S+!, ""))
  }' | head -12000 |
  docker run --rm -i docker-mecab-neologd:latest |
  grep '\s名詞,' | grep -v '語幹' | grep -v '非自立' | grep -v -E '^ー+\s' | cut -f 1 | ruby -pe '$_.downcase!' | sort | grep -v '^.$' |
  ruby -e '
  c = 1; p = nil;
  while gets
    if $_.chomp==p then c+=1 else puts "#{c} #{p}"; c=1; p=$_.chomp end
  end' |
  sort -nr | head -101 | ruby -pale '$_="#{$F[1]} #{$F[0]}"'