Hadoop streaming用のmapper アクセスログからリファラーとかきりだし。

mapper.rb

#!/usr/bin/ruby
# アクセスログ解析用 mapper

accessLog = Hash.new
tmpLink = Array.new
tmpReferer = Array.new


#アクセスログを分割してReducerに渡す形式にする
ARGF.each do |log|
    #末尾の改行コードを削除
    log.chomp!


    #ださいけどこれで遷移先のアクションを取得
    /&/ =~ log
    /action=/ =~ $`
    tmpLink = $'
    if tmpLink.nil? then
        tmpLink= 'none'
    end

    #これもださいけどrefererからアクションを取得
    /http:/ =~ log
    /&/ =~ $'
    /action=/ =~ $`
    tmpReferer = $'
    if tmpReferer.nil? then
        tmpReferer = 'none'
    end

    # Reducerに渡すように形式を整えて出力
    puts "#{tmpReferer}\t#{tmpLink}"
end