WWDC2014のビデオ一覧をmarkdown形式のリストに変換するrubyスクリプト

wwdc2014_video.rb

# WWDC2014のビデオ一覧をスクレーピングして、markdown形式のリストで出力するスクリプト
# ruby ./wwdc2014_video.rb  > wwdc2014_video_list.md5
#
# 参考にしたサイト：
# http://morizyun.github.io/blog/ruby-nokogiri-scraping-tutorial/
# http://d.hatena.ne.jp/otn/20090509/p1

 
require 'open-uri'
require 'nokogiri'  #gem install nokogiri


url = 'https://developer.apple.com/videos/wwdc/2014/'

charset = nil
html = open(url) do |f|
  charset = f.charset
  f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)

# タイトルを表示
p doc.title

doc.xpath('//li[@class="session"]').each do |node|
  # tilte
  title = node.at('[@class="title"]').inner_text
  link_ary = []
  # ↓xpathで".//"としないと、親からも探してしまうよう。
  node.xpath('.//p[@class="download"]').xpath('.//a').each do |link|
    name = link.inner_text
    if name=="HD" || name=="PDF" || name=="SD" then
      url = link.attribute('href').value
      link_ary.push "[#{name}](#{url})"
    end
  end
  puts "- #{title} #{link_ary.join(" ")} \n\n"
end