LLVMによるプログラミング言語の実装の日本語訳(http://peta.okechan.net/blog/llvm%E3%81%AB%E3%82%88%E3%82%8B%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E8%A8%80%E8%AA%9E%E3%81%AE%E5%AE%9F%E8%A3%85)をクロールして、epub/mobiを作成するスクリプト。 依存は、NokogiriとCalibre(http://calibre-ebook.com/)のコマンドラインツール

llvm_scraping.rb

require 'nokogiri'
require 'open-uri'
require "FileUtils"

html = Nokogiri::HTML(open("http://peta.okechan.net/blog/llvm%E3%81%AB%E3%82%88%E3%82%8B%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E8%A8%80%E8%AA%9E%E3%81%AE%E5%AE%9F%E8%A3%85"))

url_list = html.css("article li a").collect{|a| a["href"]}
 
article_list = url_list.collect{|url|
   article_doc =  Nokogiri::HTML(open(url))
   article_doc.css("article").first
}

article_list.each{ |article_doc|
  article_doc.css("img").each{ |ele|
    path = ele["src"]

    fileName = File.basename(path)
    dir = "img/"
    filepath = dir + fileName

    FileUtils.mkdir_p(dir) unless FileTest.exist?(dir)
    
    open(filepath, 'wb') do |output|    
      open(path) do |data| 
        output.write(data.read)       
      end
    end

    ele["src"] = filepath
  }
}

open("temp.html", "w"){ |f|
  article_list.each {|article|
    f.puts(article)
  }
}

title = html.title;
author = "@peta_okechan"

open("temp_title.txt", "w"){ |f|
  f.puts("% #{title}")
  f.puts("% #{author}")
}

`pandoc temp.html -o "#{title}.md"`
`pandoc temp_title.txt "#{title}.md" -o "#{title}.epub"`
`ebook-convert "#{title}.epub" "#{title}.mobi"`