| package main | |
| import ( | |
| "fmt" | |
| "github.com/PuerkitoBio/goquery" | |
| "net/url" | |
| ) | |
| var stock = []*url.URL{} | |
| var base string = "http://yunocchi.org/" |
| package main | |
| import ( | |
| "fmt" | |
| "net/url" | |
| "strings" | |
| "github.com/PuerkitoBio/goquery" | |
| ) |
| package main | |
| import ( | |
| "fmt" | |
| "net/url" | |
| "strings" | |
| "github.com/PuerkitoBio/goquery" | |
| ) |
| package main | |
| import ( | |
| "fmt" | |
| "io/ioutil" | |
| "net" | |
| ) | |
| func main() { | |
| conn, err := net.Dial("tcp", "gopher.quux.org:70") |
どうも、お久しぶりです、7yan00です！ 今回はgoでシンプルなweb画像収集クローラーを作る話をしたいと思います。 しかし、まだまだ経験不足故、間違っている点、改善点なども多数あるかと思いますので、もし何かあれば僕7yan00にリプライなりコメントなりをしていただければ幸いです。
## スクレイピング web上の画像を収集するためにはまずその画像のリンク先の値を入手せねばなりません、よってここではまずスクレイピングをします。net/htmlなどを使って取得することもできますが、ここではより簡単にgoqueryを使いたいと思います！ goqueryでお手軽スクレイピング！ Big Sky::Go言語で jQuery ライクな操作が出来る goquery を試した を参考にさせてもらいました。 goqueryは短い上にシンプルにスクレイピングするコードを記述することができます。
| package main | |
| import ( | |
| "bufio" | |
| "bytes" | |
| "encoding/json" | |
| "flag" | |
| "fmt" | |
| "io/ioutil" | |
| "log" |
| みなさん、gopherはご存知でしょうか。 | |
| gopherといったらやっぱりこの子、プログラミング言語Goのマスコット、Gopherくんですよね！ | |
| でも今回はそれじゃなくて、1991年に開発された通信プロトコル、RFC1436 "Gopher" の話です。 | |
| 今回はこのGopherをGoから使ってあげたいと思います。 | |
| ##Gopherとは | |
| ”Gopher（ゴーファー）とは、インターネットがテキストベース(文字情報主体)のネットワークであった1991年に、アメリカ合衆国のミネソタ大学が開発したテキストベースの情報検索システム。 | |
| 1993年頃から本格的になったWWWの普及や、Gopherそのものが日本語などマルチバイト文字環境に対応していなかったため、2013年1月現在はほとんど使われていない。” ---https://ja.wikipedia.org/wiki/Gopher |