Daiki Noda sys9kdr

この記事はWebスクレイピング Advent Calendar 2017の17日目の記事です。puppeteerでクローリングします。

Google Chrome（Chromium）でクローリングをやる

SPAみたいなちょっと凝ったWebサイトをクローリングするときは一昔前はSelenium + PhantomJSあたりが鉄板でしたが、今後はSelenium + Headless ChromeもしくはPuppeteer + Headless Chromeが主流となっていく見通しです。（HeadlessとはGUIアプリケーションのGUIを介さないモードのことです。）

前者についてはWeb上に情報も多いですが、Puppeteerでクローリングする話をそんなに見ない気がするのでクローリングの歴史を踏まえてやってみます。

一昔前のクローリング

何が起こったか

本件は私の身に起きた2つの大きな問題についてとりあげる。

泥酔後に風呂でスマートフォンを使ったことによる水没事故。
水没後操作不能になったスマートフォンを買い換えるにあたって事前調査不足で割高な商品を買ってしまったこと。

泥酔後に風呂でスマートフォンを使ったことによる水没事故

9/9、飲み会後に泥酔したまま風呂（入浴剤入）に入る。いつものように風呂でスマートフォンをしていたところ値落ちしてスマートフォンを水没させる。

設計方針

gfでターミナル
- netrwを使わないでファイルを外に渡して開く
- vimで編集しないリストに入ってなかったらmap gf :e <cfile><CR>
vimで編集しないリストに入ってたらopen かな

TKG

TKGアドベントカレンダーの24日目の投稿です。

すき家派、松屋派、吉野家派、自宅の近くにありゃ好き派。牛丼チェーン店の嗜好についてはさまざまな派閥がありますが、私は自宅の近くにありゃ好き派で、自宅の近くにあるのはすき家です。すき家でTKG食べました。

牛丼チェーンでのTKGといえば朝食メニューの卵かけご飯、牛丼＋生卵などが候補の筆頭です。今回は少し趣向を変えて、温泉卵とオクラとかつぶしをご飯に乗せる、まぜのっけごはん朝食を注文しました。

	function! MdHeadertoQflist()
	" heavily inspirde by SidOd/mkdx
	let l:headers = []
	" l:inCodeBlock = [inTildeCodeBlock, inBqCodeBlock]
	let l:inCodeBlock = [0, 0]
	for l:lnum in range(1, line('$'))
	let l:currentLineContents = getline(lnum)
	" 力技で```のコードブロックにも~~~のコードブロックにも対応した。パターンマッチがほしい。
	let l:mdIdentifier = matchstr(l:currentLineContents, '^\%(\`\`\`\\|\~\~\~\)')
	if (l:mdIdentifier ==# '```')

	#UseHook
	#IfWinActive ahk_exe AcroRd32.exe
	^r::^+n
	Return
	#IfWinActive

	#f::#s

	#UseHook
	#IfWinActive ahk_exe monitor.exe
	^r::
	ControlClick Button1
	ControlClick Button3
	Return
	#IfWinActive

	#f::#s

	import subprocess

	get_line_by_line_texlive_dependencies = subprocess.run(
	[
	"apt-cache",
	"depends",
	"texlive-full"
	],
	universal_newlines=True,
	stdout=subprocess.PIPE

	#!/usr/bin/env bash

	sleep 5
	open -gj -a 'Amethyst.app'
	sleep 7
	open -gj -a 'Google Drive File Stream.app'
	sleep 11
	open -gj -a 'OneDrive.app'

	REM @powershell -noprofile -Command docker run -v ${USERPROFILE}:/home/sys9kdr -it --rm ubuntu:18.04
	docker run -v %USERPROFILE%:/home/sys9kdr -it --rm ubuntu:18.04