Taniguchi Yasufumi yasufumy

HaskellでWebスクレイピング

この記事はHaskell Advent Calendar 2012の26日目の記事です。Haskell Advent Calendar初参加です。コメントなどお待ちしております。

前提知識 - Haskellでの文字列処理

HaskellではString([Char]の別名)が文字列の基本型で、これはリストであるためにパターンマッチ・再帰やPreludeやData.Listにあるリスト用の関数を使って処理ができるという利点があります。ただし、実用上はパフォーマンスが低いため、TextやByteStringが代わりに用いられます。Textはいわゆるユニコード文字列、ByteStringはバイト列という区別です。この使い分けに関してはちょうどAdvent Calendarの@brain_appleさんのこの記事で解説されました。StackOverflowでの質問も参考になります。

HaskellでのHTMLパーシング用ライブラリの概観

Hackageを見ると、

THIS GIST WAS MOVED TO TERMSTANDARD/COLORS REPOSITORY.

PLEASE ASK YOUR QUESTIONS OR ADD ANY SUGGESTIONS AS A REPOSITORY ISSUES OR PULL REQUESTS INSTEAD!

マイクロサービス化が進む背景について考えてみた

最近マイクロサービスって流行ってますよね。バズってると言ってもいいくらい。

個人的には、「マイクロサービスって結局何なの？」とか、「SOAと何が違うわけ？」とかいう議論は苦手です。

でも「なんでみんなマイクロサービスで作りたいのか？なんでマイクロサービスで作られるサービスが多いのか？」にはすごく興味があるんです。

僕は今、シリコンバレーにある日系SIerの小さな子会社で駐在員をやっていますが、このエリアに居ると、とにかく最近、

「サービス全体が、独立した小さなサービスの集合で構成されるようになってきている」

Close Android File Transfer
Open Activity Monitor and kill “Android File Transfer Agent”
Go to where you installed “Android File Transfer.app” (I have it under /Applications)
Ctrl+click –> “Show package contents”
Go to Contents/Resources
Rename “Android File Transfer Agent” to e.g. “Android File Transfer Agent_DISABLED”
Then go to “/Users/username/Library/Application Support/Google/Android File Transfer” and again rename the Agent app.

	"""
	(C) Mathieu Blondel - 2010
	License: BSD 3 clause

	Implementation of the collapsed Gibbs sampler for
	Latent Dirichlet Allocation, as described in

	Finding scientifc topics (Griffiths and Steyvers)
	"""

	[unix_http_server]
	file=/tmp/supervisor.sock ; path to your socket file

	[supervisord]
	logfile=/var/log/supervisord/supervisord.log ; supervisord log file
	logfile_maxbytes=50MB ; maximum size of logfile before rotation
	logfile_backups=10 ; number of backed up logfiles
	loglevel=error ; info, debug, warn, trace
	pidfile=/var/run/supervisord.pid ; pidfile location
	nodaemon=false ; run supervisord as a daemon

	#!/usr/bin/env python

	import base64
	import uuid

	print base64.b64encode(uuid.uuid4().bytes + uuid.uuid4().bytes)

	#!/usr/bin/python

	# crf.py (by Graham Neubig)
	# This script trains conditional random fields (CRFs)
	# stdin: A corpus of WORD_POS WORD_POS WORD_POS sentences
	# stdout: Feature vectors for emission and transition properties

	from collections import defaultdict
	from math import log, exp
	import sys

	from numpy.lib.stride_tricks import as_strided
	def ngrams_via_striding(array, order):
	itemsize = array.itemsize
	assert array.strides == (itemsize,)
	return as_strided(array, (max(array.size + 1 - order, 0), order), (itemsize, itemsize))

	In [71]: a = numpy.arange(10)

	In [72]: ngrams_via_striding(a, 4)
	Out[72]:

	#!/bin/sh

	sudo apt-get update
	sudo apt-get upgrade -y
	sudo apt-get dist-upgrade -y

	sudo apt-get install -y git subversion unzip
	sudo apt-get install -y build-essential gfortran
	sudo apt-get install -y python-virtualenv
	sudo apt-get install -y python-dev