Hideaki Takahashi hideaki-t

#正規化

制御文字の変換もしくは除去
全角-半角英数字の変換
半角英数字の大文字 - 文字変換
全角-半角カタカナの変換
Unicode正規化
http://ja.wikipedia.org/wiki/Unicode%E6%AD%A3%E8%A6%8F%E5%8C%96
http://www.javainthebox.net/laboratory/JavaSE6/normalizer/normalizer.html
情報ソース固有の文字列
Twitter(@, RT, etc…)

なんかClouderaが出したらしい．Hiveと違ってMapReduceをやらず，独自のクエリエンジンを使っている．場合によっては10x以上速くなるらしい．GoogleのDremelに触発されて2年かけて作ってたらしい．

構成

Frontend / Backendのサーバが2種類．FrontendがBeeswax経由でWebから叩けたりする．BackendはHDFSとかのデータノード上でクエリとかを実行するやつだと思われる(2.の実行エンジン辺り？)．

ソース

主要なディレクトリはcommon, be(backend), fe(fronend)の3つ．

GitHub Flow

31 Aug 2011

git-flowの問題点 (Issues with git-flow)

レビューのススメ？

typo 死ぬほど多いので突っ込みまってます

バージョン:	0.2.3
作者:	@voluntas

考え方はコロコロ変わるタイプなのですが、最近はレビューが実はとても大事でとにもかくにもレビューなのでは？と思い始めてきています。

#NoSQLデータモデリング技法

原文：NoSQL Data Modeling Techniques « Highly Scalable Blog

I translated this article for study. contact matope[dot]ono[gmail] if any problem.

NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティックな理論に欠けている。本稿で、私はデータモデリングの視点からのNoSQLシステムファミリーの短い比較といくつかの共通するモデリングテクニックの要約を解説したい。

本稿をレビューして文法を清書してくれたDaniel Kirkdorfferに感謝したいと思う

	#/usr/bin/env python
	# encoding: utf-8

	import os
	import sys
	import atexit
	import json
	import time
	import tempfile
	import wave

	"""
	Simple demonstration of how to implement Server-sent events (SSE) in Python
	using Bottle micro web-framework.

	SSE require asynchronous request handling, but it's tricky with WSGI. One way
	to achieve that is to use gevent library as shown here.

	Usage: just start the script and open http://localhost:8080/ in your browser.

	Based on:

	#!/usr/bin/python

	# A python implementation of the string rewriting kernel
	# by Graham Neubig
	#
	# Reference:
	# Fan Bu, Hang Li, Xiaoyan Zhu. "String Rewriting Kernel". ACL 2012
	# http://aclweb.org/anthology-new/P/P12/P12-1047.pdf

	from math import factorial

	# public domain
	from StringIO import *

	def replaces(s, args):
	for key, value in args.iteritems():
	s = s.replace(key, value)
	return s

	def from_entity(s):
	return replaces(s, {