Yoshihito Aso YoshihitoAso

Ubuntu(on VirtualBox)上にOpenIGをインストールする手順

$ vagrant box add ubuntu http://cloud-images.ubuntu.com/quantal/current/quantal-server-cloudimg-vagrant-amd64-disk1.box
$ vagrant init ubuntu

OSを起動する。

$ vagrant box add ubuntu http://cloud-images.ubuntu.com/quantal/current/quantal-server-cloudimg-vagrant-amd64-disk1.box
$ vagrant init ubuntu

OSを起動する。

jad -8 -d src -s .java -r dist **/*.class

でOK。

srcディレクトリ配下にデコードされたソースが格納される。

HiveServer2 http://www.slideshare.net/schubertzhang/hiveserver2

HiveServer2 Clients - Apache Hive - Apache Software Foundation https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients

CDH4をインストール済みであれば、HiveServer2の起動は以下のようにして行える。

pythonから利用するためのモジュールとしてPyMongoを利用する。

インストール方法は簡単で、pipであれば以下でOK。

$ pip install pymongo

※参考情報：OSのバージョン

$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=12.10
DISTRIB_CODENAME=quantal
DISTRIB_DESCRIPTION="Ubuntu 12.10"

※参考情報：OSのバージョン

$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=12.10
DISTRIB_CODENAME=quantal
DISTRIB_DESCRIPTION="Ubuntu 12.10"

pyqueryを使ってスクレイピングしてみたのでメモ

インストールは

pip install pyquery

でOK。pyqueryが依存しているlxmlもあわせてインストールされる。

	#!/usr/bin/env python
	# -- coding: utf-8 --
	from pyquery import PyQuery as pq

	def main():
	# 気象庁東京 2014年1月データ
	url = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
	'prec_no=44&block_no=47662&year=2014&month=1&day=&view=')
	# pyquery
	query = pq(url, parser='html')

	#!/usr/bin/env python
	# -- coding: utf-8 --

	from pyquery import PyQuery
	import json

	q = PyQuery(url='http://mainichi.jp/select/biz/archive/')
	url = 'http://mainichi.jp/select/news/'

	links = []