Skip to content

Instantly share code, notes, and snippets.

View pochi's full-sized avatar

pochi_black pochi

21 followers · 30 following
View GitHub Profile
@pochi
pochi / coreos.md
Created August 1, 2014 05:28
@pochi
pochi / monitoring.rb
Last active August 29, 2015 14:02
require "rubygem"
require "systemu"
require "fileutils"
record_dir = "/root/records"
FileUtils.mkdir_p(record_dir) if !File.exists?(record_dir)
def ready
result = systemu("netstat -an | grep 8080 | grep -v grep | grep EST | wc -l")[1].chomp
while result.to_i > 80
@pochi
pochi / spark_rdd.md
Created February 25, 2014 18:54

Resilient Distributed Datasets(RDD)

この章ではRDDの概要について説明します。 最初はRDD（$2-1）Sparkで利用するプログラムインタフェース($2-2)について説明します。それからメモリの詳細について説明し($2-3)、最後にSparkのモデルの限界($2-4)について議論します。

2-1. RDD概要

RDDは読み込み専用のレコードを分割した集まりです。RDDはオペレーションを通して安定したストレージか他のRDDが作成されます。私たちはこのオペレーションについて他のRDDオペレーションと差別化するためにtransformationsとよびます。例えばmap,filter,joinなどがそれにあたります。

RDDは常に実データを持つ必要はありません。その代わりRDDはストレージのデータからたどれるための情報を持つようにします。これはパワフルな特徴で失敗したあと、再構成できないRDDはプログラムから参照できません。

@pochi
pochi / about_custom_job.md
Last active August 29, 2015 13:56

Setup

  • move to directory which is installed Spark.

My case is below:

pochi 3:34:58 % cd /opt/local/repos/incubator-spark-1.0.0-beta/incubator-spark
@pochi
pochi / about_spark.md
Last active August 29, 2015 13:56

Install

  • Install from github.
git clone https://github.com/apache/incubator-spark.git
cd incubator-sparl
./sbt/sbt assembly
@pochi
pochi / rubyGC
Created February 1, 2014 15:20
Ruby 2.1のGCについて、RubyHackingGuideを見ながら理解してみようとしたログ
## Rubyのオブジェクトについて
### オブジェクトの定義
include/ruby/ruby.hにある。
それぞれのクラスの定義を抜粋する。
```ruby
struct RBasic {
VALUE flags;
@pochi
pochi / http2メモ.md
Last active December 29, 2015 10:39

Connectionクラス

http://http2.github.io/http2-spec/

Section 3.5によると Connection Headerは以下の文字列で識別する。

 CONNECTION_HEADER   = "PRI * HTTP/2.0\r\n\r\nSM\r\n\r\n"
@pochi
pochi / gist:7637902
Created November 25, 2013 07:58
GEM
remote: https://rubygems.org/
specs:
actionmailer (3.2.15)
actionpack (= 3.2.15)
mail (~> 2.5.4)
actionpack (3.2.15)
activemodel (= 3.2.15)
activesupport (= 3.2.15)
builder (~> 3.0.0)
@pochi
pochi / gist:5778967
Created June 14, 2013 02:08
Macの設定
Macの設定
---
* システム環境設定
* キー入力のスピードを最速にする
* Dockを自動的に隠す
* homebrewインストール
* fontインストール
* http://nkzn.hatenablog.jp/entry/2012/06/01/234855 (Ritcy)
* tmuxインストール
@pochi
pochi / graph.html
Created May 30, 2013 23:41
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<script type="text/javascript" src="http://code.jquery.com/jquery-2.0.1.min.js"></script>
<script type="text/javascript" src="http://mbostock.github.com/d3/d3.js?2.3.0"></script>
<style type="text/css">
svg {