ephemeralsnow’s gists

ephemeralsnow / gist:5771122

Last active December 18, 2015 10:49

fluentd+elasticsearch+kibanaの設定

	# fluentd 0.10.35
	# elasticsearch 0.90.1
	# kibana 0.2.0

	# fluentd.conf
	<match java_service.accesslog>
	type elasticsearch
	host localhost
	port 9200
	index_name java_service # ignore?

ephemeralsnow / gist:5786537

Last active December 18, 2015 12:59

source, match の記述順序の解釈ミスでハマったこと

	################################################################################
	# ※追記
	################################################################################
	in_tail -> out_forward -> in_forward -> out_file
	の動作確認をしたかったが、2パターンとも期待とは異なっていたことが判明。

	NGとしていたパターンは常に <match forward.p.**> にマッチし、
	in_tail -> out_forward -> in_forward -> out_forward -> in_forward -> ... とループする。

	OKとしていたパターンは常に <match forward.p.java-pd.access> にマッチし、

ephemeralsnow / gist:6020051

Created July 17, 2013 12:20

fluentd の out_file で出力したファイルを読み込んで in_forward へ投げる

	require 'date'
	require 'time'
	require 'json'
	require 'fluent-logger'

	logger = Fluent::Logger::FluentLogger.new(nil, :host => '127.0.0.1', :port => 24224)
	IO.foreach("fluentd_out_file.log") { \|line\|
	line.scan(/^([^\t]+)\t([^\t]+)\t(.+)$/) { \|a\|
	datetime = DateTime.parse(a[0])
	time = datetime.to_time

ephemeralsnow / gist:6228973

Last active December 21, 2015 01:39

Rubyで相対パスを使いたい場合とかのスニペット

	File.expand_path(File.dirname(__FILE__))
	=
	File.expand_path('.', File.dirname(__FILE__))
	=
	File.expand_path('..', __FILE__)


	File.dirname(File.expand_path(__FILE__))

ephemeralsnow / gist:6431596

Last active December 22, 2015 06:29

ActiveModel::Validations::ByteLengthValidator

	module ActiveModel

	# == Active \Model ByteLength \Validator
	module Validations
	class ByteLengthValidator < EachValidator # :nodoc:
	MESSAGES = { is: :wrong_length, minimum: :too_short, maximum: :too_long, encoding: "encode_error" }.freeze
	CHECKS = { is: :==, minimum: :>=, maximum: :<= }.freeze

	RESERVED_OPTIONS = [:minimum, :maximum, :within, :is, :too_short, :too_long]

ephemeralsnow / gist:6591286

Created September 17, 2013 07:54

ElasticSearch勉強会第1回

	Lucene, Solr, ElasticSearchの基本は転置インデックス

	転置インデックスの作り方
	・N-gram
	・形態素解析

	フィールドごとに使い分けをする


	ElasticSearchのインデックス構成（論理）

ephemeralsnow / gist:6710697

Created September 26, 2013 06:55

jQueryで var $id1 = $("#id1"), $id2 = $("#id2"); と変数にキャッシュし、 toTraversable($id1, $id2).css("color", "red"); と書きたかった。

	var toTraversable = function(args) {
	var $result = $();
	$(arguments).each(function() {
	var $this = $(this);
	if ($this.length > 1) {
	$this.each(function() {
	$.merge($result, toTraversable(this));
	});
	} else {
	$.merge($result, $this);

ephemeralsnow / gist:7671370

Last active December 29, 2015 12:38

mingw(32bit) に the silver searcher 0.18.1 をインストールしたときのメモ

	# mingw(32bit) に the silver searcher 0.18.1 をインストールしたときのメモ
	# mingw は C:\MinGW へインストールし、一通りのパッケージも合わせてインストールした。

	# pkgconfig をビルド
	wget http://pkgconfig.freedesktop.org/releases/pkg-config-0.28.tar.gz
	tar xzf pkg-config-0.28.tar.gz
	cd pkg-config-0.28
	./configure --with-internal-glib
	make
	make install

ephemeralsnow / gist:7764300

Last active December 30, 2015 02:39

Elasticsearch 1.0.0.Beta2 でsnapshotを取ってみた結果

	・実行コマンド
	curl -XPUT 'http://127.0.0.1:9200/_snapshot/my_backup' -d '{
	"type": "fs",
	"settings": {
	"location": "/tmp/my_backup"
	}
	}'
	curl -XPUT 'http://127.0.0.1:9200/_snapshot/my_backup/snapshot_1?wait_for_completion=true'
	curl -XPUT 'http://127.0.0.1:9200/_snapshot/my_backup/snapshot_2?wait_for_completion=true'

ephemeralsnow / gist:7867882

Created December 9, 2013 05:53

Ruby 2.0.0p353, fluentd 0.10.41 をフォアグラウンドプロセスで動かして、Ctrl-Cをしたら出た。

	2013-12-09 14:49:10 +0900 [info]: shutting down fluentd
	2013-12-09 14:49:10 +0900 [warn]: unexpected error while shutting down error_class=NoMethodError error=#<NoMethodError: undefined method `close' for nil:NilClass>
	2013-12-09 14:49:10 +0900 [warn]: /usr/local/lib/ruby/gems/2.0.0/gems/fluentd-0.10.41/lib/fluent/plugin/in_tail.rb:146:in `block in close'
	2013-12-09 14:49:10 +0900 [warn]: /usr/local/lib/ruby/gems/2.0.0/gems/fluentd-0.10.41/lib/fluent/plugin/in_tail.rb:145:in `reject!'
	2013-12-09 14:49:10 +0900 [warn]: /usr/local/lib/ruby/gems/2.0.0/gems/fluentd-0.10.41/lib/fluent/plugin/in_tail.rb:145:in `close'
	2013-12-09 14:49:10 +0900 [warn]: /usr/local/lib/ruby/gems/2.0.0/gems/fluentd-0.10.41/lib/fluent/plugin/in_tail.rb:75:in `block in shutdown'
	2013-12-09 14:49:10 +0900 [warn]: /usr/local/lib/ruby/gems/2.0.0/gems/fluentd-0.10.41/lib/fluent/plugin/in_tail.rb:74:in `each'
	2013-12-09 14:49:10 +0900 [warn]: /usr/local/lib/ruby/gems/2.0.0/gems/fluentd-0.10.41/lib/fluent/plugin/in_tail.rb:74:in `s

Yuzuki Masaru ephemeralsnow