Sutou Kouhei kou

データ分析用次世代データフォーマットApache Arrow勉強会

みなさん、Apache Arrowはご存知ですか！？Apache Arrowは現在主流のOSSのデータ分析ソフトウェアの開発者たちが共同で開発しているデータ分析用の次世代データフォーマットです。データ分析をしている人ならApache Spark、Pandas、Apache Drill、Apache Hadoop、Apache Cassandra、Rの中に知っているプロダクトがあるはずです。これらはApache Arrowの開発に参加しているプロダクトの一部です。いかにOSSのデータ分析ソフトウェアがApache Arrowに期待しているかがわかります。

これらのプロダクトはいずれApache Arrowを使うようになります。これらのプロダクトが使うようになると他のプロダクトも追従し、近いうちにスタンダードなフォーマットになるでしょう。今のうちにApache Arrowを学んでおきましょう！

Apache Arrowが解決する問題

データ分析は多くの技術を活用して実現します。そのため、1つのプロダクトだけでなにもかも実現するのではなく、複数のプロダクトで連携して実現します。適材適所！そのときに課題になるのがデータ交換です。

25ページ Linxu→Linux（「x」と「u」が逆）
25ページ Nginx→nginx（最初の「N」が大文字になってしまっている）
25ページ redis→Redis（最初の「r」が小文字になってしまっている）
30ページ今回筆者が容易→今回筆者が用意（「容易」→「用意」）
33ページ表示されることとが→表示されることが（「と」が多い）
36ページこのMySQLは間っ平→このMySQLは真っ平（「間」→「真」。個人的には「平ら」が好み。）
52ページドキュメント}→ドキュメント（「}」がゴミ）
53ページ query ccache→query cache（「c」が多い）

MySQLとPostgreSQLと日本語全文検索の第2弾の案。

参考：第1弾

前回は使っていない人向けの情報を提供することを重視したが、今回は1回でもMySQL 5.7 InnoDB FTS/Mroonga/pg_bigm/PGroongaのどれかを触ったことがある人向けの情報を提供する。1回でもはインストールしてチュートリアルを実行した程度でよい。

好評だったら同じターゲット（1回でも触ったことがある人向け）で第3弾、第4弾を開催する予定。

2016年5-7月あたりに開催したい。

2016年2月9日開催予定のイベントの内容「案」

イベント名

MySQLとPostgreSQLと日本語全文検索

概要

次の2つのことについて紹介するイベント

commit-email.infoで mruby, CRuby, Ruby on Rails のコミットメール（色付きdiff入り）を配信している。配信にはQuickMLを使っているので次のメールを送るとsubscribeできる。

mrubyの場合:

To: [email protected]
Cc: [email protected]
Subject: Subscribe
--
Subscribe

	<?xml version="1.0"?>
	<!DOCTYPE fontconfig SYSTEM "fonts.dtd">
	<fontconfig>
	<alias>
	<family>sans-serif</family>
	<prefer>
	<family>Noto Color Emoji</family>
	</prefer>
	</alias>
	<alias>

	#!/usr/bin/env ruby

	require "rbplotly"
	require "webkit2-gtk"

	x = [0, 1, 2, 3, 4]
	trace0 = { x: x, y: [0, 2, 1, 4, 3], type: :scatter, mode: :lines }
	trace1 = { x: x, y: [4, 1, 3, 0, 2], type: :scatter, mode: :'markers+lines' }
	data = [trace0, trace1] # data must be an array

	# 「terms」以外はテンプレ
	table_create terms \
	TABLE_PAT_KEY \
	ShortText \
	--default_tokenizer TokenBigram \
	--normalizer NormalizerAuto

	# 「terms」と「body_index」と
	# 「pdfs」と「body」以外はテンプレ
	column_create terms body_index \

	#!/usr/bin/env ruby

	require "benchmark"

	n_executes = 1_000_000
	n_keys = 100

	initial_key = "a" * 20
	initial_key_symbol = initial_key.to_sym
	initial_key_number = 1

	@preformatted_keep_in_size = false
	@syntax_highlighting_keep_in_size = false
	include_theme("default")

	match("**", PreformattedBlock) do \|blocks\|
	blocks.prop_set("size", @xx_small_font_size)
	blocks.wrap_mode = :char
	blocks.margin_right = screen_x(7)
	end