Shuzo Kashihara suma

jubatus/coreをサーバから独立させたAPI設計・リポジトリ分離

目的

追記（2013/07/29, 17:36以降)

Jubatusがどんなフレームワーク・機能を提供するのか明確にする #250
公開API/非公開モジュールの振る舞いや仕様を明確にし、それらを利用・メンテナンス可能な状態にする（一部の人間しか利用・メンテナンスできない状態を避ける）
ライブラリのみでJubatusを利用可能にする（ユーザを増やす）

assert 使用のガイドライン

大原則

assert で示されている条件は，正しくプログラムが書けている場合，必ず成立する
状況次第で失敗する可能性のある条件を assert にかけてはならない
- 例として，ユーザ入力や設定ファイルの妥当性検証を assert で行なってはならない
例外にするべきか assert にするべきか迷った場合には，とりあえず例外を使うことを検討する
- どの例外を投げるのが相応しいかを考える過程で，思考が整理されることが期待できる
思考整理ができなかった場合には，その旨をソースコードや pull req. のコメントに残す

MessagePack update proposal v5

# MessagePack specification

MessagePack is an object serialization specification like JSON.

MessagePack has two concepts: type system and formats. Serialization is conversion from application types into MessagePack formats via MessagePack types. Deserialization is conversion from MessagePack formats into application types via MessagePack types.

Serlialization:

Backup and Recovery

Jubatus サーバは、メモリ上で機械学習に関するデータを管理しています。メモリ上でデータを管理するという性質上、Jubatusサーバプロセスの終了とともに Jubatus 上のデータは失われます。

Jubatus では、予期せぬプロセスの終了や誤ったオペレーションに備え、バックアップとリカバリのための機能を提供しています。

現在、Jubatus では、以下の手段を提供しています。

Vagrantの最新版をインストール

http://downloads.vagrantup.com/
v1.1.5(現時点最新)をダウンロードしてインストール
OSXなのでVagrant.dmg
インストール確認

$ vagrant -v
Vagrant version 1.1.5

RPC 関連の課題整理

Jubatus サーバのタイムアウト機能を使用したくないユーザ (--timeout 0) の救済方法を検討する
- 解決策: クライアントから close できるインタフェースを用意する (Jubatus クライアントを修正)
  - https://gist.github.com/kmaehashi/ab51ae3232e2bb092ad8
Jubatus サーバのタイムアウト機能を使用したいユーザの救済方法を検討する
- サーバから timeout で自動切断(サーバから TCP FIN パケット送信)された後に RPC メソッドを呼んだ際に RPC エラーが起きるのが不親切 (C++/Python/Ruby のみ)
解決策の案(松): サーバから受け取った FIN リクエストを正しくハンドリングするように修正 (msgpack-rpc ライブラリを修正)

Jubatusコード規約

原則 Google C++ Style Guide に従います。但し、以下の点に関して差分があります。

なお、外部から導入された jubatus/server/third_party 以下のファイルは対象外です。

これまでの議論と進め方などのまとめ

Jubatus において状態書出/読込機能が必要となるユースケース

save/load という既存機能に関わらず、状態書出/読込機能が必要とされるケースを列挙する。必ずしも、状態書出/読込で実現する必要はない。

「誤ったデータを学習させた」などのオペレーションミスへの対策

	#ifndef INCLUDED_ASSERT_HPP_
	#define INCLUDED_ASSERT_HPP_


	#ifndef ETUDE_DISABLE_ASSERTIONS


	#include <glog/logging.h>

	// declares expr to be true

	v0.3.4
	build/rpc-bench --host 192.168.1.59 --port 9001 --query 1000 --thread 1
	#thread: 1
	total query: 1000
	total time(msec): 92120.9
	query/sec: 10.8553
	latency(msec): 92.1198
	build/rpc-bench --host 192.168.1.59 --port 9001 --query 1000 --thread 1
	#thread: 1
	total query: 1000