Kenichi Maehashi kmaehashi

ノード追加削除時の各アルゴリズムで予想される挙動まとめ

概要

本文書では， Jubatus のノードがクラッシュしたり追加されたりしたときに，各アルゴリズムが ANALYZE および UPDATE の処理を続けられるかどうかについて述べる．

概観

Jubatus C++: コーディングスタイルを現在の実装にあわせようとする草案

Google C++ Style Guide

http://google-styleguide.googlecode.com/svn/trunk/cppguide.xml

これをベースにJubatus向けに直す。直す際には、書式の再フォーマット以外での変更はバグ回避のためなるべく最小限に抑えてコードを綺麗にしたい。

Classes

新 generator 実装方針

概要

generator は以下の機能を目的としている。

これまでの議論と進め方などのまとめ

Jubatus において状態書出/読込機能が必要となるユースケース

save/load という既存機能に関わらず、状態書出/読込機能が必要とされるケースを列挙する。必ずしも、状態書出/読込で実現する必要はない。

「誤ったデータを学習させた」などのオペレーションミスへの対策

Jubatus rpc 性能評価結果

standalone, read-lock, 64byte response

environment:
- PC1: client
- PC2: server

MessagePackが文字列とバイナリをわけないのは問題？

msgpack/msgpack#121

Objective Cの実装使ってるとある問題にぶちあたった．なので，文字列をちゃんとバイナリ(Raw)と分けるべき，という提案

(*) 俺は熟読したわけではないので，中身が気になる人はちゃんと本スレを読みましょう

そもそもMessagePackとは

MessagePack RPCクライアントの振る舞い及びエラー処理

概要

MessagePack-RPCのクライアントのエラー処理を正しく、またその後に何をすべきか（可能か）まとめる。「このエラー起きたとき、どう処理すべきか？」ということを説明する。

説明しないこと：RPCサーバの作り方、各言語のライブラリのプロトコル実装やエラー定義の差。

解決したい問題

put_diffを取り漏らした時などに学習モデルがズレる
新規マシンを追加する機能がない

解決方針

モデルにバージョン番号を埋め込む事で一番多くmixを受け取ったモデルを識別可能にする
get_diff時にバージョン番号を埋め込む事でそのdiffをmixに利用するかを判断する
put_diff時にバージョン番号を埋め込む事で受け取った側が今持っているモデルが最新かどうかを判断する
今持っているモデルが最新でないと判断したら他のプロセスからモデルを受け取る

	/*
	* parse_link_header()
	*
	* Parse the Github Link HTTP header used for pageination
	* http://developer.github.com/v3/#pagination
	*/
	function parse_link_header(header) {
	if (header.length == 0) {
	throw new Error("input must not be of zero length");
	}

	jubatus管理ツール群役割(現状)
	===============================

	定義
	-----------

	- task
	NAMEによって区別される機械学習タスク

	- node