IMAMASU Ryohei rimms

機械学習エンジンごとの取得情報

目的/考え方

Jubatus を運用する上で、以下の観点での情報が必要と考える。
- 学習リクエストが正しく到達したことを確認できる情報

ZooKeeper上のノード一覧

1 | /jubatus | False | False |

目的

Jubatus は ZooKeeper 上のリソースを操作するが、そのリソースが期待する状態ではなかった場合の動作について、明確な方針がない。

以下を定義する。

ZooKeeper 上のリソースの CRU(D) 操作に関する方針

目的

現状の Jubatus では、異常発生時の振る舞い、異常時に出力するログに統一感があるとは言いがたい。

下図のようなスタンドアロンモードを冗長化した運用環境を想定した際に、発生しうる事象と回避策を明文化する。

スタンドアロン冗長化構成にて運用する目的

可用性・耐障害性性の向上
- Jubatus を冗長化させることによる障害発生時のサービス停止に対する信頼性の向上
トラフィックの負荷分散

get_status 取得情報追加 (案)

概要

0.5.0 で取得可能な情報は以下の wiki に記載の通り。
- https://github.com/jubatus/jubatus/wiki/Behavior-of-get_status-RPC-(Japanese)
これらの情報に加えて、現時点で必要だと思われる情報について、整理する。

standalone mode

{'xx.x.xxx.xxx_9199': {'PROGNAME': 'jubaclassifier',
                       'RSS': '5488',
                       'SHR': '4684',
                       'VERSION': '0.5.0',
                       'VIRT': '243352',
                       'clock_time': '1389784846',
                       'configpath': 'config/classifier/arow.json',

現状の動作

Proxy-Server間のタイムアウト

Proxy から Server の通信処理(全体)が、 interconnect_timeout を超えると、 msgpack::rpc::TIMEOUT_ERROR を返却する。
- ある Server との通信でタイムアウトが発生したというのは、異なる意味付け。「Proxy 処理(転送手続き)のタイムアウト」という意味になっている。
- 本タイムアウトが発生した場合は、結果受付中の通信をすべてキャンセルする。

	+----------+--------------+----------+----------+--------------+-------------------+-------------------------------------------+
	\| /jubatus \| /config \| /type \| /name \| config の内容が書き込まれる \|
	+ +--------------+----------+----------+--------------+-------------------+-------------------------------------------+
	\| \| /actors \| /type \| /name \| /config_lock \| /rlock_0000000001 \| jubaserver 起動時に作成される \|
	+ + + + + +-------------------+-------------------------------------------+
	\| \| \| \| \| \| /wlock_0000000001 \| jubaconfig で config 書込み中に作成される \|
	+ + + + +--------------+-------------------+-------------------------------------------+
	\| \| \| \| \| /nodes \| /ip_port \| jubaserver の IPアドレスとポート番号 \|
	+ + +

	#!/usr/bin/env python
	# -- coding: utf-8 --

	import subprocess
	from jubatus.common import Datum
	from jubatus.recommender import client

	NAME = "test";
	PORT = 9199