IMAMASU Ryohei rimms

lof and light_lof

max_id: current max value of id in storage (useful to understand next id)
num_ignored: the number of ids that were ignored by ignore_kth_same_point
unlearner's status: See jubatus/jubatus_core#166

lof

num_id_master: number of ids in lof_storage::_lof_table
num_id_diff: number of ids in lof_storage::_lof_table_diff

Exception policy of JubaProxy

Policy

通信先の Server のいずれかから例外(アプリケーション例外、通信レイヤの例外)が返却された場合は、Client へ例外を返却する。
Client に返却する例外は、通信先から返却された例外のうち、最もはじめに発生した例外を返却する。
- ただし、以下のような通信レイヤの例外は、ユーザー(Client)がハンドリングする可能性が高いので、発生した場合にはアプリケーション例外よりも優先的に返却する。
  - リクエストタイムアウト
  - 接続失敗
  - Server からの接続破棄

現状の動作

Proxy-Server間のタイムアウト

Proxy から Server の通信処理(全体)が、 interconnect_timeout を超えると、 msgpack::rpc::TIMEOUT_ERROR を返却する。
- ある Server との通信でタイムアウトが発生したというのは、異なる意味付け。「Proxy 処理(転送手続き)のタイムアウト」という意味になっている。
- 本タイムアウトが発生した場合は、結果受付中の通信をすべてキャンセルする。

standalone mode

{'xx.x.xxx.xxx_9199': {'PROGNAME': 'jubaclassifier',
                       'RSS': '5488',
                       'SHR': '4684',
                       'VERSION': '0.5.0',
                       'VIRT': '243352',
                       'clock_time': '1389784846',
                       'configpath': 'config/classifier/arow.json',

get_status 取得情報追加 (案)

概要

0.5.0 で取得可能な情報は以下の wiki に記載の通り。
- https://github.com/jubatus/jubatus/wiki/Behavior-of-get_status-RPC-(Japanese)
これらの情報に加えて、現時点で必要だと思われる情報について、整理する。

下図のようなスタンドアロンモードを冗長化した運用環境を想定した際に、発生しうる事象と回避策を明文化する。

スタンドアロン冗長化構成にて運用する目的

可用性・耐障害性性の向上
- Jubatus を冗長化させることによる障害発生時のサービス停止に対する信頼性の向上
トラフィックの負荷分散

目的

現状の Jubatus では、異常発生時の振る舞い、異常時に出力するログに統一感があるとは言いがたい。

	<?xml version="1.0" encoding="UTF-8" ?>
	<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
	<log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/" >

	<appender name="stdout" class="org.apache.log4j.ConsoleAppender">
	<param name="Target" value="System.out" />
	<layout class="org.apache.log4j.PatternLayout">
	<param name="ConversionPattern" value="%d %X{tid} %-5p [%F:%L] %m%n" />
	</layout>
	</appender>

	{
	"converter" : {
	"string_filter_types": {},
	"string_filter_rules":[],
	"num_filter_types": {},
	"num_filter_rules": [],
	"string_types": {
	"unigram": { "method": "ngram", "char_num": "1" }
	},
	"string_rules":[

	#!/usr/bin/env python
	# -- coding: utf-8 --

	import subprocess
	from jubatus.common import Datum
	from jubatus.recommender import client

	NAME = "test";
	PORT = 9199