gistfile1.txt

kafka-fluentd-consumerでconsumeしたものをfluentdにpost

それを受けとって、別fluentdにpost。このpostした先のfluentdが8プロセスある。その前は4プロセスだった。
<match ..>
   type forward
   flush_interval 1s
   buffer_chunk_limit 16M
   heartbeat_type tcp
   buffer_queue_limit 128
   num_threads 10
   <server>
     host "aaa"
     port ...
   </server>
...これが8個ある。
</match>

それをうけとったfluentdプロセスが下記のようにESに書き込む。
<match ...>
   type forest
   subtype elasticsearch
   <template>
     hosts "Elasticsearch host"
     num_threads 8
     logstash_format true
     logstash_prefix ${tag}
     utc_index false
     type_name fluentd
     include_tag_key true
     tag_key tag_key 
     request_timeout 15s
     buffer_chunk_limit 4m
     buffer_queue_limit 4096
     flush_interval 1s
   </template>
</match>