移動しました
Embulkってなに？ということから、Embulkのプラグインを開発するところまでをまとめたページです。
古橋さんブログから EmbulkはFluentdのバッチ処理版のようなツールで、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができるコンパクトなツールです。
並列データ転送ツール『Embulk』リリース！(古橋さんブログ2)
トレジャーデータブログもあわせて読みましょう。
Treasure Dataの新データ転送ツールEmbulkを触ってみたが詳しいです。
既に色々なプラグインが開発されています。
Embulk 0.4.0リリースで、プラグイン構造が代わり新しいgemは、Embulk-{Input|Output|Filter}-XXXという名前で作成するようになりました。ここに記載しているGemは0.3.2以前に作られたものです。ご注意ください。
最新のパッケージはこちらを参照してください。 Search embulk packages in Rubygems
- embulk-plugin-input-sfdc-event-log-files Salesforceイベントログ読込み
- embulk-plugin-redis NoSQL Redisからの読込み
- embulk-plugin-input-hbase NoSQLの一つHBaseからデータを読み込む
- embulk-plugin-input-pcapng-files WireSharkなどでパケットキャプチャをした際のPcapNg形式で保存されたファイルを読込む
- embulk-plugin-input-random テストやベンチマークのためにダミーデータを作るプラグイン (解説embulk-plugin-input-randomを作った)
- embulk-plugin-twitterstream TwitterStreamからデータを得るInputプラグイン
- embulk-plugin-s3 Amazon S3からデータを取得するインプットプラグイン
- embulk-plugin-input-slack-history ChatシステムSlackからデータを取得するプラグイン
- embulk-plugin-input-jstat JavaVMの統計情報(jstat)を読み込むプラグイン
- embulk-plugin-input-nicocomment ニコニコ動画からコメントを抽出するプラグイン
- embulk-plugin-input-roo-excelExcelのxlsxファイルからデータを取得するプラグイン
-
embulk-output-elasticsearch 全文検索システムElasticSearchにデータを出力するプラグイン
-
embulk-plugin-redis NoSQL Redisへの書き込み
-
embulk-plugin-postgres-json PostgreSQLのJSONカラムへの出力
-
embulk-plugin-vertica ビックデータ解析のためのソフトウェアVerticaへデータを格納するためのプラグイン
-
embulk-plugin-vim Vimへの出力
-
embulk-plugin-mysql MySQLのテーブルへデータを出力するプラグイン
-
embulk-plugin-sqlite3 SQLiteのテーブルへデータを出力するプラグイン
-
embulk-plugin-output-fluent-logger-ruby Embulkで取り込んだデータをfluentdに出力するプラグイン(gemにはしていません)
-
embulk-plugin-filter-grep 所定の条件に適合したエントリのみOutputに渡すプラグイン
-
embulk-plugin-filter-convert カラムの順序を入れ替えするプラグイン
自分でプラグインを書こうと思っているひとはこのあたりを参考にしましょう。なおEmbulk 0.4から、プラグインジェネレータが利用できるようになるようです。