serihiro

これは何か

• treasure-data/digdag#701 このバグを自分で報告したので自分で直せるかなと思ってdigdagのretry機構を調べようした
• そしたら、そもそもdigdagの全体像が全く分からないことに気付いた
• テストコードを適当に見ていったらWorkflowExecutorTest.retryOnGroupingTask()のテストケースが、実際にdigファイルを渡してworkflowを実行するテストケースだったので、コレを使ってどのようにdigdagがworkflowを実行しているのかをまず調べることにした <- イマココ

雑に当たりをつけて見つけたoperatorにおけるretry実装箇所

• 全てのoperatorはBaseOperatorのrun methodから実行される[runTask](https://github.com/treasure-data/digdag/blob/ac73d5fe0f8e3d649e2576d152efc039d150d5ca/digdag-plugin-utils/src/main/java/io/digdag

serihiro

check style設定

• https://qiita.com/hiroysato/items/584eafb4a94a961fa571

serihiro

minioのdoc

• https://github.com/minio/minio/blob/2853fa1882e2f3b51e3603e3abaeba6e89834c4f/docs/config/README.md#region
• region is set us-east-1 in default, maybe.
• コレ最近よく見たら us-east-1 でなくなってる？ような挙動をしてたので最新のmasterを確認すべーし。

Rails guideのメンテバージョンが古い

• これはもうPR出したけど中の人がまだ見てくれてない yasslab/railsguides.jp#583
• en http://guides.rubyonrails.org/maintenance_policy.html
• ja https://railsguides.jp/maintenance_policy.html

serihiro

on_gce?の結果をメモ化してるところでfalseだったらメモ化しないでほしい

on_gce?は実際にためしたところ、30回試すと1回ぐらいの確立でfalseを返してくることがある

irb(main):055:0> 30.times {pp Google::Auth::GCECredentials._unmemoized_on_gce? }
true
true
true
true

serihiro

Driver script image

require 'simple_map_reduce'

c = SimpleMapReduce::Driver::Config.new
job = SimpleMapReduce::Driver::Job.new(config: c)
job.map_task = map_task_object
job.reduce_task = map_task_object
job.input_s3_file_path = 's3://....'

serihiro

digdag secrets --project mydag | for secret in `sed -n '1,$p'`; do digdag secrets --project mydag --delete $secret; done

serihiro

• https://github.com/google/google-auth-library-ruby/blob/master/lib/googleauth.rb#L119

serihiro

see more detail: https://spark.apache.org/docs/latest/building-spark.html

build with maven

$ MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" ./build/mvn -DskipTests clean package

build distribution package

serihiro

my env

$ system_profiler SPSoftwareDataType
Software:

    System Software Overview:

      System Version: OS X 10.11.6 (15G1611)
 Kernel Version: Darwin 15.6.0

serihiro

project in('HADOOP','HDFS','MAPREDUCE','YARN') AND status = 'Open' AND labels='newbie' AND assignee is EMPTY