digdag.yml

run: +main

_export:
  td:
    apikey: ${TD_API_KEY}
    database: rossmann
    engine: hive

+main:
  # Dataの準備
  +prepare:
    _parallel: true

    # 訓練データの準備
    +train:
      td>: ./tasks/train_join.sql

    # テストデータの準備
    +test:
      td>: ./tasks/test_join.sql

  # 訓練データのベクトル化（数値化）
  +quantify:
      td>: ./tasks/train_quantify.sql

  # 学習とテストデータのベクトル化の並列実行
  +model_test_quantify:
    _parallel: true

    +model:
      td>: ./tasks/make_model.sql

    +test_quantify:
      td>: ./tasks/test_quantify.sql
  
  # 予測
  +pred:
    td>: ./tasks/prediction.sql

  # Kaggleへのsubmissionデータの作成
  +submit:
    td>: ./tasks/submission.sql
    engine: presto