gistfile1.txt

import sys, os
from datetime import datetime

from airflow import DAG
from airflow.operators import PythonOperator

import generate_spoofs.generate_spoofed_message

# build DAG
default_args = {
  'owner': 'jrideout',
  'pool': 'ep_generate_spoofs',
  'depends_on_past': False,
  'start_date': datetime.now(),
  'email': ['[email protected]'],
  'email_on_failure': True,
  'email_on_retry': True
}

dag = DAG('generate_spoofs_v1', default_args=default_args, schedule_interval='@weekly')


def inject_new_spoofs(ds, **kwargs):
    generate_spoofed_message.main()
    return True

inject_new_spoofs_op = PythonOperator(
    task_id         = 'inject_new_spoofs',
    provide_context = True,
    python_callable = inject_new_spoofs,
    dag             = dag)

Sid-As-MacBook-Pro:airflow_dags siddharth$ tree
.
├── db_backup.py
├── db_backup.pyc
├── db_report.py
├── db_report.pyc
├── emr_data_report.py
├── emr_data_report.pyc
├── emr_forwarders.py
├── emr_forwarders.pyc
├── emr_model_building.py
├── emr_model_building.pyc
├── ep_model_building_dag.py
├── ep_model_building_dag.pyc
├── ep_reload_data_dag.py
├── ep_reload_data_dag.pyc
├── ep_reload_data_utils.py
├── ep_reload_data_utils.pyc
├── ep_summary_alert_dag.py
├── ep_summary_alert_dag.pyc
├── ep_telemetry_dag.py
├── ep_telemetry_dag.pyc
├── ep_telemetry_pipeline_utils.py
├── ep_telemetry_pipeline_utils.pyc
├── feedback_report.py
├── feedback_report.pyc
├── forwarder_raw_data_monitoring.py
├── forwarder_raw_data_monitoring.pyc
├── generate_spoofs
│   ├── __init__.py
│   ├── __init__.pyc
│   ├── agari_spoofs.yaml
│   ├── generate_spoofed_message.py
│   └── generate_spoofed_message.pyc
├── generate_spoofs.py
├── generate_spoofs.pyc