Skip to content

Instantly share code, notes, and snippets.

@marcy-terui

marcy-terui/awssummit_bigdata.md

Created July 17, 2014 03:34
Show Gist options

  • Select an option

    Learn more about clone URLs
  • Save marcy-terui/b995c7cf78068e53ee31 to your computer and use it in GitHub Desktop.

Select an option

Learn more about clone URLs
Save marcy-terui/b995c7cf78068e53ee31 to your computer and use it in GitHub Desktop.
Download ZIP
Raw
awssummit_bigdata.md

AWSSummit BigData Deep Dive

EMR

  • 他サービス連携
    • kinesis,s3,dynamoからインポート
    • RDSへエクスポート
  • カスタムインストールスクリプト
  • Data Pipeline
  • 共有クラスターではなく、アプリケーションごとにクラスターを立ち上げる

パターン

  • 一時的クラスタ

    • ジョブ終了後に破棄
    • データ永続化はs3
    • コスト最適化
    • s3をHDFSとして使う
    • クラスタのシャットダウンが可能
    • 複数クラスタで共有
    • s3のメリットの恩恵
      • 暗号化
      • Glasier
      • バージョニング

    ２４時間以内に終わるジョブは一時クラスタが良い

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment