Skip to content

Instantly share code, notes, and snippets.

@chusiang
Last active May 5, 2016 02:57
Show Gist options
  • Save chusiang/6a3a3461df0a45184fe9 to your computer and use it in GitHub Desktop.
Save chusiang/6a3a3461df0a45184fe9 to your computer and use it in GitHub Desktop.

AWSome Day | 2016 台灣高雄

AWS 雲端日 將在以下城市與大家見面:

活動流程

09:30am – 09:45 | 歡迎致詞

講師: Denny Daniel, Head of Training & Certification – ASEAN & HKT, Amazon Web Services

  • 因為是一個很特別的日子,所以才叫 AWSome (awesome) Day。
  • 雲端運算是未來的趨勢:
  • 課程講義 Student Guide
  • 填問卷可獲得 US$ 25 AWS Credit。
  • AWS Boots (IoT) 攤位。
  • have fun !
  • "AWS Facebook 台灣版" 隆重登場。
  • AWS Keychain.

09:45 – 10:05 | 專題演講

講師: Stella Lee, Enterprise Business Development Manager, Amazon Web Services

  • AWS 成長、使用度報告。
  • 不停的增加 Region。

為何大家都想用 AWS?

  1. 可以不受拘束的開發應用程式。

  2. 自由的管理大數據。

    1. 新服務
      1. QuickSight
      2. Snowball: Import/Export, 工業等級的 100 TB 加密載具,透過 UPS 運送,直接讓 AWS 匯入資料?
      3. Database
        1. MySQL
        2. PostgreSQL
        3. Aurora: MySQL 5 倍效能
        4. MariaDB
  3. ?

  4. ?

  5. 可以自由的移轉。

    1. HA
      1. Nintendo
  6. 安全的自由。

    1. HIPAA: 醫療業認證。
  7. 給企業說 Yes 的服務?

    1. 創新團隊: Slack

"Freedom & Control Over Your Own Destiny"

(指 AWS 是自由和控制自己命運的服務。)

10:05 - 10:55 | 客戶分享 - From Ad Network to SaaS Big Data Ad Platform on AWS

講師: Kevin Jong, Senior Architect, VPON

  • VPON 提供讓廣告可以在手機上面展示的平台。
  • 電視廣告的預算下降,手機廣告預算上升。
    • 電視廣告難以得到回饋和分析數據。
  • bug? debug log?
    • 在 Production 環境裡,開啟 debug log 會造成系統掛掉,因為當使用量太大時會來不及寫入。
  • 有 1/3 ~ 1/2 的客戶在中國,所以一開始沒有認真的考慮要使用 AWS。
    • 一年成長 1.5?代表要多投入 1.5 的硬體?

遷移 (Migration) 至 AWS 的三個階段:

  1. Components to AWS, No Architecture Changes. (直接把服務遷移至 AWS,不進行架構上的改變)

  2. Re-archive to fit to AWS. (改變架構並使用適當的 AWS 服務。)

    1. Teradata -> Redshit
    2. Couchbase -> DynamoDB
    3. Spark + HDFS -> Spark EMR + S3
  3. Optimizing Architecture. (優化架構。)

架構環境分級:

  1. Development
  2. Testing
  3. Production

因還未完成 Migration 和優化,可以 Production 部份還未省錢,但在 Development, Testing 已有大大幫助。

因為 AWS,所以可以開始實行 DevOps。

  • Unittest: dev Docker image
  • CI: Jenkins
  • 利用 EC2 spot instance 可以用低成本在雲端進行壓力測試,developer 擁有獨立不影響 productuon 的完整測試環境。

未來會想擴展到更多的 Regions。

10:25 - 10:55 休息

(逛攤位、搶贈品、與 AWS 同學們交流的好時間?!)

11:30 - 12:10 Amazon Web Services (AWS) 雲端運算 綜合介紹

講師: Ivan Cheng,Technical Trainer, Amazon Web Services

  • 駕馭瀏覽 AWS Management Console
  • 了解 AWS 的全球基礎架構
  • 闡述 AWS 所提供的資安措施

CH1. AWS 簡介和歷史

  • 什麼是雲端運算?
    • 隨需
    • 統一
    • 按用量付費 (Pay as you go)
    • 可用 (Cli, SDK)
  • 第 12 個 Region 位在韓國首爾。
  • 每個 Region 至少會有 2 個 AZ,因為要達到高可用性 (HA)。
  • Region 的實體位址是不公開的。
  • 因為每個人的權責不同,故需使用 IAM 來定義各個權限 (policy)。

CH2. AWS 儲存和內容交付

"語文只是一個了解事物的工具,用中文可以幫助大家快速的了解 AWS,但產品名稱部份還是會使用英文稱呼。" -Michael Chen

S3
  • Bucket: 中國翻存儲筒,台灣翻儲存貯體。
  • 透過在 Object 的檔名前加上前綴 (prefix) 來達到 folder 的效果。
  • S3 定價策略為上傳 (流入 / transfer in) 免費 (free),但下載 (流出 / transfer out) 要錢。
  • 會先講 S3 是因為它是每個客戶都會使用的 AWS 服務。
  • Bucket name 具有 (全球) 唯一性。
  • 若要對整個 Bucket 進行公開,可從 Policy 下手。
  • Policy 可從 AWS 官網找到。

"失敗為成功的媽媽。" -Michael Chen

Glacier
  • 便宜。
  • 自動加密。
EBS
  • 磁碟類型分為:
    • 一般用途 (General Purpose SSD)。
    • 佈建 IOPS (Provisioned IOPS SSD): 在需更加穩定的環境時應選用該項。
    • 磁帶 (Magnetic)。
  • 可當做是雲端上的硬碟,需自己 format;而 S3 是 key/value 的 strage。
  • 需在同一個 AZ 才可使用。
  • 不能被多台 Server 掛載。
AWS Import/Export
  • Snowball (雪球)
  • Disk
AWS EFS
  • 集中化存儲
  • NFSv4NFSv4

12:10 - 13:10 午餐交流

13:10 - 14:25 AWS 運算服務及網絡

講師: Ivan Cheng,Technical Trainer, Amazon Web Services

  • 分辨不同的 AWS 運算和網絡產品選項
  • 闡述 AWS 虛擬私有雲
  • 創建 Amazon Elastic Compute Cloud instance (EC2)
  • 確認如何使用 Amazon Elastic Block Storage (EBS)

除高雄以外,還有從台南、彰化來的朋友。

CH3. AWS 運算服務和聯網

EC2
  • 傳統自建 data center 需耗時先建機房、裝機器、裝系統才可用,但 EC2 則否。
  • 如何選到對的 instance type? 多多測試。
  • EC2 購買選項:
    • 隨需執行個體 (On Demand Instance):預設
    • 預留執行個體 (Reserved Instance):合約制
    • 競價型執行個體 (Spot Instance):價格由市場決定,隨時有可能被搶走。
  • Sopt Instance 什麼時候適用 ?
    • 分析
    • 測試
  • AMI (Amazon Machine Image): 作業系統 (OS) 映像檔。
  • 透過對 EBS 快照 (Snapshot) 和 S3 將資料同步至不同的 AZ。
    • EBS 有 AZ 區域限制。
    • S3 無區域限制。
  • Tags: 可自行定義 Key/Value 來協助管理。
Auto Scaling
  • Scaling in & Scaling Out: 橫向擴充 ( 加機器)。
  • 免費 (free),只需付 EC2 的錢。
Elastic Beanstalk
  • 快速部署和管理應用程式。
VPC (Virtual Private Cloud)
  • VPC 是個自獨立的,不必擔心會被其它 AWS 帳戶存取。
  • Elastic IP (EIP): 關機時其 IP 會歸還,故每次開機時的 IP 會不同。
Direct Connect
  • 從 AWS 拉專線至其它的 Data Center。
  • 當頻寬費大於專線費時可考慮導入。
  • Direct Connect 與其它服務較不同的地方是它需要與電信商 (ISP)、機房跑些流程 …。
Route 53
  • 可透過 Route 53 來達到 Multi-Regions。
ELB (Elastic Load Balancing)
  • 支援 HTTP, HTTPS 和 TCP 協定。
  • 可透過 AWS Console, Cli 和 SDK 來管理 ELB。

14:25 - 14:55 AWS 資料庫

講師: Michael Chen,Technical Trainer, Amazon Web Services

  • 介紹 AWS DynamoDB
  • 確認 AWS 關聯式資料庫服務 (RDS) 的關鍵
  • 執行 AWS 關聯式資料庫服務

CH4. AWS 受管服務和資料庫

  • 受管服務 (Managed service)? 由 AWS 代為管理的服務。
  • EBS 想要擴展怎麼辦?先將 EBS 進行快照,之後再用快照檔來建立新的 EBS。
RDS (Relational Database Service)
  • RDS 其實是背後開著 EC2 和 EBS 在運作的。
  • MySQL master/slave 的 replication 需花很多心思的。
  • 新加坡的 Region 還沒有 Aurora,應慎選 Region。
  • Database 建議使用 Provisioned IOPS (SSD) 的 Storage。
  • Security Group 在選取時,右方會有已選取的提示小視窗。
  • Monitoring: CloudWatch
    • Watch 是 "看" 不是 "錶"。
  • MySQ Workbench demo.
    • 使用 SSL 加密連線?!
  • RDS 連不上要怎麼辦?
    • 先看 Security Group 有沒有開。
DynamoDB
  • NoSQL。
  • 概念介紹,無 Demo。
ElasticCache
  • 放在 Database 與 EC2 中間的快取服務。
Redshift
  • PostgreSQL cluster。

14:55 - 15:25 休息

15:25 - 16:10 AWS 部署與管理

講師: Ivan Cheng,Technical Trainer, Amazon Web Services

  • 辨認 Cloud Formation
  • 介紹 Amazon CloudWatch 的指標和警示
  • 闡述 AWS IAM

CH5. AWS 部署與管理

"把東西放上 Cloud 後,事情才要開始而已。" -Ivan Cheng

IAM (Identity and Access Management)
  • 每個人因權責不同,故權限也不同。
  • 聯合身份 (identity federation):企業內部帳戶,授權給各員工使用。
  • IAM 在管理 "誰、在什麼資源、做什麼事情"。
  • Rolo (角色)
    • 可避免 Access, secrt key 寫死在 source code 裡。
  • how to auth on AWS?
    • login AWS console: need a password.
    • cli: need the Access, secrt key.
CloudWatch
  • AWS 提供的監控系統。
  • 當 Event 被 trigger 時可寄通知信。
CloudFormation
  • Infrastructure as code.
  • 支援從執行中環境產生範本。
  • template.
  • 要增加架構?update template 後 CloudFormation 會自行比對並更新。
OpsWorks
  • 支援 Chef (和 Bash) 的設定管理服務。

16:10 - 16:30 AWS 解決方案架構簡介 (Architecting for the Cloud)

講師: Michael Chen,Technical Trainer, Amazon Web Services

※ 此議程可說是 AWS 最佳實踐 (AWS Architecting Best Practices)

"If i had six hours to chop down a tree, I’d spend the first four hours sharpening the axe." -Abraham Lincoin

"工預善其事,必先利其器。"

七大原則:

  1. Design for failure and nothing will fail.

    1. 不要假定有東西不會壞的。
    2. EC2 只能做運算,做有進行儲存,到時長新的 Instance 時會丟 session。
    3. EC2: 啟用 Auto Scaling。
    4. RDS: 啟用 Multi-AZ。
  2. Embrace Elasticity & Automate.

    1. 擁抱彈性和自動化。
    2. EC2 中有個 UserData 可以使用,當 Instance 在第一次啟動時會執行。
    3. Lambda 是 AWS 第一個推出的 micro service。
  3. Loose coupling sets you free.

    1. 儘量讓組件與組件中不要有太大的相依性。
    2. 組件 = 服務?物件?
  4. Become Stateless.

    1. 成為無國藉的服務。
    2. 不要把 session 資料儲在 Server。
  5. Think Parallel.

    1. 想想平行運算架構。
  6. Leverage different storage options.

    1. log 不要儲存在 RDBMS,應用 NoSQL (DynamoDB)。
    2. images 不要儲存在 RDBMS,應該儲存在 Object store (S3)。
    3. offload log file to scalable object storage (S3).
  7. Build Security into every layer.

    1. 在每個環節都在注意安全。
    2. Encry data in transit and rest between application tiers.
    3. Enforce principle of least privilege across every service.
    4. Automatically rotate security keys frequently.
      1. 沒有任何的密碼是永遠安全的。

現在單個 EBS 的容量上限是 16 TB。

更多的 AWS Architecture 請上官網查詢。

16:30 - 17:00 證書頒發、大抽獎及閉幕詞

講師: Denny Daniel, Head of Training & Certification – ASEAN & HKT, Amazon Web Services

Training 相關資訊介紹。

Next Steps ...

  1. Complete the AWS Essentials Labs.

    1. 完成 qwikLABS 上的 Lab 可以得到 US$ 75 的 AWS Credits。
  2. Review your Training Resources.

    1. 參與培訓課程?!
    2. Instructor Led Training (ILT)
      1. https://www.aws.training
  3. Get Certification.

aws-training-apac (at) amazon.com

(播放參與 AWS 認證研討會的介紹影片!?)

(抽 Kindle Paperwhite 時間 …)

-Thank You & END.

其它

  • 友人 Sam 分享 Jenkins CI 2.0 改很大!?
    • 接下來有類似 Travis CI 可用 Git, Cli 操作的功能。
    • 加入 pipeline as code 的概念,讓 workflow 與 scm 整合更完整。
  • Hackpad 筆記的網短 - https://goo.gl/OLAzls

Q&A

  • 若 RDS 有啟用 Multi-AZ,在執行 upgrade 等的會有 down time 維護的動作時,可把時間縮短到 2 分左右。
  • Kindle 壞掉了怎麼辦?
    • 可登入 amazon 網站並詢求 Support 協助。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment