tensorflow_20160413.md

TensorFlow勉強会

• 「Googleスケールの機械学習テクノロジー」
  • Google Inc クラウドデベロッパーアドボケイト 佐藤一憲氏
• 「TensorFlowで趣味の画像収集サーバーを作る ４月号」
  • 有限会社シーリス 代表 有山 圭二氏
• 「ニューラルネット以外でのTensorFlow活用法」
  • faho氏
• 「TensorFlow Tutorialの数学的背景」クイックツアー(パート1)
  • 中井悦司氏
• 「C＋＋の観点からみるTensorFlow」
  • シーエイトラボ株式会社 代表 　新村拓也氏
• 「TensorFlowの大規模分散化」
  • 日本Androidの会 名誉会長 丸山不二夫氏

Googleスケールの機械学習テクノロジー

slide

• Google Brain

  • Gogle Brain = 巨大分散システム
    • サービス
      • 検索ランク計算
      • Vision API
      • Speach API
    • やっていること
      • Neural Net (40段以上とか...)
      • NIPS Tutorial 2015
        • かのJeff Dean氏

• TensorFlow Play Ground

  • Neural Net
  • Github

• Distributed tensorflow

  • 分散処理バージョンのTensorFlow
  • 自分で分散環境つくる必要はあるが
    • NWがネックになるかも...
  • https://github.com/tensorflow/tensorflow/tree/master/tensorflow/core/distributed_runtime

• Cloud Machine Learning

  • TensorFlowで定義した分類器、回帰をマネージドな環境で動かすことができる
    • 今年末くらいにPreviewが公開されるかも
  • --cloud

###「TensorFlowで趣味の画像収集サーバーを作る ４月号」

• 機械学習の初心者がTensorFlowでなんかやってみる
  • 画像のクラス分類

###「ニューラルネット以外でのTensorFlow活用法」

• Math.apiをみよう
  • 反応拡散方程式や波動方程式をTensorFlowで解けるよ
  • Math
  • TensorFlow APIドキュメントを眺める -Math編-

###「TensorFlow Tutorialの数学的背景」クイックツアー(パート1)

• スライド
• 「TensorFlow Tutorialの数学的背景」シリーズ
• ITエンジニアのための機械学習理論入門(Jupyter版)
• JupyterをGCPのリソースで動かす

###「C＋＋の観点からみるTensorFlow」

• ちゃんとDocumentとソースに書かれたコメントを読もう
• MacだとC++のコンパイル難しいので、Linuxつかおう

###「TensorFlowの大規模分散化」

slide (p.150くらいから始まった...)

• TensorFlowｈは、大量の計算資源が前提となっている

  • CPUで8時間
  • GPUだと30分 => GPU使いましょう
  • とはいえ、GPUだけだと限界がある

• なぜ大量の計算が必要か

  • パラメータの最適化をするために何回も大量のデータを読み込んで処理をしないといけない
  • 最近はmini-batchが多そう

• パラメータ学習を分散させればよいというのがGoogleの答え

  • Data Parallelism
  • パラメータ・サーバを立てて、並列で学習させる (同じデータを使う)

自然言語で使う

どうやらword2vecのモデルがTensorFlowに実装されているらしい

• Document
• サンプル

This tutorial is meant to highlight the interesting, substantive parts of building a word2vec model in TensorFlow.

* We start by giving the motivation for why we would want to represent words as vectors.
* We look at the intuition behind the model and how it is trained (with a splash of math for good measure).
* We also show a simple implementation of the model in TensorFlow.
* Finally, we look at ways to make the naive version scale better.