Skip to content

Instantly share code, notes, and snippets.

@pochi

pochi/deeplearning.md

Created January 18, 2016 23:50
Show Gist options
  • Save pochi/295c977b3b518a98ff41 to your computer and use it in GitHub Desktop.
Save pochi/295c977b3b518a98ff41 to your computer and use it in GitHub Desktop.
Download ZIP
Raw
deeplearning.md

気になることをつらつら記載しておきます。

分析手法

Feed-Forward Neural Network

  • データのながさが決まっている静的なデータに対して行われるディープラーニング
    • backpropagationで誤差を求めて重みを変更して学習を行う
  • backpropagation
    • つながっているニューロンに対して誤差を伝播させる
    • 誤差 = 正解 - 現在の出力値

Recurrent Neural Network

  • 時系列データをディープラーニングに適用するもの
  • いろいろある
    • Elman Network
    • Echo state network
  • Elman Network
    • 入力層、中間層、出力層とともに文脈層を持ち、文法解析を可能にする
    • 時系列でデータを区切って中間層を連携することで時系列データの分析が可能に
    • backpropagationは出力から入力に伝播するのに対して、Elman Networkでは時間を遡って伝播させていく(Back propagation through time)
    • デメリット: 全ての時系列に対して重みがけが行われるのでながすぎる時系列データには向かない
    • 利用例: 次の単語を類推するようなもの
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment