gistfile1.txt

Tracking Latent Dynamics
    潜在的構造変化検出の情報論的学習理論
    潜在情報の例：unixのコマンドログ
    　潜在変数(クラスタ)：メール、プログラム作成、情報漏えい
      データ：cp, bash, make ...

    潜在情報の確率モデル
    P(X) = shigma_k=1 P(X|Z)P_k(Z)

    Latent Dynamicsの数学モデル
     1.状態(値)が変わる
     2.状態数が変わる

    HMMとノンパラベイズ
     潜在状態のマルコフ遷移をモデリング、状態数が変わる
     Hi-HMM

    レジュームスイッチング
     経済学で使われる

    潜在変数の変化点検出を知ることでナリスマシを防ぐ

    潜在変数の構造（変数の数、状態の数）がダイナミックに変化する

    グラフ行列からのグラフ分割構造(コミュニティ構造)の変化を検出
     遷移行列
     テンソル解析：遷移行列に時間変数を追加して時間変化をみる

    動的モデル選択
    switching分布    　データｘ１〜xnまで与えられると、モデルが変化する.予測分布を使って表現出来>
る
      Latent dynamicsは時間も含めた潜在変数    確率的コンプレキシティ
    　データをモデル全部に適応した時の情報量
      最小化するsを求める->モデル最適化と情報量を的確にする

    予測分布
      P(x^n|theta, k)と置く
      ベイズ予測分布
    　Sequence Normalization Maximumが最近いい成果でてる

    log使っちゃダメ

    仮定：モデルは確率的に推移する

    動的モデル選択の諸性質
      Latent Dynamics推定の(情報論的の限界)->どこまでデータ圧縮出来るのか
      変化点は即時に変化点かどうかは分からない

    Resetting分布：モデルが変化する度にパラメータを初期化する.計算量は増える

    仮説検定からのモデルの変化

    データマイニングの応用
      Syslogからの故障の検出
        いくつかのパターンのHMMで表現
    アクセスログからのなりすましの検出
    テキストマイニング：トピック潮流の検出, 新しく来た質問の種類及び答え

  Q. infinite HMMの延長で行けないか？


階層ベイズモデリングによる時系列からの再構成
  遮蔽物を除去しながらの画質向上法    画素(y,x1..xn)
    p(x|D) = p(x)p(D|x)/p(D) = p(x)πp(y,x)/p(D)
    p(x)にgauss(0, σI)とかp(y|x)にgauss()+なんとかとか入れてとく    階層化：隠れ変数を導入      事後分布：2^nの混合ガウス分布になるー＞解けないから変分ベイズ使う
    潜在変数z:見えてる、見えてないで分類

　ブラインド信号分離
    独立成分分析
    ただししばしば時間的にON/OFFが切り替わる。原信号(話者)の数は固定
    zは原信号がON/OFFか表す2状態マルコフ連鎖
    結果：音量小さいとOFFに扱われてしまって駄目だがそれ以外はよくできてる
  　セミマルコフ化でもっとよくなる

  ベイズによる脳の信念場形成
    状態：迷路の絶対座標 観測できない
    観測：周囲の壁の有無
     人にプレイしてもらってfMRIで血流を見る
     隠れ変数：現在位置
    被験者の認知状態を現在位置と行動から推定
    不確実な環境における脳の意思決定では不確実さの解消のための推論が必要

非線形次元削減と動的システムの学習について
  機械学習・制御工学
  次元削減による人工衛星テレメトリ監視
    本式的に次元は低いが非線形かつモード間で遷移が行われる
    isomapで次元削減ー＞3つの輪ができる
  次元削減によるロボット位置推定・地図作成
    行ベクトル次元削減ー＞物体位置
    列　　　　　　　　ー＞ロボット位置
  モデルがわかってるならBayesianの問題になるが、モデルが未知の場合Latent dynamic
sは？
  switching linear dynamical systems(SLDS)
    初期はLDSの混合モデルをEMで推定
     E-stepで状態x,及び混合要素sを推定。様々な近似法(Viterbi-like,変数近似)
    最近は局所モデル数を自動決定出来るように
     Dirichlet Process, MCMC  RBFN状態空間モデル    ガウス仮定状態空間モデル
     f,g中のパラメータは積分消去　状態列Xハイパーパラメータに置いて周辺尤度を最>
大化？
  GP-Bayes Filter ロボットで使われてる
     状態列Xは直接入手可能。2つの教師あり回帰に帰着
  カーネル状態空間モデル
    Kernel Kalman Filter カーネルによる非線形化
    うまく行くかもしれないけど元の観測空間に戻さないと実用的じゃない
  多様体学習の確率モデル化
    LELVM(Laplacian Eigenmap Latent Variable Model) あまり使われてない
    高次元観測データ(HMC等)を次元削減して観測モデルを構築
  Langfordの方法
    確率的な動的システムを「非確率的」な任意の回帰学習アルゴリズムで学習
    確率状態変数xを決定論的変数sに変換
  非定常DBN
    時間とともに構造が変化するDBN

  システム同定的アプローチ
  　部分空間同定法

  機械学習はとにかく適応、システム屋はまず対象が線形か非線形かみる

  最近の研究
  　PCA->Probablistic PCAにするようなやり方でCCA->PCCA
  　モーションキャプチャに適応

潜在トピックモデルを用いたデータマイニング
  トピックモデルとは
  多項分布、混合多項分布
  トピックモデル  
    単語ごとにトピックを選択
    1文章の単語が複数の分布から生成
    代表、PLSAとLDA LDAはPLSAのベイジアン版
     PLSA: 1文章はあるトピックに沿っている 
     
  グラフィカルモデル
  学習：Collapsedギブスサンプリング
   θとφを積分消去してギブスサンプリング
   P(z_n=w|W,Z)∝(N_dk\n+α)*(N_kw_n\n + β)/(N_k\n+βV)
   
  適応例
   可視化、購買行動解析、ソーシャルアノテーション解析、多重スケール時間発展解析
   
  購買情報解析 トピックモデルに時間を加える
　 通常のLDAだとダイナミクスが考慮されてない
   時間的連続性を入れる：TopicTracking Model(TTM)
    α, βに時間的連続性(事前分布？)入れる
   Online Inference
     確率的EMを使う
     E-Step: collapsed Gibbs samplingでzを求める
     M-Step:zを使ってα,βを求める
   適応例: Delisiousのトレンド

Latent dynamic for NP hard problem
 Latent-Dynamic Filelds
   like HMM. Good for Pattern recogunition... テキストのsequence分類問題でLatent Dynamic Fieldの推定がNP-hard、 候補のうち上位数件表示
 上位一件のA* search = viterbi?
 www.ibis.t.u-tokyo.ac.jp/XuSun