Skip to content

Instantly share code, notes, and snippets.

@magigo

magigo/hadoop.md

Created February 4, 2015 07:02
Show Gist options
  • Save magigo/58a25bda64c89d1317a1 to your computer and use it in GitHub Desktop.
Save magigo/58a25bda64c89d1317a1 to your computer and use it in GitHub Desktop.
Download ZIP
Raw
hadoop.md

常用统计模型

  1. 指数族分布（高斯分布，multinomial，最大熵），最大似然估计可通过充分统计量链接到数据。跟参数维度有关，跟数据量无关。 map阶段，收集充分统计量，reduce更新模型 在mapper中仅仅生成比较紧凑的统计量，其大小正比于模型参数量，与数据量无关

  2. 指数族混合分布（高斯混合模型，隐马尔科夫，PLSI），ML估计通过EM算法迭代。

  3. 梯度分布（原始的方法）

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment