gistfile1.txt

### Boosting

Muchos algoritmos como AdaBoost, LogitBoost, BrownBoost, XGboost usan una técnica llamada **boosting** para reducir el sesgo y la varianza en problemas de aprendizaje supervisado. En [Schapire, 1990](http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf), se propone un proceso para convertir un estimador con bajo poder predictivo en un estimador con alto poder predictivo, mediante el uso de una metodologia que se basa en iterativamente construir estimadores debiles respecto a una distribucion, agregandolos a un clasificador final que tendrá un alto poder predictivo. En otras palabras, los estimadores debiles se construyen de forma secuencial y uno trata de reducir el sesgo del estimador combinado, es decir estamos combinando varios modelos débiles para producir un modelo más poderoso.

[imagen tomada de Peter Prettenhofer]

Boosting tambien es una téncnica de ensemble que consiste en una mezcla de expertos. A diferencia de modelos como RF, boosting aprende estos ensembles de manera secuencial, cada miembro de este ensemble esta basado en los errores de su ensemble predecesor. Por ejemplo AdaBoost iterativamente pondera los ejemplos de entrenamiento basado en sus errores anteriores, luego tomando encuenta a su predecesor genera otro estimador hasta obtener un modelo final que consiste en la composicion de las agregaciones pasadas.



### Gradient Tree Boosting

Gradient Tree Boosting o Gradient Boosted Regression Trees (GBRT) es una generalización