Algoritmos de Boosting para modelos de clasificación y regresión lineal

Abstract

El propósito de este trabajo es estudiar diferentes aplicaciones del método de Boosting en el contexto de aprendizaje de máquinas para problemas de aprendizaje supervisado. Primero, se estudian diferentes algoritmos de Boosting para crear modelos aditivos tales como Adaboost y LogitBoost; popularizados a finales de los años 90 por su buen rendimiento. Se prueba que estos algoritmos crean de forma iterativa un modelo de regresión logística aditivo. Luego, se presenta un caso general de Boosting dentro de un espacio funcional. En este caso, se estudian algoritmos que no dependan directamente de la función de costo asociada lo que permite adaptarlos en diferentes contextos. Por otro lado, se estudian algoritmos de Boosting para resolver problemas de regresión lineal. Se estudian los algoritmos de LS-Boost y FS para resolver el problema de mínimos cuadrados. Se plantea el problema buscando el mejor residuo lo que permite demostrar que cada uno de estos algoritmos corresponde a una instancia de descenso de subgradiente para el mismo problema de optimización. Por último, se estudia una aproximación al problema de mínimos cuadrados regularizado modificando levemente el algoritmo de FS.