GLOBOOST. Combinaisons de moindres généralisés
Nous explorons dans cet article l'utilisation de moindres généralisés corrects comme apprenant dans des techniques de boosting (Freund et al., 1996). Les premières expérimentations sur des problèmes classiques montrent qu'ADABOOST instancié avec un apprenant à base de moindres généralisés obtient des taux d'erreur plus faibles que C4.5, GLOBO (Torre, 1999) et ADABOOST muni d'un apprenant plus classique. Constatant que notre nouvel apprenant peut être coûteux en temps de calcul, nous proposons un mode de génération des hypothèses qui peut être distribué sur différentes machines et une définition du poids des hypothèses a posteriori. Cela aboutit au nouvel algorithme GLOBOOST et, à nouveau, les expérimentations montrent que GLOBOOST obtient des performances comparables à celles d'ADABOOST.
The primary goal of this paper is to propose a new learner for boosting algorithms, namely least general generalization. First experiments conducted on benchmarks show that ADABOOST boosting least general generalization obtains smaller error than reference systems. The computation time needed by these experiments leads us to define a method that could be easily distributed. This method, called GloBoost, is able to produce hypotheses independently of one another and then give a weight to each produced hypothesis. New experiments are then conducted and show low error rates for both ADABOOST and GLOBOOST. Moreover, GLOBOOST has the advantage to be naturally distributable to different computers.
F.TORRE
boosting, méthodes d'ensemble, moindres généralisés, algorithmes distribués.
boosting, ensemble methods, leveraging, least general generalization, distributed algorithms.
Français
|
