Combiner connaissances expertes, hors-ligne, transientes et en ligne pour l'exploration Monte-Carlo. Apprentissage et MC
Combining expert, online, transient and offline learning in Monte-Carlo. Tree search
Nous combinons pour l'exploration Monte-Carlo d'arbres de l'apprentissage artificiel à 4 échelles de temps : - regret en ligne, via l'utilisation d'algorithmes de bandit et d'estimateurs Monte-Carlo ; - de l'apprentissage transient, via l'utilisation d'estimateurs rapides de Q-fonction (RAVE, pour Rapid Action Value Estimate) qui sont appris en ligne et utilisés pour accélérer l'exploration mais sont ensuite peu à peu laissés de côté à mesure que des informations plus fines sont disponibles ; - apprentissage hors-ligne, par fouille de données de jeux ; - utilisation de connaissances expertes comme information a priori. L'algorithme obtenu est plus fort que chaque élément séparément. Nous mettons en évidence par ailleurs un dilemme exploration-exploitation dans l'exploration Monte-Carlo d'arbres et obtenons une très forte amélioration par calage des paramètres correspondants.
We combine for Monte-Carlo exploration machine learning at four different time scales: - online regret, through the use of bandit algorithms and Monte-Carlo estimates; - transient learning, through the use of rapid action value estimates (RAVE) which are learnt online and used for accelerating the exploration and are thereafter neglected; - offline learning, by data mining of datasets of games; - use of expert knowledge coming from the old ages as prior information. The resulting algorithm is stronger than each element separately. We finally emphasize the exploration-exploitation dilemna in the Monte-Carlo simulations and show great improvements that can be reached with a fine tuning of related constants.
G.CHASLOT, L.CHATRIOT, C.FITER, S.GELLY, J.HOOCK, J.PEREZ, A.RIMMEL, O.TEYTAUD
exploration d'arbres par Monte-Carlo, apprentissage en ligne, apprentissage hors-ligne, apprentissage transient, connaissances expertes, combinaison de prédicteurs.
Monte-Carlo Tree-Search, Online Learning, Offline Learning, Transient Learning, Expert knowledge, Combining predictors.
Français
|
