ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique

APPEL À
CONTRIBUTION
Masses de données hétérogènes
En savoir plus >>
Autres revues >>

Revue d'Intelligence Artificielle

0992-499X
Revue des Sciences et Technologies de l'Information
 

 ARTICLE VOL 15/3-4 - 2001  - pp.333-350  - doi:10.3166/ria.15.333-350
TITRE
Sélection de paramètres par pénalisation

RÉSUMÉ

La sélection de variables et la régularisation sont deux classes de méthodes couramment employées pour améliorer les capacités de régularisation des réseaux connexionnistes. Dans cet article, nous verrons comment l’utilisation d’une pénalisation sur la norme L1 des paramètres en tant que régulariseur permet de réaliser de façon simultanée une sélection des paramètres importants. Cette méthode formellement à mi-chemin entre la sélection de variables classique et la régularisation type weight-decay permet en fait de bénéficier des avantages des deux techniques. On obtient ainsi des modèles parcimonieux aux paramètres bien maîtrisés. Nous illustrons tout d’abord brièvement quelques propriétés de ce régulariseur par une étude analytique d’un modèle simple à un seul paramètre. On présente ensuite les résultats obtenus sur des réseaux de neurones pour la prédiction de séries chronologiques. Enfin, on discute des aspects pratiques comme l’estimation des paramètres ainsi que des liens avec une méthode similaire utilisée en statistique pour la régression linéaire.

ABSTRACT

. Variable selection and regularisation are two widespread methods for improving generalisation abilities in neural network models. In this article, we show that using the L1-norm of the parameters as a regulariser allows for a simultaneous pruning of unnecessary parameters. Formally halfway between classical variable selection and weight-decay-style regularisation, this method reconciles both. The result is parsimonious models with well-controlled parameters. We first illustrate the properties of this regulariser with a one parameter analytical study. We then present results obtained on neural networks for time series prediction. Finally, we discuss practical aspects like parameter estimation, as well as links with a similar method proposed in the statistics literature in the context of linear regression

AUTEUR(S)
Cyril GOUTTE

MOTS-CLÉS
sélection de variables, pénalisation, norme L1, généralisation, séries chronologiques.

KEYWORDS
variable selection, penalisation, L1-norm, generalisation, time series.

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (483 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier