ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique

APPEL À
CONTRIBUTION
Masses de données hétérogènes
En savoir plus >>
Autres revues >>

Revue d'Intelligence Artificielle

0992-499X
Revue des Sciences et Technologies de l'Information
 

 ARTICLE VOL 15/3-4 - 2001  - pp.351-371  - doi:10.3166/ria.15.351-371
TITRE
Injection de bruit adaptative pour la détermination de variables pertinentes

RÉSUMÉ

La sélection de variables et les moindres carrés régularisés sont les deux archétypes des méthodes utilisées pour régler la complexité d’un régresseur.Dans le domaine des réseaux de neurones, ces principes sont respectivement déclinés sous différentes formes de techniques d’élagage et de pénalisation des poids. Elles peuvent être utilisées dans l’objectif d’estimer l’ensemble des variables d’entrée pertinentes pour prédire les variables de sortie. Pour l’élagage, les indices de pertinence sont binaires (la variable est conservée ou supprimée) ; pour la pénalisation, les indices sont continus. Cet article montre comment l’injection de bruit peut être adaptée pour pénaliser différement les entrées de manière adaptative. L’algorithme proposé conserve la simplicité de l’algorithme de base. En particulier, il ne nécessite qu’un hyperparamètre, dont le rôle est de régler à la fois la complexité du modèle et les indices de pertinence de chaque variable. De nombreux résultats expérimentaux sur des données simulées confirment la validité de cette approche.

ABSTRACT

There are two archetypal ways to control the complexity of a flexible regressor: subset selection and ridge regression. In neural networks jargon, they are respectively known as pruning and weight decay. These techniques may be adapted to estimate which features of the input space are relevant for predicting the output variables. Relevance is given by a binary indicator for subset selection, and by a continuous rating for ridge regression. This paper shows how to achieve such a rating for a multi-layer perceptron trained with noise. Noise injection is modified in order to penalize heavily irrelevant features. The proposed algorithm is attractive as it requires the tuning of a single hyper-parameter. It controls the complexity of the model (effective number of parameters) together with the rating of feature relevances (input space effective dimension). The validity of this method is confirmed by numerous experimental on simulated data sets.

AUTEUR(S)
Yves GRANDVALET

MOTS-CLÉS
perceptronmulticouche, pénalisation, régularisation, sélection de variables.

KEYWORDS
Multilayer perceptron, pénalization, regularization, variable selection.

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (416 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier