Cet article est dédié au problème de l'approximation de la fonction de valeur dans le cadre des algorithmes d'apprentissage par renforcement. Nous présentons une méthode de modélisation de la fonction de valeur qui alloue de nouvelles ressources au fur et à mesure que l'agent explore son environnement. La fonction de valeur est représentée par un réseau de fonctions de base radiale gaussiennes. Le modèle est construit incrémentalement en ajoutant de nouvelles unités à chaque fois que le système entre dans une région inconnue de l'espace des états. Les paramètres du modèle sont adaptés en utilisant la descente du gradient et l'algorithme Sarsa(). Cette méthode ne requiert ni un modèle de l'environnement ni une approximation de ce modèle. La performance de la méthode est évaluée sur deux problèmes type : l'Acrobot et le Bioréacteur. Dans les deux cas, les systèmes sont simulés dans un espace d'états continu et un pas de temps discret.