ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique

APPEL À
CONTRIBUTION
Masses de données hétérogènes
En savoir plus >>
Autres revues >>

Revue d'Intelligence Artificielle

0992-499X
Revue des Sciences et Technologies de l'Information
 

 ARTICLE VOL 29/6 - 2015  - pp.629-653  - doi:10.3166/RIA.29.629-653
TITRE
Processus décisionnels de Markov possibilistes à observabilité mixte

TITLE
Possibilistic mixed-observable Markov decision precesses

RÉSUMÉ

Les processus décisionnels de Markov partiellement observables possibilistes qualita- tifs (π-PDMPO) constituent une alternative aux PDMPO classiques (probabilistes) : ils sont utilisés dans les situations où l’état de croyance initial de l’agent et les probabilités définissant le problème sont imprécises du fait d’un manque de connaissance ou de données. Cependant, tout comme les PDMPO, le calcul d’une stratégie optimale demande un grand nombre d’opé- rations : le nombre d’états de croyance grandit exponentiellement avec le nombre d’états du système. Dans cet article, une version possibiliste des processus décisisionnels de Markov à observabilité mixte est présentée pour simplifier ce calcul : la complexité de résolution d’un π-PDMPO, dont certaines variables d’état sont complètement observables, peut être consi- dérablement réduite. Un algorithme d’itération sur les revenus optimaux pour cette nouvelle formulation est ensuite proposé pour le cas de l’horizon infini, et l’optimalité de la stratégie calculée pour un critère donné est démontrée, lorsqu’il existe une action "rester" dans certains états buts. Les expérimentations montrent finalement que ce modèle possibiliste est plus perfor- mant que le modèle PDMPO probabiliste, utilisé classiquement en robotique, pour un problème de reconnaissance de cible, dans certaines situations où les capacités d’observation de l’agent ne sont pas précises.



ABSTRACT

Possibilistic and qualitative Partially Observable Markov Decision Processes (π-POMDPs) are counterparts of POMDPs used to model situations where the agent’s initial belief and the probabilities defining the problem are imprecise due to lack of past experiences or in- sufficient data collection. However, like probabilistic POMDPs, optimally solving π-POMDPs is intractable: the finite belief state space grows exponentially with the number of system states. In this paper, a possibilistic version of Mixed-Observable MDPs is presented to get around this issue: the complexity of solving π-POMDPs, some state variables of which are fully observable can be then dramatically reduced. A value iteration algorithm for this new formulation under infinite horizon is next proposed, and the optimality of the returned policy for a specified criterion is shown assuming the existence of a "stay" action in some goal states. Experimental work finally shows that this possibilistic model outperforms probabilistic POMDPs commonly used in robotics, for a target recognition problem where the agent’s observation capacities are imprecise



AUTEUR(S)
Nicolas DROUGARD, Florent TEICHTEIL-KÖNIGSBUCH, Jean-Loup FARGES, Didier DUBOIS

MOTS-CLÉS
PDMPO, observabilité mixte, théorie des possibilités, paramètres imprécis

KEYWORDS
POMDPs, Mixed-Observability, Possibility Theory, Imprecise Parameters

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (339 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier