Processus décisionnels de Markov décomposés et factorisés pour l'optimisation de stratégies d'exploration
Des systèmes autonomes d'exploration requièrent des capacités de planification d'actions en présence d'incertitudes. Les Processus décisionnels de Markov (PDM) offrent un modèle probabiliste classique fondé sur une représentation énumérée et non structurée de l'espace d'états. Des travaux récents proposent des approches plus compactes et structurées. Nous proposons d'utiliser un modèle structuré bien adapté à l'optimisation d'une stratégie pour un problème d'exploration, qui combine les avantages de l'approche par factorisation et de celle par décomposition. Nous présentons et discutons l'approche par factorisation en variables d'état, puis celle par décomposition en sous-régions. Nous présentons enfin notre approche originale et nos résultats sur ce modèle hybride.
Autonomous exploration systems require planning under uncertainty. Markov Decision Processes provide a classical framework based on an enumerated and unstructured state space representation. Recent works propose more compact and structured approaches in probabilistic planning. We present and discuss factorization techniques using state variables, and then decomposition techniques using sub-regions. A novel hybrid approach combining both is proposed that is well-fitted to probabilistic exploration-like planning: we use decomposition techniques to generate navigation local policies that are then included in a factored MDP. We discuss results obtained on the basis of probabilistic exploration-like planning problems.
F.TEICHTEIL-KÖNIGSBUCH, P.FABIANI
planification probabiliste, robotique autonome, programmation dynamique, Processus décisionnels de Markov, factorisation, décomposition.
Stochastic Planning, Autonomous Robotics, Dynamic Programming, Markov Decisional Processes, Factorization, Decomposition.
Français
|
