ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique

APPEL À
CONTRIBUTION
Masses de données hétérogènes
En savoir plus >>
Autres revues >>

Revue d'Intelligence Artificielle

0992-499X
Revue des Sciences et Technologies de l'Information
 

 ARTICLE VOL 31/4 - 2017  - pp.401-426  - doi:10.3166/ria.31.401-426
TITRE
Allocation équitable de tâches pour l’analyse de données massives

TITLE
Fair task allocation for large data sets analysis

RÉSUMÉ
De nombreuses entreprises utilisent des applications MapReduce pour le traitement de données massives. Afin d’optimiser l’allocation des tâches, plusieurs systèmes collectent des données à partir des exécutions précédentes et prédisent les performances en faisant une analyse du job. Cependant, ces systèmes ne sont pas efficaces durant la phase d’apprentissage ou quand un nouveau type de tâches ou de données apparaît. Dans cet article, nous présentons un système multi-agent adaptatif pour l’analyse de données massives avec MapReduce. Nous ne prétraitons pas les données mais nous adoptons une approche dynamique où les agents reducers interagissent au cours de l’exécution. Pour réduire la charge de travail du reducer le plus chargé, et donc le temps d’exécution, nous proposons une réallocation des tâches qui s’appuie sur la négociation. Nous prouvons que le processus de négociation se termine et mène à une meilleure répartition des tâches. Nos expérimentations sur des données réelles confirment la valeur ajoutée de la négociation.


ABSTRACT
Many companies are using MapReduce applications to process very large amounts of data. In order to optimize the task allocation, several systems collect data from previous runs and predict the performance doing job profiling. However they are not effective during the learning phase, or when a new kind of job or data set appears. In this paper, we present an adaptive multiagent system for large data sets analysis with MapReduce. We do not preprocess data but we adopt a dynamic approach, where the reducer agents interact during the job. In order to decrease the workload of the most loaded reducer - and so the running time - we propose a task re-allocation based on negotiation. We prove that the negotiation process terminates and leads to a better task allocation. Our experimentations over real-world data confirm the added-value of negotiation.


AUTEUR(S)
Quentin BAERT, Anne-Cécile CARON, Maxime MORGE, Jean-Christophe ROUTIER

MOTS-CLÉS
système multi-agent, résolution distribuée de problème, négociation, données massives, MapReduce.

KEYWORDS
multiagent system, distributed problem solving, negotiation, big data, MapReduce.

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (641 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier