XtremWeb-HEP

Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 19/12/11
  • Correction mineure : 19/12/11

XtremWeb-HEP : intergiciel de traitement distribué de données

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.
  • Site web
  • Système :
  • Version actuelle : 7.6.4 - 12/12/2011
  • Licence(s) : GPL
  • Etat : diffusé, stable
  • Support : maintenu, développement en cours
  • Concepteur(s) : Oleg LODYGENSKY
  • Contact concepteur(s) : xtremweb (at) lal.in2p3.fr
  • Laboratoire(s), service(s)... :

 

Fonctionnalités générales du logiciel
  • ’XtremWeb-HEP’ est un intergiciel de Traitement Distribué des Données (grilles) :
    –  Il permet à des Administrateurs :
        - de gérer divers Utilisateurs et Applications, en leur attribuant les droits d'accès adéquats,
        - de cataloguer diverses Ressources de Données et de Calcul :
           · fermes de PCs gérés par un Service Informatique,
           · grilles de PCs mis à disposition par des contributeurs volontaires,
    –  Il permet aux Utilisateurs de soumettre des Jobs référençant ces Applications,
    –  À partir des descriptions de Job, il déploie et exécute alors dynamiquement ces Applications sur les Ressources de Calcul disponibles, puis met les résultats à disposition des Utilisateurs autorisés,
    –  Il protège les Ressources de Calcul tournant sous Mac OS X, en lançant l'Application à l'intérieur de Mac OS X Sandbox,
    –  Pour l'accès aux données, il permet l'utilisation de HTTP, HTTPS, et de tout schéma d'URI pour lequel l'Utilisateur fournit le pilote.

Architecture trois tiers sécurisée et traversant les pare-feus. Ordonnanceur et magasin de données gérés par un administrateur de logiciel sur un serveur; Client installé sur la machine de chaque Utilisateur (par ex. scientifique); Moulin installé sur la ressource de chaque contributeur.

  • Prochainement sera mise en production la version de XtremWeb-HEP gérant en plus la soumission de machines virtuelles complètes pour exécution dans VirtualBox.

  • Interopérabilité avec les autres intergiciels de grille :
    –  XtremWeb-HEP accepte les certificats et proxies X509 pour gérer les utilisateurs, en particulier ceux du projet international DEGISCO.
    –  XtremWeb-HEP intègre un bridge permettant à certains Jobs XtremWeb-HEP d'être pris en charge par l'intergiciel gLite afin d'être exécutés dans l'infrastructure européenne EGI.
    –  En retour, grâce au 3G Bridge du projet européen EDGI, les ressources agrégées par XtremWeb-HEP sont disponibles pour les très nombreux utilisateurs de l'infrastructure EGI (intergiciels gLite, ARC et Unicore).

  • Domaine, Infrastructures, Documentation et Maintenance :
    –  Malgré son nom, XtremWeb-HEP est utilisé bien au delà de la Physique des Hautes Énergies :  Biologie,  Mathematiques,  Physique des Solides,  Recherche ADN,  Traitement du Signal.
    –  XtremWeb-HEP est le moteur d'au moins 2 grilles en production (Pour chaque grille, voir la page 'Statistics') :
        - LAL  http://www.xtremweb-hep.org/lal/xw_lal/
        - LRI   http://xw.lri.fr:4330/XWHEP
    –  XtremWeb-HEP possède un jeu complet de manuels d'utilisation à jour, présenté sur http://www.xtremweb-hep.org/spip.php?rubrique17
    –  XtremWeb-HEP est maintenu par l'équipe logiciel présentée sur http://www.xtremweb-hep.org/spip.php?rubrique34 et est fortement soutenu par l'Institut des Grilles et du Cloud, l'INRIA, l'ENS Lyon, GRID5000).

Contexte d’utilisation du logiciel
  • Traitement Distribué des Données
  • Calcul Distribué
  • Mutualisation des ressources
  • Grille informatique (Grille de PC)
  • Soumission de Jobs
Publications liées au logiciel
  • Hybrid Distributed Computing Infrastructure Experiments in Grid5000 : Supporting QoS in Desktop Grids with Cloud Resources   http://users.lal.in2p3.fr/lodygens/gc/g5k.pdf
    G. Fedak, S. Delamare, O. Lodygensky.   Grid 5000 School, Reims, France - April 18-21, 2011
  • Extending the EGEE grid with XtremWeb-HEP Desktop Grid   http://users.lal.in2p3.fr/lodygens/gc/PCGrid2010.pdf
    H. He, G. Fedak, P. Kacsuk, Z. Farkas, Z. Balaton, O. Lodygensky, E. Urbah, G. Caillat, F. Aurajo, A. Emmen.   4th Workshop on Desktop Grids and Volunteer Computing Systems, Melbourne, Australia - May 17-20, 2010
  • EDGeS : Bridging EGEE to BOINC and XtremWeb   http://users.lal.in2p3.fr/lodygens/gc/EDGeS-Bridgi...
    E. Urbah, P. Kacsuk, Z. Farkas, G. Fedak, G. Kecskemeti, O. Lodygensky, A. Marosi, Z. Balaton, G. Caillat, G. Gombas, A. Kornafeld, J. Kovacs, H. He, and R. Lovas.   JoGC Journal of Grid Computing, Volume 7, Number 3, 2009.

Commentaires

ven, 25/01/2013 - 12:19 — oleg

Qualité logicielle

La qualité des développements de XtremWeb-HEP est désormais suivie avec l'outil "sonar" (http://www.sonarsource.org/): http://www.xtremweb-hep.org/spip.php?article271

mar, 13/12/2011 - 17:03 — EUrbah

Version actuelle : 7.6.4

Le 12/12/2011 a été publié XtremWeb-HEP version 7.6.4, qui corrige un problème de gestion des proxies X509.

ven, 25/01/2013 - 12:18 — oleg

XtremWeb-HEP 8

Depuis début 2012, XtremWeb-HEP 8+ a été publié. La version actuelle étant la 8.1.2.
Cette version introduit la virutalisation en permettant la soumission de machines virtuelles: http://www.xtremweb-hep.org/spip.php?article227