APCScheduler

Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 20/01/12
  • Correction mineure : 20/01/12
Mots-clés

APCScheduler : simplifier la soumission de jobs sur une grille de calcul fonctionnant sous gLite/WMS

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.
  • Site web
  • Système : UNIX-like
  • Version actuelle : 0.9.1 - août 2011
  • Licence(s) : CeCILL-B
  • Etat : diffusé, stable
  • Support : maintenu, développement en cours
  • Concepteur(s) : Jean-Marc Colley
  • Contact concepteur(s) : colley@apc.univ-paris7.fr
  • Laboratoire(s), service(s)... : APC

 

Fonctionnalités générales du logiciel

APCScheduler est une bibliothèque python permettant de soumettre des jobs sur une grille de calcul gLite/WMS. Elle offre les fonctionnalités suivantes :

  • Ecriture automatique du fichier JDL
  • Technique du parachute automatisé pour les exécutables compilés
  • Possibilité de lancer un ensemble de jobs, type Monte Carlo 
  • Prise en charge des applications MPI, via MPI-START
  • Possibilité de définir ou d'exclure un ensemble de Compute Element (CE) ou de WMS
  • Re-soumission d'un job hors délais sur un autre CE, WMS
  • Récupération automatique du sdtout et stderr à la fin du job sur l'User Interface (UI)
  • Rapatriement des fichiers de sortie écrit sur le CE vers l'UI, mécanisme de "boîte aux lettres"
  • Possibilité de bloquer le déroulement du script jusqu'à la fin du ou des jobs puis de passer à l'analyse des résultats dans un même script
  • Réception d'un mail à la fin d'un job ou d'un ensemble de jobs
  • Manipulation des fichiers sur les Storage Element (SE)

APCScheduler contient également des commandes type unix "apcgrid-xxx" permettant de :

  • Création d'un tarball à partir d'un exécutable
  • Soumettre un job en une ligne de commande: apcgrid-run echo -p 'Hello grid from CE $HOSTNAME'
  • Manipuler les fichiers entre l'UI et un SE, possibilité de copie récursive

Avec une syntaxe très proche, il est également possible de soumettre des jobs séquentiels ou parallèles  sur le cluster du CCIN2P3 et également en "local", c'est à dire sur son ordinateur personnel, noeud de login ou de calcul d'un cluster. Dans ce mode APCScheduler lance et surveille des processus UNIX.

Contexte d’utilisation du logiciel
  • Initialisation à la grille de calcul
  • Utilisation personnelle
  • Projet ayant des besoins de calculs non intensifs