pipelet

Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 07/11/11
  • Correction mineure : 07/11/11
Mots-clés

pipelet : faciliter le traitement de données à l'aide de pipeline

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.
  • Site web
  • Système : UNIX-like, MacOS X
  • Version actuelle : 1.1 - avril 2011
  • Licence(s) : GPL - GPL version 3
  • Etat : diffusé en beta
  • Support : maintenu, développement en cours
  • Concepteur(s) : Marc Betoule Maude Le Jeune
  • Contact concepteur(s) : lejeune@apc.univ-paris7.fr
  • Laboratoire(s), service(s)... : APC, LPNHE

 

Fonctionnalités générales du logiciel

Pipelet est un logiciel conçu pour faciliter le traitement de données. Il permet de créer, manipuler, exécuter des chaînes de traitement, et naviguer à travers les différentes instances produites.

Son infrastructure :

  • permet de construire et visualiser n'importe quel schéma de dépendance ;
  • offre un accès web aux données et figures produites, afin de faciliter les comparaisons et la traçabilité ;
  • facilite le passage à l'échelle, en rendant les chaînes portables et parallélisables sur les machines de calcul parallèle.

Le moteur du logiciel, ainsi que son interface Web sont écrits en Python.

Contexte d’utilisation du logiciel

Pipelet est utlisé dans deux missions d'observation du fond diffus cosmologique (CMB) :

  • Planck : un satellite ESA lancé en 2009, mesurant l'émission micro-ondes du ciel avec une précision sans précédent. Au sein de ce projet, Pipelet est utilisé pour la conception de chaînes de traitement complexes en vue de la séparation des composantes (émissions d'avant plan diffuses, sources ponctuelles) et l'estimation spectrale du CMB.
  • Polarbear : un télescope, situé au Chili, dédié à l'observation des modes polarisés de cette émission. Au sein de ce projet, Pipelet sera utilisé pour l'analyse offline des données rappatriées au NERSC (Berkeley). L'interface Web profite dès à présent des "science gateways" offerts par le centre, pour faciliter l'accès aux données.

Pipelet est également utilisé dans le cadre de l'analyse des données d'imageurs grand champs. Il est actuellement utilisé pour la calibration de SNLS, un relevé photométrique réalisé par la caméra MegaCam au Canada-France-Hawaii Telescope. Il est envisagé de poursuivre son utilisation dans le cadre de l'analyse offline du relevé SkyMapper, également dédié à l'observation des supernovae de type IA.