admin syst rés

Logiciels (logiciels libres en majorité) ou ressources (liées aux logiciels) utiles aux administrateurs systèmes et réseaux informatiques

Etude sur les métiers de l’informatique dans les laboratoires de recherche (BAP E)

Fiche ressource Article, événement, site web...
  • Création ou MAJ importante : 23/02/10
  • Correction mineure : 05/07/10
Mots-clés

Etude sur les métiers de l’informatique dans les laboratoires de recherche (BAP E)

Cette étude CNRS porte sur les métiers de l’informatique au sein des unités de recherche.

Elle décrit comment ces métiers influent directement sur la qualité des recherches et comment ces derniers sont intégrés au plus près des programmes développés. A partir d’une analyse détaillée de la situation actuelle et des tendances d’évolution, ce rapport propose des recommandations pour l’avenir, en particulier pour optimiser le développement de la recherche qui est très fortement corrélé au développement de l’informatique.

L’analyse est issue d’une enquête et d’entretiens qui ont permis de :

[1] caractériser quantitativement et qualitativement ces métiers de l'informatique qui recouvrent de nombreuses spécificités au sein des unités de recherche. Il s'agit d'identifier et de décrire, les activités individuelles, mais aussi les pratiques collectives liées à l’informatique et les conséquences attendues en termes d’organisation, de métiers et de développement professionnel.

[2] préciser la nature et le contenu des pratiques collectives et les conséquences induites en termes de modes d’organisation, d’évolution technologique et de développement professionnel.

L’analyse conduit à un certain nombre de recommandations pour optimiser les moyens en informatique :

1) Mener une réflexion sur la création d’une famille professionnelle dédiée à l’exploitation des bases de données scientifiques en BAP E en intégrant le transversalité avec les familles professionnelles voisines des BAP A, D ou F.

2) Mener une réflexion sur les modalités d’accompagnement par expert métier au plan local pour formaliser les demandes de postes et assurer un meilleur suivi des parcours professionnels et des mobilités.

3) Mener une réflexion sur un rattachement secondaire à la BAP E pour les personnels ayant une double compétence informatique et autre domaine scientifique.

4) Augmenter la visibilité des offres de formation locales et nationales

5) Inciter la mise en place de plans de formation des réseaux métiers informatique au-delà des ANGD

6) Adapter les formations à destination des informaticiens par la création notamment d’écoles technologiques

7) Mener une réflexion pour la mise en place d’une coordination nationale pour l’informatique en appui à la recherche scientifique

Les chapitres de cette étude sont :

1 Introduction
1.1 Le contexte
1.2 La finalité de l’étude
1.3 Le périmètre de l'étude
1.4 La méthodologie utilisée

2 Les métiers de l’informatique dans les laboratoires de recherche
2.1 L’architecture du système d’information et l’administration des systèmes et des réseaux (SISR)
2.2 L’informatique scientifique
2.3 Les caractéristiques des métiers de l’informatique
2.3.1 Les métiers liés au SISR
2.3.2 Les métiers de l’informatique scientifique

3 L’organisation de l’informatique
3.1 Au niveau de l’organisme
3.2 Au sein des laboratoires
3.2.1 L’organisation des moyens humains affectés au SISR
3.2.2 L’organisation des moyens humains affectés à l’informatique scientifique
3.3 Les conséquences de ce mode d’organisation
3.3.1 Les points forts
3.3.2 Les points d’amélioration
3.3.3 Les risques

4 L’évolution de l’environnement, des usages et des métiers
4.1 L’évolution des besoins scientifiques et des usages
4.1.1 Le domaine du SISR
4.1.2 Le domaine de l’informatique scientifique
4.2 L’impact des évolutions technologiques sur les métiers
4.2.1 Le domaine du SISR
4.2.2 Le domaine de l’informatique scientifique
4.3 L’évolution (structure, contraintes environnementales)
4.3.1 Le domaine du SISR
4.3.2 Le domaine de l’informatique scientifique
4.4 L’acquisition des compétences
4.4.1 Compétences des personnels en regard de leurs fonctions
4.4.2 La formation

5 Les recommandations
5.1 L’organisation au niveau institutionnel
5.2 L’organisation au niveau (inter)-laboratoire
5.3 La reconnaissance et le développement des compétences

6 Annexes
6.1 Annexe 1 : Lettre de cadrage
6.2 Annexe 2 : Contributeurs
6.3 Annexe 3 : Questionnaire centré sur les métiers liés au Système d’information, du laboratoire, aux systèmes réseaux.
6.4 Annexe 4 : Questionnaire centré sur les métiers liés au développement au calcul scientifique, aux statistiques et aux SI scientifiques
6.5 Annexe 5 : Trame de l’entretien avec les directeurs de laboratoire

NB: Cette fiche de résumé a été rédigée par Maurice Libes et validée par Françoise Berthoud

Fiche logiciel validé
  • Création ou MAJ importante : 11/07/13
  • Correction mineure : 22/08/13
  • Rédacteur de la fiche : Yohan Colmant - coordinateur technique du projet ORI-OAI - DSI Univ Valenciennes (Université de Valenciennes et du Hainaut Cambrésis)
  • Relecteur(s) : Raymond Bourges (Univ Rennes 1)
    Karen Raynal (Uiversité Bordeaux 1)
  • Responsable thématique : Raphaël Tournoy (Centre pour la Communication Scientifique Directe)
Mots-clés

ORI-OAI : Outil de Référencement et d'Indexation pour un réseau de portails OAI-PMH

Une fiche Dév Ens Sup est en relation avec cette fiche, consultez-la pour plus d'informations : ORI-OAI
Description
Fonctionnalités générales

Destiné principalement aux universités et grandes écoles, l'Outil de Référencement et d'Indexation pour un réseau de portails OAI-PMH ORI-OAI vise la mise en place d'un système ouvert, en logiciel libre, permettant :

  • de gérer et de publier tous les documents numériques produits par les établissements universitaires,
  • de les partager avec d'autres établissements,
  • de les valoriser par une indexation de qualité,
  • de les rendre accessibles, à distance et selon les droits définis, dans des interfaces ergonomiques.

La mission du projet ORI-OAI est aussi le développement de communautés OAI-PMH.
Il propose une implémentation de référence du protocole OAI-PMH ainsi que les outils nécessaires à la mise en place de ces communautés et à la bonne intégration aux communautés existantes.

Le développement ORI-OAI s'appuie sur les travaux de plusieurs groupes, consortiums et universités numériques.

Autres fonctionnalités

ORI-OAI est configurable et s'adapte à différents besoins : le type des documents à référencer et à partager, les workflows de saisie, les interfaces de recherche, etc.

Dans le système ORI-OAI, les composants sont indépendants. Suivant les cas d'utilisation, l'interaction entre les composants est différente et tous ne sont pas obligatoires.
Trois grands cas existent :

  • une gestion des ressources produites
    Il s'agira par exemple d'une gestion par un établissement de l'ensemble ou d'une partie des ressources numériques qui constitue son archive institutionnelle.
  • une agrégation de ressources extérieures
    Cet aspect sera par exemple utilisé par les UNT et UNR pour développer des portails présentant l'ensemble des ressources produites par les établissements appartenant à leur réseau.
  • une utilisation complète (production et agrégation)
    Les deux précédentes possibilités sont compatibles : un établissement peut à la fois gérer les ressources qu'il produit et agréger des ressources extérieures issues de ses réseaux. De même une UNT peut mettre à la disposition d'établissements qui ne posséderaient pas leur propre outil de gestion, une chaîne de diffusion de leurs ressources.
Interopérabilité

Le logiciel ORI-OAI utilise au maximum les standards < href="/fr/ressource/xml" class="fiche_plume">XML pour le référencement des ressources (LOM, LOMFR, SupLOMFR, TEF, oai_dc, etc.) et utilise le protocole OAI-PMH pour le moissonnage des fiches de métadonnées.

Les différents modules qui composent ORI-OAI sont indépendants et peuvent être intégrés dans un système existant via des WebServices dont l'interface est définie dans les documents techniques du projet.

Contexte d'utilisation dans mon laboratoire/service

ORI-OAI est utilisé dans les établissements d'enseignement supérieur pour le référencement de tous les types de ressources numériques :

  • ressources pédagogiques
  • thèses électroniques
  • ressources administratives
  • publications scientifiques
  • offre de formations
  • etc.

ORI-OAI est utilisé dans une trentaine d'établissements (université française, grande école, UNR, UNT, etc.). Voici une liste non exhaustive des différentes instances et configurations de ORI-OAI :

ORI-OAI est entièrement adaptable à son contexte d'utilisation. Les formats de métadonnées (et donc de type de ressources) sont configurables ainsi que les workflows de saisie de ces métadonnées.

Les exemples ci-dessus d'instances de ORI-OAI en production dans les établissements montrent l'adaptabilité des configurations et de la charte graphique de l'outil.

Environnement du logiciel
Plates-formes

Ce logiciel est développé dans un environnement Java (J2EE) et fonctionne sur toutes les plates-formes.

Logiciels connexes

L'installation de ORI-OAI nécessite les pré-requis suivants :

  • ANT pour l'installation
  • Java (JDK) à partir de la version 1.6
  • un annuaire LDAP pour gérer les utilisateurs de l'application
Autres logiciels aux fonctionnalités équivalentes
Environnement de développement
Type de structure associée au développement

Le projet est développé par le consortium ORI-OAI dont les membres fondateurs sont :

  • INP Toulouse
  • INSA de Lyon
  • Université de Rennes 1
  • Université de Valenciennes
  • UNIT - Université numérique ingénierie et technologie
  • UVED - UNT Environnement et développement durable
  • UMVF - Université médicale virtuelle francophone
Eléments de pérennité

Le projet ORI-OAI est un projet Open Source développé par les membres de la communauté de l'enseignement supérieur et soutenu par la MINES (Mission numérique pour l'enseignement supérieur).

ORI-OAI voit actuellement sa communauté d'utilisateurs et de contributeurs grandir. Contrairement à la plupart des logiciels équivalents, ORI-OAI apporte une grande souplesse dans les configurations et s'adapte réellement aux besoins des utilisateurs et au fonctionnement des établissements. ORI-OAI s'adapte aux besoins, pas l'inverse.

Des partenariats viennent aussi de voir le jour avec le réseau des universités du Québec pour des développements communs de la plate-forme.

Références d'utilisateurs institutionnels

Il est possible de consulter la liste des membres de la communauté ORI-OAI à cette adresse : http://www.ori-oai.org/Etablissements_utilisateurs

Environnement utilisateur
Liste de diffusion ou de discussion, support et forums

Pour toute information sur le projet ORI-OAI, vous avez accès à deux listes de diffusion publiques :

  • la liste ori-oai-info vous tient au courant des avancées du projet.
  • la liste ori-oai-utilisateurs vous permet de poser toutes vos questions à la communauté ORI-OAI, en tant qu'utilisateur ou si vous êtes intéressés par le projet, sur les aspects techniques, fonctionnels et l'état d'avancement des développements.

Une liste fonctionnelle ori-oai-fonc permet de participer aux échanges et aux travaux des groupes fonctionnels ressources pédagogiques, thèses et archives ouvertes.

Un plan de formation national est aussi en place au travers des UNR. Ces formations couvrent les aspects fonctionnels et techniques.

Documentation utilisateur
Contributions
Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 16/02/10
  • Correction mineure : 15/05/12
Mots-clés

j-chkmail : filtre antispam/antivirus pour des passerelles de messagerie

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.
  • Site web
  • Système : UNIX-like
  • Version actuelle : 2.2.1 - 7 février 2010
  • Licence(s) : GPL - Licence GPL avec contrainte. Voir explications plus loin.
  • Etat : validé (au sens PLUME), diffusé, stable
  • Support : maintenu, développement en cours
  • Concepteur(s) :

    Jose-Marcio Martins da Cruz

  • Contact concepteur(s) : Jose-Marcio.Martins@mines-paristech.fr
  • Laboratoire(s), service(s)... : Mines Paris Tech

 

Une fiche logiciel décrit plus en détail ce développement, consultez la pour plus d’informations : j-chkmail
Fonctionnalités générales du logiciel

Introduction

j-chkmail est un filtre antispam/antivirus pour des passerelles de messagerie. Il a été conçu avec l'objectif d'être une solution de filtrage de messages électroniques (antispam et antivirus) complète et intégrée, capable de traiter un niveau de trafic important, tel celui d'une passerelle de messagerie d'un campus universitaire.

Filtrage antispam

j-chkmail combine des méthodes de filtrage de connexion (comportement du client SMTP) et de contenu des messages.

Filtrage protocolaire

  • Greylisting - Le greylisting adaptatif implémenté dans j-chkmail vise à réduire le nombre d'enregistrements et à déduire des nouveaux triplets à partir de ceux déjà validés et le rend apte à être utilisé pour traiter un trafic important. Aussi, chaque instance du filtre peut fonctionner en mode autonome (avec une base locale de triplets) ou couplée avec une base de données partagée avec autres instances. Cela permet de réduire les échanges entre différentes instances tout en assurant le fonctionnement autonome en cas de défaillance de la base partagée.
  • Limitations de ressources - Il s'agit de contrôler et limiter l'utilisation par des limites imposées et évaluées pour chaque client SMTP : cadence de connexions, messages et destinataires, connexions ouvertes en même temps, messages par connexion, destinataires par message, ... Si ces limitations n'ont pas un impact très important dans l'efficacité de filtrage elles contribuent à empêcher les abus, à éviter que les ressources du serveur ne soient monopolisées par un petit nombre de clients et à protéger le serveur contre des dénis de service.
  • Filtrage comportemental - il s'agit de gérer dynamiquement une liste noire, construite en fonction du comportement des clients (nombre d'erreurs de destinataire, nombre de spams, ...). Sauf "récidive", le temps de séjour d'un client dans cette liste est de l'ordre de quatre heures.
  • Utilisation de listes noires/blanches (RBL, RWL) - il est possible d'utiliser des listes externes, pour placer les clients SMTP dans des classes spécifiques et de leurs attribuer des privilèges ou pénalités différentes des valeurs par défaut.

Filtrage de contenu

  • Filtrage d'URL - il s'agit de vérifier si les noms de domaine apparaissant dans des URLs dans le corps du message sont aussi présentes dans une liste noire. Cette liste peut être soit dans un DNS (p. ex. http://www.surbl.org) soit dans une base de données du type BerkeleyDB construite localement ou récupérée sur un des serveurs de j-chkmail.
  • Filtre statistique textuel - il s'agit d'un filtre statistique du type "Naive Bayes". L'apprentissage se fait hors ligne. L'auteur met à la disposition une base d'apprentissage utilisable dans une communauté similaire - organisme d'enseignement et recherche français.
  • Expressions régulières - il s'agit de rechercher des mots-clés ou des expressions regulières dans le corps du message.

Autres

  • Bad MX - vérification du MX de l'adresse de l'expéditeur (peut on lui répondre ?). L'objectif de ce test est surtout d'éviter de générer des "bounces" indélivrables (éviter le remplissage inutile des files de sortie).
  • Filtre heuristique - il s'agit d'un filtre statistique utilisant les caractéristiques générales du message plutôt que le contenu textuel.
  • Conformités - une série de vérifications de conformités avec les RFCs relatives à la messagerie.

Filtrage antivirus

Filtrage par le nom des fichiers attachés (extension ou expression régulière sur le nom) et/ou interface avec un antivirus externe (ClamAV).

Gestion du filtre et statistiques

j-chkmail génère des informations suffisantes pour la gestion du filtre, pour le suivi en temps réel ou encore l'élaboration de rapports statistiques. En particulier, tout traitement non transparent d'un message ou connexion est enregistré dans des fichiers journaux, de façon à pouvoir retracer le parcours d'un message en cas de besoin. Ces informations sont enregistrées dans des fichiers textuels de façon à ce qu'ils puissent être facilement exploitables selon des besoins.

De même, il est possible d'intervenir, à chaud, sur le filtre (par telnet), pour lire ou modifier les paramètres de fonctionnement, recharger la configuration ou les bases de données, sans avoir à l'interrompre ou relancer le filtre.

Divers

  • Configuration spécifique - la plupart des fonctionnalités peuvent être activées/configurées en fonction de l'adresse IP (ou le nom) du client SMTP, l'adresse de l'expéditeur et l'adresse du destinataire.
  • Classement des clients SMTP - les clients sont regroupés en classes (NetClass), définies selon leur adresse IP, leur adresse réseau ou leur nom de domaine. Il y a 5 classes pré-définies, avec une notion de voisinage (LOCAL, DOMAIN, FRIEND, AUTH et UNKNOWN), mais on peut définir d'autres selon les besoins. A ce classement statique peut s'ajouter des définitions faites dans une zone DNS : listes noires (RBL) ou blanches (RWL). Ces regroupements permettent de regrouper les adresses réseau et d'attribuer des paramètres de filtrage différents selon la classe.
  • Quarantaine - les messages considérés suspects peuvent être mis en quarantaine, accessible à des applications externes de post-traitement.
  • Contrôle d'accès des destinataires - outre la validation des destinataires, cette fonctionnalité permet de restreindre l'accès à certaines adresses uniquement aux clients connus, par exemple, en ne permettant l'accès à tous [at] domaine [dot] tld, qu'aux clients locaux.
  • Compatible IPv6
  • Tout intégré - j-chkmail ne dépend d'aucune bibliothèque ou paquet externe ou non livré avec le système autre que la libmilter. j-chkmail utilise BerkeleyDB et PCRE, incluses dans la distribution.
  • Outils en ligne de commande
Contexte d’utilisation du logiciel

Filtrage de mail sur un serveur (ou passerelle) de messagerie, équipé de sendmail ou postfix.

Remarque sur la licence

La licence n’est pas une GPLv2 pure. Une clause y est ajouté:

“If you use or distribute j-chkmail, or ANY product derived from j-chkmail, in any way, INCLUDING SERVICES you MUST explicitly inform your users that what you’re distributing is a free software or based on a free software, indicating explicitly j-chkmail with a pointer to j-chkmail web site from the main page of your web site.”

Ce logiciel a été créé initialement et en priorité pour la communauté ESR française, et mis à disposition gratuitement. Ainsi, le nom du projet PLUME (Promouvoir les Logiciels Utiles, Maîtrisés et Economiques) reflète bien la pensée de l'auteur : privilégier les intérêts des utilisateurs finaux et de l'auteur. Ainsi, pour que l'utilisateur final puisse garder la maîtrise de l'outil, le mot libre (et toutes les conséquences) doit s'appliquer, en priorité, à l'utilisateur final et non pas aux intermédiaires. En aucun cas, la liberté des intermédiaires peut être prioritaire par rapport à celle des utilisateurs finaux.

Publications liées au logiciel

Martins da Cruz, J.M. - Mail Filtering on medium/huge mail servers with j-chkmail - Terena Networking Conference - Poznan, PL, 2005

Martins da Cruz, J.M. - Le filtrage de mail sur des gros serveurs - JRES - Marseille, 2005

Ces 2 publications ainsi que d'autres, concernant le filtrage de mail mais pas spécifiques à ce filtre, sont disponibles sur le site web du logiciel

Le logiciel libre dans un laboratoire de recherche en chimie

Fiche ressource Article, événement, site web...
  • Création ou MAJ importante : 16/02/10
  • Correction mineure : 01/12/11
Mots-clés

Le logiciel libre dans un laboratoire de recherche en chimie

Cette fiche se veut non exhaustive et traite des possibilités d'utilisation et du retour d'expérience de l'utilisation de logiciels libres dans un laboratoire.

Son unique but est de donner quelques pistes pour le déploiement de ressources informatiques dans le monde de la recherche en chimie.

On peut distinguer 3 principaux domaines :

  • les applications purement scientifiques ;
  • les applications liés à la « gestion administrative scientifique » : référencement, édition de documents scientifiques, etc ;
  • la gestion et l'administration d'un réseau dans un laboratoire de recherche.

1. Les applications scientifiques

Elles sont liées au domaine de recherche et aux équipements utilisés. Pour un équipement "commercial" et dans le cadre d'une acquisition de données, l'application principale est généralement un logiciel dit « constructeur ». Cela peut également être un développement local mais il s'agit plus rarement d'un logiciel dit « libre » et le système d'exploitation est le plus souvent basé sur Windows. Par contre, pour la partie traitement, il existe toute une panoplie de logiciels libres à disposition des utilisateurs et qui sont spécifiques pour chaque discipline ou chaque traitement. Entre autres, on trouvera des "outils" Open Source dans le cadre de la modélisation moléculaire, de la simulation, de l'analyse, etc… (développements pour tous les systèmes d'exploitation). Il est difficile de tous les lister, tant les spécialités sont nombreuses.

Quelques sites web qui répertorient les logiciels libres en chimie (il y en a beaucoup d'autres....) :

Une piste de recherche : dans un navigateur, taper « logiciel libre » + domaine (par exemple « spectroscopie ») ou type de traitement .....

2. Les applications de gestion administrative scientifique

Mots clés : bureautique, communication internet, bibliographie, graphisme

Les "puristes" choisiront bien entendu des suites LaTEX et autres TEX pour éditer leurs documents scientifiques.

Les outils classiques de bureautique et d'accès à internet sont également très utilisés (Firefox, Thunderbird, OpenOffice, Gimp, PDFCreator, etc).

L'aspect "gestion bibliographique" a été très bien traité lors d'une journée "Plume" :

http://www.projet-plume.org/fr/ressource/journee-plume-biblio-2009

Concernant la partie graphique, il existe une multitude d'outils de dessin de molécules dans tous leurs états.

Remarque : Pour ce qui est de notre propre expérience, le couple "Windows/Office" est préféré au package "Linux/OpenOffice" du fait des habitudes des chercheurs et d'importants échanges de documents avec l'extérieur, notamment le monde industriel (problèmes de compatibilité). Par contre, on trouvera du "Libre" dans tous les autres domaines.

3. Logiciels Open Source utilisés dans le cadre de la gestion et de l'administration réseau (cette rubrique n'est pas propre à un laboratoire de recherche en chimie)

L'utilisation des logiciels Open Source offre des services très intéressants dans la gestion et l'administration d'un réseau de laboratoire, notamment dans le cas d'une petite entité (une cinquantaine de personnes). Ces services ne sont pas spécifiques au domaine "chimie" et sont utilisés par beaucoup d'Administrateurs Systèmes et Réseaux.

Entre autres, on peut citer :

  • OCS Inventory NG : solution puissante d’inventaire du parc informatique via notamment la récuperation automatique de la configuration matérielle et logicielle des ordinateurs
  • GLPI : helpdesk, système de suivi des demandes, couplé avec OCS Inventory NG il facilite la gestion de parc
  • Syslog NG : gestion de traces (variante php-syslog-ng : interface web basée sur un script php qui permet de lire les logs générés par un serveur local ou une machine distante)
  • CUPS : serveurs d'impression
  • Apache : serveur http
  • Php : langage informatique orienté programmation Web
  • MySql : serveur de bases de données relationnelles

-----------------------------------------------------------------------------------------------------------

Remarque 1 : Dans le cadre de la gestion et de l'administration d'une Unité de Recherche, il y a lieu de déployer les applications spécifiques à cet effet (par exemple catalogue de la DSI pour les unités CNRS).

Remarque 2 : Un aspect particulier, le développement d'applications dans un laboratoire de recherche(cf. http://www.projet-plume.org/relier - http://www.projet-plume.org/fr/breve/plume-juin-juillet-2009)

-----------------------------------------------------------------------------------------------------------

Avez-vous un complément d'informations ou des références intéressantes à
nous signaler?

Merci de les indiquer dans un commentaire au bas de cette page ou d'écrire à plume [at] services [dot] cnrs [dot] fr (plume).

Livre blanc sur les logs de l'OSSIR

Fiche ressource Article, événement, site web...
  • Création ou MAJ importante : 15/02/10
  • Correction mineure : 15/02/10
Mots-clés

Livre blanc sur les logs de l'OSSIR

Les logs sont utilisés quotidiennement par les administrateurs des systèmes et des réseaux ainsi que les acteurs de la sécurité informatique depuis bien longtemps, mais cela fait peu de temps qu'ils ont investi le monde des juristes. L'apparition en filigrane de références, souvent indirectes dans les textes, a créé un flou artistique autour de l'objet "log". Il est devenu nécessaire de faire un point et de confronter les points de vue techniques et juridiques pour préciser et affiner l'objet en question.

Le livre blanc est disponible à l'adresse suivante : http://www.ossir.org/uploads/media/OSSIR_Livre-blanc_Logs_v1.pdf

Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 15/02/10
  • Correction mineure : 16/09/10
Mots-clés

ChemAzTech : logiciel de type chimiothèque

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.
  • Site web
  • Système : UNIX-like
  • Version actuelle : 0.6a - 07-30-2010
  • Licence(s) : GPL
  • Etat : diffusé en beta, en développement
  • Support : maintenu, développement en cours
  • Concepteur(s) : Rémy Dernat (CNRS, IBMM). Les participations sont bienvenues.
  • Contact concepteur(s) : remy(_dot_)dernat(_at_)univ-montp1(_dot_)fr
  • Laboratoire(s), service(s)... : IBMM

 

Fonctionnalités générales du logiciel

Il s'agit d'un logiciel de type chimiothèque. Ce dernier inclut de nombreuses fonctionnalités et ne cesse de s'enrichir. L'objectif est de pouvoir centraliser et collaborer sur une même plate-forme Web.
Ce logiciel est complètement OpenSource. La documentation est disponible à la racine de l'archive téléchargeable en ligne.
( http://chemaztech.sourceforge.net )

  •  Gérez vos produits chimiques ou ceux de tout un laboratoire (avec leurs structures, les lieux de stockage, les références, les numéros de manipulation...).
  •  Dessinez, éditez vos structures avec JChemPaint.
  •  Visualisez vos molécules en 3D avec JMol, en 2D avec JChemPaint (java) ou avec la librairie python OASA (sous forme d'images SVG)
  •   Recherches par sous-structures avec MyChem.
  •  Calculs automatisés des propriétés, du code Smiles, Inchi avec MyChem.
  •   Importez des molécules depuis un fichier MOL, CDX (ChemDraw) ou toute une base en fichier SDF (ex : depuis ISIS/Base) **
  •   Extractions CSV, exports PDF et XLS(X)...
  •  Gérez utilisateurs et Groupes
  •  Gérez les lieux de stockage et vos produits commerciaux.

** Ces logiciels sont des logiciels propriétaires mais qui sont particulièrement utilisés en chimie.

Les autres logiciels cités sont tous OpenSource, sous licence GPL voir LGPL pour JMol et JChemPaint (ce dernier est associé au Chemistry Development Kit (CDK)). Ainsi, je peux les utiliser comme briques pour ChemAzTech, sans oublier OpenBabel, qui est la pierre angulaire de MyChem et que j'utilise pour convertir les fichiers CDX et les MOL en MOL2 pour la visualisation 3D.

Fiche Plume : OpenBabel ,Mychem

Contexte d’utilisation du logiciel

Pour l'instant, le logiciel n'est pas en production. C'est une béta (alpha même sur sourceforge). Toutefois, il correspond presque à toutes les fonctionnalités voulues. Ce dernier est entièrement OpenSource en se basant sur des piles assez performantes que sont PHP, MySQL, Java et des logiciels de chimie bien aboutis (OpenBabel, JMol, JChemPaint, MyChem).

S'approprier un serveur Apache

Fiche ressource Article, événement, site web...
  • Création ou MAJ importante : 12/02/10
  • Correction mineure : 19/12/11
  • Fiches logiciel PLUME connexes : Apache
Mots-clés

S'approprier un serveur Apache

Comment un administrateur système fraîchement affecté peut-il s'approprier un serveur Apache en activité depuis des années ?

Video de l'exposé sur http://www.jres.org/tuto/tuto12/index

Présentations du Tutojres de février 2010 "sécurité des sites web"

Fiche ressource Article, événement, site web...
  • Création ou MAJ importante : 06/03/10
  • Correction mineure : 15/03/11
Mots-clés

Présentations du Tutojres de février 2010 "sécurité des sites web"

Ce tutoJRES n°12 était consacré à la sécurité des sites Web. Il s'adressait tant aux administrateurs système qu'aux développeurs.
Le programme présenté était le suivant :

  • Typologie des menaces Magali Contensin (IBDML)
    Les différentes menaces et méthodes d'attaque sur les applications web.
  • Les outils de détection de vulnérabilités Magali Contensin (IBDML)
    Kai Poutrain (LIF)
    Une synthèse avec avantages et inconvénients des différents outils permettant de détecter des vulnérabilités dans les applications web. Analyse dynamique (on essaie de corrompre un site web en fonctionnement), analyse statique (on analyse le code source de l'application), prise d'empreintes. La présentation n'est pas disponible pour des raisons de confidentialité. Une recommandation toutefois, ne jamais effectuer des tests d'intrusion sur un site en production.
  • Détection d'incidents Web Christophe Dubois (CERTA)
    Xavier Marronnier (CERT-Renater)
    Les sources, les méthodes utilisées pour détecter des sites compromis. La présentation n'est pas disponible pour des raisons de confidentialité. La recommandation forte est d'appliquer les correctifs de sécurité.

  • Maintenir une configuration Apache en production Jacquelin Charbonnel (LAREMA)
    Comment configurer Apache ? Les pièges à éviter.

  • mod_security, reverse proxy Thierry Dostes (IMM)
    Un serveur Apache avec mod_security est de fait un pare-feu applicatif web (WAF) à base d'outils libres, fonctionne sur la base de listes noires régulièrement mises à jour. Architecture à mettre en place, installation et configuration de l'outil. Un vrai plus en matière de sécurité.
  • Bonnes pratiques PHP/MySQL Magali Contensin (IBDML)
    Les règles que doivent suivre les développeurs pour produire un code sûr. La principale : vérifier toutes les données en entrée et en sortie.

  • Développement et sécurité : choix dans le logiciel Sympa David Verdin (CRU)
    Une appréciation des risques (vol de listes d'adresses, détournement du gestionnaire de listes pour envoi de spam) a conduit à la mise en places de mesures de sécurité. Choix technologiques, difficultés rencontrées.

  • Etude de la pertinence et de l'intérêt des appliances IPS web à l'INRIA Philippe Lecler (INRIA)
    Un pare-feu applicatif web (WAF) peut-il répondre aux besoins d'un organisme de recherche ? Processus de sélection d'un produit, mise en place d'un pilote avec du matériel prêté, mécanisme d'auto-apprentissage, un bilan plutôt positif, par contre le coût peut faire hésiter.

A noter que les présentations sont disponibles sur le site http://www.jres.org/tuto/tuto12/index, sauf la deuxième et la troisième pour des raisons de confidentialité et les videos devraient être mises en ligne prochainement.

Fiche logiciel validé
  • Création ou MAJ importante : 27/02/12
  • Correction mineure : 09/01/13
  • Rédacteur de la fiche : Bruno Bzeznik - un des développeurs de CiGri - LIG (Université Joseph Fourier (Grenoble I))
  • Relecteur(s) : Pierre Girard (Centre de Calcul de l'IN2P3/CNRS)
    Nadia Lajili (CC IN2P3)
  • Responsable thématique : Geneviève Romier (Institut des Grilles et du Cloud)
Mots-clés
Pour aller plus loin

CiGri : grille de calcul “légère”

Une fiche Dév Ens Sup est en relation avec cette fiche, consultez-la pour plus d'informations : CiGri
Description
Fonctionnalités générales

CiGri permet de mettre en place une grille de calcul capable d'exploiter les ressources disponibles d’un ensemble de calculateurs préexistants. Il est spécialisé dans la gestion de grandes campagnes de jobs de type "bag-of-tasks" (sac de taches). Les campagnes de ce type sont composées de nombreuses taches (plus de 100000 par exemple) indépendantes. Il peut s'agir de simulations monte-carlo ou de taches paramétriques (un résultat doit être évalué pour de nombreuses valeurs d'un ou plusieurs paramètres).
Le fonctionnement de CiGri repose sur l'utilisation du gestionnaire de ressources OAR (voir la fiche plume OAR) qui est déployé au dessus des infrastructures de calcul existantes. Utilisé dans le mode “best-effort” ("au mieux"), OAR affecte et libère les ressources de calcul de façon à ce que CiGri ne les utilise jamais aux dépens d'un usage local. De ce fait, une tâche "grille" peut donc être tuée sans préavis. Elle sera soumise à nouveau dès qu'une nouvelle ressource sera disponible.

Par opposition à d'autres intergiciels de grille, comme Globus, Glite, etc., CiGri se veut un outil pour la mise en place de grilles de calcul dites "légères". Notamment, il ne propose pas de modèle complexe d'authentification/autorisation des utilisateurs mais repose simplement sur une gestion classique de comptes locaux qui doit être commune aux différents calculateurs intégrés à la grille. Cette gestion de comptes peut être unifiée par la mise en place d'un annuaire LDAP commun aux calculateurs.

Privilégiant la confiance dans la collaboration entre sites, CiGri convient particulièrement à des structures de type "mésocentre" (par exemple CIMENT : https://ciment.ujf-grenoble.fr ou FLCHP : http://www.flchp.univ-lyon1.fr/).

Le modèle de communication et de sécurité de CIGRI repose actuellement sur l'utilisation de SSH et de SUDO. Le logiciel OAR proposera bientôt une API qui permettera à CiGri de communiquer sur HTTPS avec éventuellement des certificats au lieu du couple SSH/SUDO.

L'architecture est centralisée, c'est à dire qu'il y a un serveur CIGRI central depuis lequel les utilisateurs soumettent les jobs et suivent l'évolution de ces derniers.

Une gestion évoluée des évènements assure un fonctionnement optimum: les jobs tués sont soumis à nouveau automatiquement, les erreurs survenues sur un calculateur donné peuvent suspendre ce calculateur de la grille (blacklist) et l'utilisateur en est informé par mail si nécessaire, certains évènement temporaires sont pris en compte (indisponibilité réseau passagère), etc...

La mise en oeuvre de CiGri nécessite que OAR soit installé sur les grappes de la grille, mais celui-ci peut être couplé à un autre gestionnaire de batch si nécessaire. Des couplages ont déja été testés avec SGE, PBSPro et Torque. Le reste de la mise en oeuvre est simple puisque les communications s'appuient sur "ssh" et l'authentification sur "sudo".

Même si CiGri ne gère qu'un type précis de calculs (sacs de taches), elle permet de décharger localement les grappes de ces taches en les passant à un niveau plus transparent réparti sur les différentes grappes d'un mesocentre de calcul.

Caractéristiques principales:

  • Supporte des grands ensembles de taches (>100k) appelés "campagnes de jobs".
  • Traitement des erreurs, re-soumissions automatiques.
  • Checkpointing (expérimental).
  • Collecte automatique des résultats.
  • Interface web pour la gestion des campagnes de jobs.
  • Estimation de la durée des campagnes.
  • Authentification LDAP possible.
  • Synchronisation automatique de fichiers en début de campagne.
  • Meta-ordonnanceur permettant la création d'ordonnanceurs spécifiques.
  • Ordonnanceur FIFO (premier arrivé, premier servi).
  • Prise en compte des campagnes de mise au point (éxécution d'une seule tache par cluster avec priorité ultra élevée).
  • Support des tâches parallèles (utilisant plusieurs noeuds d'un calculateur distribué, dans une certaine mesure car plus ces tâches sont grandes et moins CiGri sera efficace à cause du taux de re-soumission).
Autres fonctionnalités
  • Enregistrement et affichage de statistiques sur l'utilisation des grappes de la grille
  • Supervision des grappes de la grille
  • En cours de développement :
    • Gestion de priorités entre utilisateurs.
    • Support des contraintes sur les ressources (exemple: "mon job ne fonctionne que sur des machines qui ont au moins 2Go de RAM").
    • API RestFul
  • Groupement des tâches courtes (optimisation, réduction du temps de soumission)
  • Ce que CIGRI NE FAIT PAS :
    • Déploiement des applications : les utilisateurs (ou administrateurs) doivent installer les applications sur chaque cluster potentiellement exploité par une campagne.
    • Gestion des données d'entrée : les données doivent être accessibles sur tous les clusters d'une campagne. Des solutions pragmatiques sont disponibles, comme l'exploitation d'un système de gestion de données distribuées: IRODS (http://www.irods.org). Le projet CIMENT a l'expérience de cette solution couplée à CiGri.
    • Les aspects dépendances des tâches par rapport aux données ne sont pas écartés, mais leur complexité les rends peu prioritaires dans nos développements.
Interopérabilité

CiGri s'appuie sur le gestionnaire de batch OAR qui doit être installé sur les grappes de la grille. Mais ce dernier peut-être facilement couplé en mode meilleurs effort avec d'autres gestionnaires. Cela a déja été réalisé avec SGE, PBSPro et Torque.

La définition d'une campagne de taches est faite dans un fichier au format JDL (Job Description Language). Toutes les données de la grille (jobs, ressources, grappes, évènements,...) sont stockées dans une base SQL, ce qui rend facile l'exploitation de ces données par des logiciels tiers (interfaçage graphique, scripts, ...)

Contexte d'utilisation dans mon laboratoire/service

Le logiciel CiGri est utilisé sur toutes les grappes du mesocentre de calcul de l'Université Joseph Fourier (CIMENT) depuis 2002. Entre 2002 et 2008, cette grille a exécuté plus de 3 millions de taches. Elle exploite actuellement (fin 2008) près de 2000 coeurs de processeurs répartis sur 13 grappes. Les applications touchent des domaines très variés, comme l'astrophysique, la biologie ou l'imagerie médicale. Les utilisateurs sont satisfaits par la facilité d'usage et l'efficacité du système. Les administrateurs sont satisfaits de l'optimisation des machines qui est obtenue.

Limitations, difficultés, fonctionnalités importantes non couvertes

L'installation consiste essentiellement en un travail de configuration (sudo, ssh, ...) à effectuer sur le serveur central et sur les grappes. Si OAR n'est pas déja installé sur les grappes, il faudra d'abord satisfaire ce prérequis. Même si cela n'est pas trivial, c'est à la portée de tout administrateur système ayant des compétences sous Unix et c'est assez bien documenté (voir la fiche plume de OAR). L'installation de CiGri en lui-même est moins bien documentée que celle de OAR, mais la communauté de développeurs OAR/CiGri est prête à donner la main à qui le souhaite. Il ne faut pas hésiter à poser des questions sur la liste des utilisateurs de OAR car ce sont les mêmes personnes qui développent CiGri et qui répondront.

Environnement du logiciel
Plates-formes

Toute plateforme supportant Perl/MySQL/PHP

Logiciels connexes

Le gestionnaire de ressources OAR est nécessaire sur les grappes. C'est via OAR que la grille soumettra les taches. Cependant, OAR peut éventuellement être couplé à un autre gestionnaire de ressources.

Environnement de développement
Type de structure associée au développement

CiGri est développé au sein d'une équipe de recherche en informatique distribuée (LIG/MESCAL) en collaboration avec un mesocentre de calcul (CIMENT)

Eléments de pérennité

Utilisation importante dans l'université Joseph Fourier (projet CIMENT bénéficiant d'une ingénierie dédiée à CiGri).
CiGri est également une plateforme expérimentale pour la recherche en informatique distribuée et est le sujet de plusieurs publications.
CiGri fait l'objet d'un stage Google Summer of Code en 2009 (dans le cadre du projet OAR qui a obtenu 2 stages GSOC en 2008 et 4 stages GSOC en 2009).
CiGri a été choisi par la grille expérimentale française Grid5000 pour la gestion de ses jobs meilleurs-effort. Un développeur de Grid5000 contribue actuellement à temps partiel sur le développement de la prochaine version.
La version 3.0 est actuellement en cours d'écriture. Il s'agit d'une réécriture complète du code, dans un nouveau langage (Ruby). La nouvelle architecture du code inclue une API REST pour faciliter l'intégration à d'autres environnements tels que des portails de gestion de jobs. Cette réécriture est l'occasion de mettre en place des tests unitaires et une documentation de développements, nécessaires à la pérénité du code.

Références d'utilisateurs institutionnels

Université Joseph Fourier - CIMENT (Grenoble)
Fédération Lyonnaise de Calcul à Haute Performance (Lyon)
ENS Lyon (prochainement)
Slovak Academy of Sciences - Institute of Inorganic Chemistry (Slovaquie)
BRGM (Orléans)
GRID5000 (prochainement)

Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur

Doc d'installation : voir le fichier INSTALL dans le répertoire Doc des sources
Doc d'utilisation : voir la page d'accueil de l'interface utilisateur une fois installée.
Support possible via l'ingénierie de CIMENT qui organise des TP. Contactez gridmaster [at] ujf-grenoble [dot] fr pour plus d'informations.

Divers (astuces, actualités, sécurité)

CiGri est actuellement en cours de réécriture complète. Le langage Perl a été abandonné au profit de Ruby. La structure générale du nouveau code est similaire (plusieurs modules communiquant via une base de données) mais de nouvelles techniques seront employées pour améliorer son évolutivité et sa stabilité, en particulier en utilisant des API RestFul. Cette réécriture va aussi permettre d'améliorer l'ordonnancement et d'apporter de nouvelles fonctionnalités qui sont nécessaires à une exploitation de CiGri au sein de Grid5000 en particulier.

Cours Logiciels libres (janvier 2010)

Fiche ressource Article, événement, site web...
  • Création ou MAJ importante : 29/01/10
  • Correction mineure : 20/05/11

Cours Logiciels libres (janvier 2010)

Ces transparents ont été utilisés pour donner un cours de 6-8 heures à des étudiants en informatique niveau MASTER, en janvier 2010, avec le programme :

  • 2 mots sur PLUME (projet dans le libre)
  • Législation logiciels, définitions et origine
  • Les licences libres
  • Développement des logiciels libres : comment, qui, pourquoi ?
  • Points forts et faibles des logiciels libres
  • Où les trouver ?
  • Développer (avec) des logiciels libres
  • Métiers-sociétés autour des logiciels libres
  • Place du libre dans les entreprises et les administrations
  • Principaux types de logiciels libres utilisés
  • En prenant un peu de recul...

Ce cours recommande des informations présentes sur le serveur PLUME :

Si vous avez un commentaire, contactez l'auteur ou ajoutez un commentaire sur cette fiche

Fichier attachéTaille
Cours_Logiciels_Libres_01_2010.pdf459.23 Ko
Syndiquer le contenu