admin syst rés

Logiciels (logiciels libres en majorité) ou ressources (liées aux logiciels) utiles aux administrateurs systèmes et réseaux informatiques
Mots-clés

Formation démarche qualité - 15 et 16 janvier 2014 - Lille

Le réseau Min2Rien et le service formation permanente de la délégation DR18 organisent une formation intitulée "Une démarche qualité dans un service informatique, ça veut dire quoi en pratique ?". Cette journée aura lieu les 15 et 16 janvier à Lille.

Fiche logiciel validé
  • Création ou MAJ importante : 04/11/13
  • Correction mineure : 04/11/13
  • Rédacteur de la fiche : Pascal Mietlicki - Service informatique vice-rectorat de Nouvelle-Calédonie (Ministère de l'éducation nationale)
  • Relecteur(s) : Stéphane Deraco (DSI CNRS)
  • Responsable thématique : David Rousse (CNRS DSI)
Mots-clés

Talend Open Studio : solution d’intégration de données open source

Description
Fonctionnalités générales

Talend Open Studio for Data Integration est une solution d’intégration de données open source flexible et puissante. C'est un ETL (Extract Transform Load) open source basé sur Eclipse.

Il permet d'interagir avec les données de votre Système d'Information, les intégrer, les mettre en forme, les transformer, ...

L'interface générale vous permet de créer des "jobs" qui contiendront le workflow voulu, un workflow étant un ensemble d'activités qui s’enchaînent via l'utilisation de "composants". Comme dans un système standard d'entrée / sortie, vous avez des composants en entrée (input) et en sortie (output) qui vous permettent d'obtenir le résultat voulu (export CSV, envoi d'email pour indiquer les erreurs le cas échéant, etc). Ces composants s'interfacent entre eux via un ensemble d'"interactions" (linéaire, en cas d'erreur, en parallèle).

Un exemple typique est le fait de vouloir alimenter une base de données à partir d'autres bases tout en adaptant les données à votre convenance. Pour ce faire, vous créez un ou plusieurs "jobs", puis des composants d'entrée de base de données (tMysqlInput par exemple), puis vous récupérez le contenu de la table désirée pour laquelle vous transformez vos données (par exemple, passer d'un champ texte vers un champ date) via un composant de type tMap dont le résultat en sortie alimentera une autre base de données (tPostgresqlOutput par exemple).

Une fois terminé, il ne vous reste plus qu'à exécuter le job soit en mode débogage soit en mode normal, ce dernier étant évidemment plus rapide, avec les variables d'entrée voulues (nom de la base, nom du serveur, autres paramètres) en utilisant des variables de "contextes". En effet, vos "jobs" peuvent être paramétrés, et vous pouvez également avoir différents types de "contextes" (par exemple dév, pré-prod, prod).

Une des fonctionnalités les plus intéressantes est le fait de pouvoir générer des scripts en Perl ou Java pour exécuter vos "jobs" directement sur vos serveurs. Ainsi vous pouvez les exporter et les planifier pour s'exécuter aux heures voulues. Vous pouvez même créer un "job" qui sera en écoute d'une modification (par exemple modification d'un fichier) et qui sera alors exécuté lorsque cet événement surviendra.

Autres fonctionnalités

Talend Open Studio vous permet de créer et de générer toute la documentation de votre projet. Il utilise, pour cela, le formalisme UML. Vous pouvez indiquer des commentaires, des informations sur chaque composant de votre projet.

Etant basé sur Eclipse, vous pouvez aussi intégrer votre propre code à votre projet. Vous pouvez également y intégrer des classes ou objets ce qui vous permet de les utiliser sur plusieurs jobs différents.

Talend Open Studio permet également de traiter des problématiques proches de l'intégration des données, comme des projets de MDM (Master Data Management) et de qualité de données.

Interopérabilité

Compatible avec quasiment tous les standards du marché, une liste est visible sur :
http://www.talendforge.org/components/

Si, toutefois, un composant n'existait pas, vous pouvez le créer vous-même et le proposer à la communauté (http://www.talendforge.org).

Contexte d'utilisation dans mon laboratoire/service
  • Nous l'utilisons comme un générateur de script. Le grand atout de Talend Open Studio est de pouvoir générer des scripts très facilement, son interface est intuitive et vous permet d'effectuer très rapidement ce que vous auriez mis des semaines à coder.
  • Exemple typique : alimentation d'une base de données à partir de plusieurs bases de données différentes, création de Web Services, export LDIF paramétré du LDAP, enchaînement de tâches, création d'une IHM Java pour alimenter une base depuis un fichier CSV, ...
Limitations, difficultés, fonctionnalités importantes non couvertes
  • En cas de difficultés, il y a pléthore d'informations sur le Web :
    http://www.talendforge.org
    https://help.talend.com

  • Talend étant une entreprise française, vous n'aurez donc pas de difficultés à trouver des informations dans la langue de Molière.

Environnement du logiciel
Plates-formes

Logiciel Java

Logiciels connexes

Eclipse

Autres logiciels aux fonctionnalités équivalentes
Environnement de développement
Type de structure associée au développement

Éditeur professionnel, communauté associée.

Eléments de pérennité

Basé sur Eclipse, forte communauté d'utilisateurs et de contributeurs. De plus, Talend est une entreprise en expansion et propose tout un ensemble de services tiers, autour de l'ESB en particulier (services qui, si cela vous intéresse, sont payants).

Références d'utilisateurs institutionnels

Entre autres utilisateurs institutionnels, on peut citer :
- L'Université Toulouse 1.
- L'INRA.

Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Divers (astuces, actualités, sécurité)
  • Une multitude de composants existent :
    http://www.talendforge.org/components/

  • Un projet intéressant à créer serait d'avoir un composant IHM qui permettrait d'exporter une fonctionnalité présente sur Talend Open Studio (lorsque le job est exécuté depuis Open Studio), mais actuellement non présente quand le job est exporté et exécuté, qui est de renseigner les paramètres d'entrée du job. Ce composant afficherait une IHM dynamique permettant à l'utilisateur de saisir ces paramètres (une fenêtre avec les différents types de variables en entrée tel qu'un calendrier pour les dates, une zone de saisie pour le texte, un champ adresse IP ou DNS pour le serveur, etc).

Contributions

Principalement via Talend Exchange (informations sur http://www.talendforge.org/) :
http://www.talendforge.org/exchange/

Fiche logiciel validé
  • Création ou MAJ importante : 13/09/13
  • Correction mineure : 13/09/13
  • Rédacteur de la fiche : Olivier Langella - UMR de Génétique Végétale (CNRS, INRA, AgroParisTech, Université Paris Sud)
  • Relecteur(s) : Loïc Dachary (dachary.org)
    David Rousse (CNRS DSI)
  • Contributions importantes : Loïc Dachary
  • Responsable thématique : Gilian Gambini (CNRS DSI)
Mots-clés
Pour aller plus loin

Ceph : système de stockage distribué

Description
Fonctionnalités générales

Ceph est un système de stockage résilient, auto réparant et distribué.

Il contient trois composants : objets, bloc et système de fichiers.

Le stockage objet est accessible par une API spécifique et disponible dans plusieurs langages ou bien via radosgw, une interface REST qui offre une compatibilité pour les applications écrites pour S3 ou Swift.

Rados Block Device (ou RBD) donne accès à des périphériques en mode bloc qui sont divisés et répliqués sur l'ensemble du cluster.

Le dernier composant est encore expérimental : un système de fichiers conforme à POSIX et conçu pour maximiser les performances, permettre le stockage de grands ensemble de données et maximiser la compatibilité avec les applications existantes.

Autres fonctionnalités

Ceph peut permettre le stockage direct d'objets binaires et de métadonnées associées (interface de programmation disponible).

Interopérabilité

Interface REST S3 et Swift, compatibilité POSIX du système de fichiers, intégration dans le kernel linux, kvm et libvirt. Intégration dans OpenStack et Apache CloudStack.

Contexte d'utilisation dans mon laboratoire/service

Ceph est utilisé en production dans la plateforme PAPPSO. Le cluster de stockage est composé de 3 serveurs bi-processeurs et d'un switch gigabit. La capacité actuelle est de 34 To (17 To utiles). Un cluster de calculs de 3 machines utilise ce cluster : chaque nœud de calcul peut profiter d'une bande passante maximum dépendante du nombre de cartes réseaux.

Limitations, difficultés, fonctionnalités importantes non couvertes
  • Ceph est à utiliser avec précaution : la partie RBD et REST (accès par périphérique bloc et compatibilité S3 et Swift) est considérée comme stable, mais la partie système de fichiers est encore considérée par les développeurs comme "expérimentale".

  • Le projet est très actif (une version de développement toutes les deux semaines, une version stable tous les trois mois). De nombreuses améliorations sont régulièrement apportées et les régressions sont vite corrigées.

  • Pour ce qui est de la fiabilité, il résiste extrêmement bien aux problèmes matériels et aussi aux erreurs humaines.

  • Les performances sont correctes (90 Mo/s en lecture/écriture avec accès concurrents) et l'espace de stockage est extensible très facilement (achat de disques, cartes réseaux ou serveurs supplémentaires).

  • Gros avantage enfin, le matériel est standard (pas de fiber channel, RAID, ...), les coûts sont donc faibles et l'on n'a pas besoin de prévoir l'espace de stockage à l'avance.

Il est donc nécessaire d'établir une stratégie pour assurer un service de qualité en production basé sur Ceph :

  • installer uniquement les versions stables publiées tout les trois mois,
  • mettre à jour les versions stables lorsqu'une version de maintenance est disponible, deux semaines après sa publication,
  • ne pas utiliser le système de fichiers.
Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré

Debian GNU/Linux, Ubuntu, RedHat, CentOS

Plates-formes

GNU/Linux uniquement (effort de portage sur Mac OS embryonnaire).

Logiciels connexes
Autres logiciels aux fonctionnalités équivalentes

Lustre, GlusterFS, MooseFS, Riak

Environnement de développement
Type de structure associée au développement

La société Inktank créée en 2012 emploie la plupart des développeurs Ceph. Elle fournit une offre complète de support aux entreprise pour les projets de stockage.

Eléments de pérennité
  • Ceph est un logiciel libre sous licence LGPL. Son développement est très ouvert et respecte les us et coutumes de la communauté Open Source (release often, release soon) : serveur git accessible, mailing liste ouverte, IRC très actif, organisation de la roadmap par des conférences publiques (Ceph Design Summit), ...

  • Le noyau Linux intègre le client Ceph depuis sa version 2.6.34.

  • libvirt intègre le protocole Ceph.

  • kvm intègre le protocole Ceph.

  • OpenStack supporte nativement Ceph.

Références d'utilisateurs institutionnels
  • Université de Nantes
  • INRA
  • Cloudwatt (hors ESR).
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Contributions
Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 07/09/13
  • Correction mineure : 07/09/13
Mots-clés

LeJosRT : extension de leJOS mettant en œuvre la spécification temps réel pour Java

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.
  • Site web
  • Système : UNIX-like, Windows, MacOS X
  • Version actuelle : 2.1 - novembre 2010
  • Licence(s) : GPL - GNU General Public License version 2.0
  • Etat : diffusé en beta, utilisé en interne, en développement
  • Support : maintenu, développement en cours
  • Concepteur(s) : Serge Midonnet
  • Contact concepteur(s) : serge.midonnet@univ-mlv.fr
  • Laboratoire(s), service(s)... : LIGM

 

Fonctionnalités générales du logiciel

LeJosRT est un microgiciel pour la brique LEGO® Mindstorms NXT. Il s'agit d'une extension du projet open source leJOS qui met en œuvre la spécification temps réel pour Java (RTSJ).

Contexte d’utilisation du logiciel

Le logiciel est utilisé comme outil pédagogique et dans un contexte recherche.

Publications liées au logiciel

Serge Midonnet, Damien Masson, and Rémi Lassalle. Slack-Time Computation for Temporal Robustness in Embedded Systems. Embedded Systems Letters, IEEE. 2 (4). December 2010. pp. 119–122. Note: 10.1109/LES.2010.2074184.

Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 22/08/13
  • Correction mineure : 22/08/13
  • Auteur de la fiche : Yohan Colmant (Univ de Valenciennes et du Hainaut Cambrésis - Service informatique)
  • Responsable thématique : Raphaël Tournoy (Centre pour la Communication Scientifique Directe)

ORI-OAI : Outil de Référencement et d'Indexation pour un réseau de portails OAI-PMH

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.

 

Une fiche logiciel décrit plus en détail ce développement, consultez la pour plus d’informations : ORI-OAI
Fonctionnalités générales du logiciel

Destiné principalement aux universités et grandes écoles, l'Outil de Référencement et d'Indexation pour un réseau de portails OAI-PMH ORI-OAI vise la mise en place d'un système ouvert, en logiciel libre, permettant :

  • de gérer et de publier tous les documents numériques produits par les établissements universitaires,
  • de les partager avec d'autres établissements,
  • de les valoriser par une indexation de qualité,
  • de les rendre accessibles, à distance et selon les droits définis, dans des interfaces ergonomiques.

La mission du projet ORI-OAI est aussi le développement de communautés OAI-PMH : il propose une implémentation de référence du protocole OAI-PMH ainsi que les outils nécessaires à la mise en place de ces communautés et à la bonne intégration aux communautés existantes.

Contexte d’utilisation du logiciel

ORI-OAI est utilisé dans les établissements d'enseignement supérieur pour le référencement de tous les types de ressources numériques : thèses et autres publications, ressources pédagogiques, offres de formation, ...

Fiche logiciel validé
  • Création ou MAJ importante : 19/07/13
  • Correction mineure : 19/07/13
Mots-clés
Pour aller plus loin

F*EX : échange de fichiers volumineux

Description
Fonctionnalités générales

F*EX est un service d'échange de fichiers volumineux, l’expéditeur téléverse (upload) un fichier sur le serveur et le destinataire reçoit automatiquement un email avec l'URL de téléchargement.

F*EX permet d'uploader des fichiers volumineux (de plus de 2Go) et dispose de nombreuses fonctionnalités, finement paramétrables en fonction des besoins.

F*EX est écrit en PERL et fonctionne sans l'utilisation d'une base de donnée.

F*EX permet à l'utilisateur :

  • d'uploader des fichiers en interne ou vers l’extérieur,
  • d'inviter une personne à lui envoyer des fichiers,
  • d'inviter une personne à envoyer des fichiers à un groupe de personnes,
  • de paramétrer son compte.

L'utilisateur a la possibilité d'ajouter des sous-utilisateurs ou des groupes (pour les invitations d'upload), de configurer son carnet d'adresses et de gérer son compte (réception des notifications par mail et vue de ses échanges upload et download).

Autres fonctionnalités

F*EX peut être administré soit via l'interface web soit en ligne de commande. L'administrateur peut ajuster la configuration facilement afin :

  • d'autoriser ou non l'upload anonyme,
  • Il peut restreindre l'upload à certaines adresses IP et l'envoi de fichiers vers un nom de domaine en particulier. Il lui est aussi tout simplement possible d'interdire l'utilisation du service par certaines adresses mails.

  • de définir différents types d'utilisateurs,
  • Il peut définir des "full users" ou des "restricted users".
    Les "full users" peuvent échanger avec n'importe quels destinataires.
    Les "restricted users" échangeront par contre avec les noms de domaines que l'administrateur aura définis.

  • de définir des quotas par défaut et par utilisateur,
  • de limiter l'utilisation de la bande passante par défaut,
  • de définir la durée de conservation des fichiers sur le serveur.
Interopérabilité
  • Il suffit de disposer d'un client mail et d'un navigateur.

  • Sans utiliser la méthode mail/navigateur, des programmes clients sont disponibles et fonctionnent sous Linux, Windows et Mac. Une particularité avec le client Linux qui est de pouvoir utiliser le service simplement en ligne de commande.

Contexte d'utilisation dans mon laboratoire/service
  • F*EX est mis en place pour le transfert de fichiers des 50 utilisateurs du laboratoire génomique et maladies métaboliques (UMR8199). Il est installé sur une distribution GNU/Linux Debian avec PERL 5. Plusieurs fichiers d'environ 10Go ont été transférés.

  • F*EX est aussi utilisé à l'Institut Pasteur depuis deux bonnes années maintenant, avec un spool de 1To pour différentes catégories d'utilisateurs (petits fichiers, fichiers > 100Go), sans problèmes notables.

  • A noter également qu'un institut de physique nucléaire allemand a transféré à une université australienne une archive d'environ 1,2To. : http://fex.rus.uni-stuttgart.de/usecases/downunder...

Limitations, difficultés, fonctionnalités importantes non couvertes
  • Il y a quelques bugs sous certaines versions d'IE.

  • Les possibilités de personnalisation de l'apparence peuvent être compliquées, car le code PERL embarque le code HTML. Cependant, il est toujours possible d'intégrer assez facilement une bannière dans le code ou de modifier le contenu. De plus, sans toucher au code, une option existe dans la configuration pour mettre le logo de l'entité en en-tête.

  • La liste de diffusion d'échange est privée.

  • Il n'y a pas de "Bugzilla" ou équivalent.

  • L'envoi anonyme peut être trompeur : si deux utilisateurs utilisent l'envoi anonyme avec le même nom de fichier, le dernier arrivé sera refusé (message explicite côté client).

Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré
  • Packagé pour Debian.
  • Sinon .tar + script d'installation pour les autres systèmes.
Plates-formes
  • Unix + PERL pour la partie serveur.
  • Pour les clients en lignes de commandes, ils tournent sur toutes les plateformes dès lors qu'un interpréteur PERL est disponible.
Logiciels connexes
Autres logiciels aux fonctionnalités équivalentes
Environnement de développement
Type de structure associée au développement

Université de Stuttgart : l'auteur principal est Ulli Horlacher, framstag [at] rus [dot] uni-stuttgart [dot] de.

Eléments de pérennité
  • Le logiciel existe depuis 5 ans et des mises à jours sont effectuées régulièrement. L'auteur est incroyablement réactif, que ce soit par la liste de diffusion ou en direct par mail.
  • Plus d'informations sur les différentes versions sont disponibles ici : http://fex.rus.uni-stuttgart.de/fex.html
Références d'utilisateurs institutionnels
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Divers (astuces, actualités, sécurité)
  • F*EX utilise inetd/xinetd et s'installe donc très facilement. Cela a le mérite de déléguer, dans une certaine mesure, les problèmes de passage à l'échelle de l'OS et cela facilite également grandement les mises à jour qui peuvent se faire en direct.

  • F*EX intègre son serveur web (il n'utilise pas Apache + PHP ou Apache + CGI comme beaucoup de logiciels équivalents), ce qui permet d'uploader des fichiers de plus de 2Go nativement.

  • F*EX peut également être utilisé derrière un reverse proxy avec certaines réserves (à voir au cas par cas selon les reverse proxies utilisés, http://fex.rus.uni-stuttgart.de/usecases/reversepr...).

  • Les programmes clients qui sont mis à disposition alternativement à l'utilisation du navigateur web apportent des fonctionnalités supplémentaires très intéressantes. Il est possible de reprendre un téléchargement interrompu ou de générer une archive (suivant les formats, celle-ci est créée à la volée, par exemple "fexsend -a grosdossier.tar /usr user [at] example [dot] com" va créer une archive sur le serveur F*EX sans jamais la créer en local sur la machine).

  • F*EX se comporte très bien "aux limites", comme lorsqu'il n'y a plus d'espace disque : le message d'erreur est explicite côté client. De plus, F*EX se "gère tout seul" : on l'installe, on configure une rétention maximale, et on n'y touche plus.

Contributions

Il ne faut absolument pas hésiter à soumettre des bugs ou des suggestions à l'auteur : framstag [at] rus [dot] uni-stuttgart [dot] de

Fiche logiciel validé
  • Création ou MAJ importante : 17/07/13
  • Correction mineure : 13/09/13
Mots-clés

OpenStack : système de cloud massivement extensible

Description
Fonctionnalités générales

OpenStack est un CMP (Cloud Management Platform) qui fournit du service d'Infrastructure As A Service. Il permet aux utilisateurs d'instancier des machines virtuelles selon des critères matériels (nombre de CPUs, quantité de mémoire, de stockage disque, etc) et une image de base qui peut fournir le système d'exploitation et les logiciels les plus adaptés. OpenStack possède des fonctionnalités de volume à la demande (tel que EBS d'Amazon) via Cinder, de réseau à la demande via Quantum, de stockage en mode Cloud via Swift.

Autres fonctionnalités
  • Réseau à la demande (Quantum)
  • Volume à la demande (Cinder)
  • Stockage à la demande (Swift)
Interopérabilité

OpenStack est basé uniquement sur des outils open source : Linux, Libvirt, Qemu/KVM et est écrit en Python. Il respecte de nombreux de standards, tels que Ovf, Qcow2, EC2 ou S3, et ses APIs spécifiques (Nova) sont entièrement ouvertes.

Contexte d'utilisation dans mon laboratoire/service

OpenStack est déployé au Centre de Calcul de l'IN2P3 depuis 1 an pour répondre à de nombreux cas d'utilisation comme :

  • Remplacement de VMware pour la fourniture de services divers.
  • Fourniture d'un service de cloud académique publique.
  • Fourniture de services de calcul virtualisé.

Il est actuellement déployé sur 400 cœurs / 2TB de RAM.

Cette plateforme fait partie de la fédération de clouds France Grilles en cours de construction.

Limitations, difficultés, fonctionnalités importantes non couvertes

Bien que très évolué, OpenStack n'implémente pas encore de fonctions avancées, telles que la haute disponibilité des instances (comme VMware HA/FT) ou la distribution de charge (comme VMware DRS).

Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré

Ubuntu, RHEL-like

Logiciels connexes

Linux, Libvirt, Qemu/KVM

Autres logiciels aux fonctionnalités équivalentes
Environnement de développement
Type de structure associée au développement

La Fondation OpenStack à laquelle chacun peut adhérer a en charge le développement, la distribution et la promotion du système OpenStack. La gouvernance du projet est décrite sur le site.

Eléments de pérennité

La fondation OpenStack est solide. Elle est sponsorisée par des sociétés importantes (AT&T, Canonical, HP, IBM, Nebula, Rackspace, Red Hat, SUSE, Cisco, Intel, ...).

Références d'utilisateurs institutionnels

CERN, Australian research sector, IN2P3

Environnement utilisateur
Liste de diffusion ou de discussion, support et forums

La communauté est organisée autour de listes de diffusion, IRC, réseaux sociaux. Elle organise également de nombreux événements.

Documentation utilisateur
Divers (astuces, actualités, sécurité)

Plusieurs vidéos de démonstrations sont disponibles sur le site.

Contributions

Les contributions sont bienvenues pour le code, la documentation, les traductions, les remontées de bugs ou de vulnérabilités.

Savoir comment contribuer.

RMLL2013 : Rencontres Mondiales du Logiciel Libre, juillet 2013, Bruxelles

Fiche ressource Article, événement, site web...
  • Création ou MAJ importante : 20/06/13
  • Correction mineure : 22/08/13

RMLL2013 : Rencontres Mondiales du Logiciel Libre, juillet 2013, Bruxelles

Comme chaque année, les Rencontres Mondiales du Logiciel libre, cycle non commercial de conférences, tables rondes et ateliers pratiques autour du Logiciel Libre et de ses usages, se tiendront cette année à Bruxelles, du 6 au 11 juillet 2013.

Cette quatorzième édition a pour file conducteur "Le libre au quotidien: culture, société et logiciel libre".

Sur le site http://2013.rmll.info, vous trouverez toute l'information utile sur les programmes, les modalités pratiques et la réservation d'hébergement (l'événement en lui-même est gratuit).

Une session « enseignement supérieur et recherche » a lieu le mercredi et le jeudi.

À noter également cette année une série de plénières le mercredi, séances consacrées aux possibles évolutions du droit d'auteur et des licences, ainsi qu'à la défense du domaine public et de l'open access (mercredi matin).
Les détails des présentations (avec les supports et vidéos) sont disponibles ici.

Venez nombreux(ses) pour participer à cette édition des RMLL !

Fiche logiciel validé
  • Création ou MAJ importante : 28/05/13
  • Correction mineure : 28/05/13
Mots-clés

FreeNAS : stockage de données en réseau

Description
Fonctionnalités générales

FreeNAS est un système d'exploitation sous licence BSD basé sur FreeBSD qui offre une solution de stockage et de partage de fichiers.

Cet OS est une alternative à ceux qui souhaitent implémenter leur propre serveur de stockage sans avoir à recourir à une solution tierce et propriétaire.

FreeNAS peut être installé sur une Compact Flash, une clé USB ou un disque dur dédié. Le système d'exploitation prend peu d'espace disque (compter de l’ordre de 1 Go).

L'administration du système s'effectue principalement via une interface web.

FreeNAS offre la possibilité d'exploiter le système de fichiers ZFS permettant ainsi une gestion des volumes de grosse capacités.

Autres fonctionnalités

FreeNAS propose également les diverses fonctionnalités ci-dessous.

Niveaux RAID logiciel
  • 0, 1, 5, JBOD, 5+0, 5+1, 0+1, 1+0 (voir cette page pour la définition de ces niveaux de RAID)
  • RAID-Z (ZFS) : équivalent au RAID5, cette configuration est déconseillée car en cas de perte d'un disque vous risquez d'en perdre un autre au moment de la reconstruction du RAID. Si vous cherchez à fiabiliser vos données, ne partez pas sur cette configuration
  • RAID-Z2 (ZFS) : équivalent au RAID 6 double parité, perte de 2 disques max
  • RAID-Z3 (ZFS depuis la version 8.3) : triple parité, perte de 3 disques max
Support des disques
  • P-ATA/S-ATA, SCSI, iSCSI, USB et FireWire
  • Une des fonctionnalités de FreeNAS est de paramétrer des cibles iSCSI. iSCSI veut dire Internet SCSI, ce qui signifie que des machines clientes peuvent envoyer des commandes SCSI vers des serveurs de stockage distants comme FreeNAS. Les disques ainsi définis seront vus par la machine cliente comme des disques locaux
  • Supervision de l’état des disques S.M.A.R.T via le "daemon" smartd
ZFS
  • Système de fichiers 128 bits
  • Taille maximum du système de fichiers 16 Eio (16000 Po)
  • 248 fichiers / système de fichiers et 248 snapshots
  • ZFS s'auto répare : il est capable de détecter et réparer les erreurs. Dans un RAID, si une donnée est perdue, ZFS va la récupérer sur une autre branche du RAID et remettre la bonne valeur. Le tout est géré automatiquement en arrière plan par le système, aucune intervention humaine n'est nécessaire. Sur ce type de système de fichiers, il n'y a donc plus à effectuer de fsck au redémarrage des serveurs (bien pratique pour des gros volumes)
  • ZFS a une fonction de snapshots : pour réaliser un instantané de votre système de fichiers. Le snapshot ne contient que les modifications apportées, ce qui réduit considérablement l’espace de stockage utilisé par celui-ci
  • La compression à la volée d’une partition ZFS est possible, permettant de réduire l’espace disque mais aussi de réduire le nombre d’entrée/sortie, la compression étant appliquée sur les blocs et non au niveau des fichiers
  • La dé-duplication (à partir de ZFS v22 - disponible depuis FreeNAS 8.3) est également possible : elle consiste à identifier, dans les données, des séquences redondantes qu'il suffit ainsi de stocker une seule fois. Si vous activez la dé-duplication, la documentation recommande d'avoir 5Go de RAM / To de données
Partage des données
  • FreeNAS support les protocoles de partages NFS, CIFS et AFP
  • Les droits d'accès peuvent se faire soit en créant des utilisateurs/groupes locaux directement sur le serveur FreeNAS, ou bien via un annuaire sur le réseau de type OpenLDAP ou Active Directory
Divers
  • Administration du système via les protocoles SSH/HTTP/HTTPS
  • Fonctionnalité DynDNS permettant à l'utilisateur qui utilise une adresse IP dynamique de pouvoir accéder au NAS via un nom de domaine
  • Possibilité d'activer la fonctionnalité serveur FTP, TFTP
  • Possibilité de superviser l'état de votre onduleur
  • Exécution de tâches "crontab" via l'interface web
  • Exécution de tâches "rsync" via l'interface web pour la synchronisation d'espaces de fichiers entre serveurs
Supervision du système
  • SNMP
  • Graphes MRTG par heure/jour/semaine/mois/année (CPU, mémoire, activité réseau, nombre de processus, espace dispo. sur les volumes)
Sauvegarde du système

Possibilité de sauvegarder/restaurer la config. système (fichier de type *.db)

Interopérabilité

Pour connaître la compatibilité matérielle de FreeNAS, il faut se reporter à la compatibilité des matériels de FreeBSD. Par exemple, pour la version FreeNAS 8.3, on peut avoir les info. sur le site de FreeBSD : http://www.freebsd.org/releases/8.3R/hardware.html

Contexte d'utilisation dans mon laboratoire/service

FreeNAS est utilisé dans le cadre de la manipulation scientifique CADOR (Coordination and Data Analysis for Robotic Observatories). Le serveur FreeNAS héberge les images d'observations de 2 télescopes situés en France (plateau de Calerne) et au Chili (La Silla).
Nous utilisons actuellement sur le serveur FreeNAS environ 10 To de données utiles. La volumétrie totale offerte par le serveur est de 30 To. Le système de fichiers utilisé est ZFS. Les données sont exportées en NFS sur une dizaine de serveurs qui sont sous Linux.
Nous ne réalisons actuellement aucun snapshot et aucune compression sur le système de fichiers ZFS. La version de FreeNAS que nous utilisons est la 8.2 et n’implémente pas la dé-duplication.

Le serveur est un DELL PowerEdge R510 - 12 disques SATA de 3 To. ZFS étant gourmand en mémoire, nous avons donc opté pour un serveur doté de 24 Go RAM. Le RAID ZFS est de type logiciel (RAID-Z). L'authentification se fait via des comptes locaux hébergés sur le serveur FreeNAS.
L'OS FreeNAS est installé sur un disque dur en version 64 bits.

Pour le moment, les liens réseaux du serveur ne sont pas bondés : une interface Gigabit suffit pour les besoins en terme de transfert.
Les données du serveur sont synchronisées par rsync avec une machine située sur un site distant (utilisation d'un script personnel pour réaliser la synchronisation avec un rate-limit pour ne pas consommer toute la bande passante du site où est hébergé le serveur FreeNAS).

Limitations, difficultés, fonctionnalités importantes non couvertes

Il est clairement recommandé d'utiliser FreeNAS/ZFS sur une architecture 64 bits. La version de FreeNAS 32 bits étant limitée à 4 Go de mémoire, il est fortement déconseillé de faire du ZFS avec un OS ne supportant que si peu de RAM. Dans le cas de l'utilisation de FreeNAS en 32 bits, nous vous recommandons de mettre en place UFS comme système de fichiers pour obtenir des performances optimales.

Environnement du logiciel
Autres logiciels aux fonctionnalités équivalentes
  • Sun/Oracle ZFS
  • OpenMediaVault (gratuit, licence GNU GPL v3)
  • Openfiler (gratuit, licence GNU GPL v2)
  • Baies NetApp
  • Baies EMC
Environnement de développement
Type de structure associée au développement
Références d'utilisateurs institutionnels
  • Utilisé dans le cadre de CADOR
  • Irstea, centre de Bordeaux
  • IGMM, CNRS
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur

La documentation officielle : http://doc.freenas.org/index.php/Main_Page

Divers (astuces, actualités, sécurité)
  • Quel que soit votre choix d'implémentation, retenez que votre media ne servira qu'à l’hébergement de votre OS et non à de la donnée. Le système de fichiers est monté par défaut en lecture seule : on peut le basculer en lecture/écriture temporairement pour des besoins spécifiques (génération d'une clé RSA/DSA ou install. d'un package pour des besoins particuliers, par exemples).

  • Il faut compter moins de 1 Go pour la taille de l'OS : l'installation est très rapide.

Mots-clés

ANF : Bonnes Pratiques Organisationnelles pour les Administrateurs Systèmes et Réseaux (ASR)

RESINFO et le PEPI (Partage d'Expérience et de Pratiques en Informatique) SysAdmin de l'INRA organisent une ANF (Action Nationale de Formation) du 8 au 11 octobre 2013 à Fréjus sur les bonnes pratiques organisationnelles pour les Administrateurs Système et Réseaux (ASR).

Les pré-inscriptions se font ici.

Syndiquer le contenu