partage de fichiers

Partage de fichiers entre plusieurs utilisateurs
Fiche logiciel validé
  • Création ou MAJ importante : 13/09/13
  • Correction mineure : 13/09/13
  • Rédacteur de la fiche : Olivier Langella - UMR de Génétique Végétale (CNRS, INRA, AgroParisTech, Université Paris Sud)
  • Relecteur(s) : Loïc Dachary (dachary.org)
    David Rousse (CNRS DSI)
  • Contributions importantes : Loïc Dachary
  • Responsable thématique : Gilian Gambini (CNRS DSI)
Mots-clés
Pour aller plus loin

Ceph : système de stockage distribué

Description
Fonctionnalités générales

Ceph est un système de stockage résilient, auto réparant et distribué.

Il contient trois composants : objets, bloc et système de fichiers.

Le stockage objet est accessible par une API spécifique et disponible dans plusieurs langages ou bien via radosgw, une interface REST qui offre une compatibilité pour les applications écrites pour S3 ou Swift.

Rados Block Device (ou RBD) donne accès à des périphériques en mode bloc qui sont divisés et répliqués sur l'ensemble du cluster.

Le dernier composant est encore expérimental : un système de fichiers conforme à POSIX et conçu pour maximiser les performances, permettre le stockage de grands ensemble de données et maximiser la compatibilité avec les applications existantes.

Autres fonctionnalités

Ceph peut permettre le stockage direct d'objets binaires et de métadonnées associées (interface de programmation disponible).

Interopérabilité

Interface REST S3 et Swift, compatibilité POSIX du système de fichiers, intégration dans le kernel linux, kvm et libvirt. Intégration dans OpenStack et Apache CloudStack.

Contexte d'utilisation dans mon laboratoire/service

Ceph est utilisé en production dans la plateforme PAPPSO. Le cluster de stockage est composé de 3 serveurs bi-processeurs et d'un switch gigabit. La capacité actuelle est de 34 To (17 To utiles). Un cluster de calculs de 3 machines utilise ce cluster : chaque nœud de calcul peut profiter d'une bande passante maximum dépendante du nombre de cartes réseaux.

Limitations, difficultés, fonctionnalités importantes non couvertes
  • Ceph est à utiliser avec précaution : la partie RBD et REST (accès par périphérique bloc et compatibilité S3 et Swift) est considérée comme stable, mais la partie système de fichiers est encore considérée par les développeurs comme "expérimentale".

  • Le projet est très actif (une version de développement toutes les deux semaines, une version stable tous les trois mois). De nombreuses améliorations sont régulièrement apportées et les régressions sont vite corrigées.

  • Pour ce qui est de la fiabilité, il résiste extrêmement bien aux problèmes matériels et aussi aux erreurs humaines.

  • Les performances sont correctes (90 Mo/s en lecture/écriture avec accès concurrents) et l'espace de stockage est extensible très facilement (achat de disques, cartes réseaux ou serveurs supplémentaires).

  • Gros avantage enfin, le matériel est standard (pas de fiber channel, RAID, ...), les coûts sont donc faibles et l'on n'a pas besoin de prévoir l'espace de stockage à l'avance.

Il est donc nécessaire d'établir une stratégie pour assurer un service de qualité en production basé sur Ceph :

  • installer uniquement les versions stables publiées tout les trois mois,
  • mettre à jour les versions stables lorsqu'une version de maintenance est disponible, deux semaines après sa publication,
  • ne pas utiliser le système de fichiers.
Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré

Debian GNU/Linux, Ubuntu, RedHat, CentOS

Plates-formes

GNU/Linux uniquement (effort de portage sur Mac OS embryonnaire).

Logiciels connexes
Autres logiciels aux fonctionnalités équivalentes

Lustre, GlusterFS, MooseFS, Riak

Environnement de développement
Type de structure associée au développement

La société Inktank créée en 2012 emploie la plupart des développeurs Ceph. Elle fournit une offre complète de support aux entreprise pour les projets de stockage.

Eléments de pérennité
  • Ceph est un logiciel libre sous licence LGPL. Son développement est très ouvert et respecte les us et coutumes de la communauté Open Source (release often, release soon) : serveur git accessible, mailing liste ouverte, IRC très actif, organisation de la roadmap par des conférences publiques (Ceph Design Summit), ...

  • Le noyau Linux intègre le client Ceph depuis sa version 2.6.34.

  • libvirt intègre le protocole Ceph.

  • kvm intègre le protocole Ceph.

  • OpenStack supporte nativement Ceph.

Références d'utilisateurs institutionnels
  • Université de Nantes
  • INRA
  • Cloudwatt (hors ESR).
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Contributions
Fiche logiciel validé
  • Création ou MAJ importante : 19/07/13
  • Correction mineure : 19/07/13
Mots-clés
Pour aller plus loin

F*EX : échange de fichiers volumineux

Description
Fonctionnalités générales

F*EX est un service d'échange de fichiers volumineux, l’expéditeur téléverse (upload) un fichier sur le serveur et le destinataire reçoit automatiquement un email avec l'URL de téléchargement.

F*EX permet d'uploader des fichiers volumineux (de plus de 2Go) et dispose de nombreuses fonctionnalités, finement paramétrables en fonction des besoins.

F*EX est écrit en PERL et fonctionne sans l'utilisation d'une base de donnée.

F*EX permet à l'utilisateur :

  • d'uploader des fichiers en interne ou vers l’extérieur,
  • d'inviter une personne à lui envoyer des fichiers,
  • d'inviter une personne à envoyer des fichiers à un groupe de personnes,
  • de paramétrer son compte.

L'utilisateur a la possibilité d'ajouter des sous-utilisateurs ou des groupes (pour les invitations d'upload), de configurer son carnet d'adresses et de gérer son compte (réception des notifications par mail et vue de ses échanges upload et download).

Autres fonctionnalités

F*EX peut être administré soit via l'interface web soit en ligne de commande. L'administrateur peut ajuster la configuration facilement afin :

  • d'autoriser ou non l'upload anonyme,
  • Il peut restreindre l'upload à certaines adresses IP et l'envoi de fichiers vers un nom de domaine en particulier. Il lui est aussi tout simplement possible d'interdire l'utilisation du service par certaines adresses mails.

  • de définir différents types d'utilisateurs,
  • Il peut définir des "full users" ou des "restricted users".
    Les "full users" peuvent échanger avec n'importe quels destinataires.
    Les "restricted users" échangeront par contre avec les noms de domaines que l'administrateur aura définis.

  • de définir des quotas par défaut et par utilisateur,
  • de limiter l'utilisation de la bande passante par défaut,
  • de définir la durée de conservation des fichiers sur le serveur.
Interopérabilité
  • Il suffit de disposer d'un client mail et d'un navigateur.

  • Sans utiliser la méthode mail/navigateur, des programmes clients sont disponibles et fonctionnent sous Linux, Windows et Mac. Une particularité avec le client Linux qui est de pouvoir utiliser le service simplement en ligne de commande.

Contexte d'utilisation dans mon laboratoire/service
  • F*EX est mis en place pour le transfert de fichiers des 50 utilisateurs du laboratoire génomique et maladies métaboliques (UMR8199). Il est installé sur une distribution GNU/Linux Debian avec PERL 5. Plusieurs fichiers d'environ 10Go ont été transférés.

  • F*EX est aussi utilisé à l'Institut Pasteur depuis deux bonnes années maintenant, avec un spool de 1To pour différentes catégories d'utilisateurs (petits fichiers, fichiers > 100Go), sans problèmes notables.

  • A noter également qu'un institut de physique nucléaire allemand a transféré à une université australienne une archive d'environ 1,2To. : http://fex.rus.uni-stuttgart.de/usecases/downunder...

Limitations, difficultés, fonctionnalités importantes non couvertes
  • Il y a quelques bugs sous certaines versions d'IE.

  • Les possibilités de personnalisation de l'apparence peuvent être compliquées, car le code PERL embarque le code HTML. Cependant, il est toujours possible d'intégrer assez facilement une bannière dans le code ou de modifier le contenu. De plus, sans toucher au code, une option existe dans la configuration pour mettre le logo de l'entité en en-tête.

  • La liste de diffusion d'échange est privée.

  • Il n'y a pas de "Bugzilla" ou équivalent.

  • L'envoi anonyme peut être trompeur : si deux utilisateurs utilisent l'envoi anonyme avec le même nom de fichier, le dernier arrivé sera refusé (message explicite côté client).

Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré
  • Packagé pour Debian.
  • Sinon .tar + script d'installation pour les autres systèmes.
Plates-formes
  • Unix + PERL pour la partie serveur.
  • Pour les clients en lignes de commandes, ils tournent sur toutes les plateformes dès lors qu'un interpréteur PERL est disponible.
Logiciels connexes
Autres logiciels aux fonctionnalités équivalentes
Environnement de développement
Type de structure associée au développement

Université de Stuttgart : l'auteur principal est Ulli Horlacher, framstag [at] rus [dot] uni-stuttgart [dot] de.

Eléments de pérennité
  • Le logiciel existe depuis 5 ans et des mises à jours sont effectuées régulièrement. L'auteur est incroyablement réactif, que ce soit par la liste de diffusion ou en direct par mail.
  • Plus d'informations sur les différentes versions sont disponibles ici : http://fex.rus.uni-stuttgart.de/fex.html
Références d'utilisateurs institutionnels
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Divers (astuces, actualités, sécurité)
  • F*EX utilise inetd/xinetd et s'installe donc très facilement. Cela a le mérite de déléguer, dans une certaine mesure, les problèmes de passage à l'échelle de l'OS et cela facilite également grandement les mises à jour qui peuvent se faire en direct.

  • F*EX intègre son serveur web (il n'utilise pas Apache + PHP ou Apache + CGI comme beaucoup de logiciels équivalents), ce qui permet d'uploader des fichiers de plus de 2Go nativement.

  • F*EX peut également être utilisé derrière un reverse proxy avec certaines réserves (à voir au cas par cas selon les reverse proxies utilisés, http://fex.rus.uni-stuttgart.de/usecases/reversepr...).

  • Les programmes clients qui sont mis à disposition alternativement à l'utilisation du navigateur web apportent des fonctionnalités supplémentaires très intéressantes. Il est possible de reprendre un téléchargement interrompu ou de générer une archive (suivant les formats, celle-ci est créée à la volée, par exemple "fexsend -a grosdossier.tar /usr user [at] example [dot] com" va créer une archive sur le serveur F*EX sans jamais la créer en local sur la machine).

  • F*EX se comporte très bien "aux limites", comme lorsqu'il n'y a plus d'espace disque : le message d'erreur est explicite côté client. De plus, F*EX se "gère tout seul" : on l'installe, on configure une rétention maximale, et on n'y touche plus.

Contributions

Il ne faut absolument pas hésiter à soumettre des bugs ou des suggestions à l'auteur : framstag [at] rus [dot] uni-stuttgart [dot] de

Fiche logiciel validé
  • Création ou MAJ importante : 28/05/13
  • Correction mineure : 28/05/13
Mots-clés

FreeNAS : stockage de données en réseau

Description
Fonctionnalités générales

FreeNAS est un système d'exploitation sous licence BSD basé sur FreeBSD qui offre une solution de stockage et de partage de fichiers.

Cet OS est une alternative à ceux qui souhaitent implémenter leur propre serveur de stockage sans avoir à recourir à une solution tierce et propriétaire.

FreeNAS peut être installé sur une Compact Flash, une clé USB ou un disque dur dédié. Le système d'exploitation prend peu d'espace disque (compter de l’ordre de 1 Go).

L'administration du système s'effectue principalement via une interface web.

FreeNAS offre la possibilité d'exploiter le système de fichiers ZFS permettant ainsi une gestion des volumes de grosse capacités.

Autres fonctionnalités

FreeNAS propose également les diverses fonctionnalités ci-dessous.

Niveaux RAID logiciel
  • 0, 1, 5, JBOD, 5+0, 5+1, 0+1, 1+0 (voir cette page pour la définition de ces niveaux de RAID)
  • RAID-Z (ZFS) : équivalent au RAID5, cette configuration est déconseillée car en cas de perte d'un disque vous risquez d'en perdre un autre au moment de la reconstruction du RAID. Si vous cherchez à fiabiliser vos données, ne partez pas sur cette configuration
  • RAID-Z2 (ZFS) : équivalent au RAID 6 double parité, perte de 2 disques max
  • RAID-Z3 (ZFS depuis la version 8.3) : triple parité, perte de 3 disques max
Support des disques
  • P-ATA/S-ATA, SCSI, iSCSI, USB et FireWire
  • Une des fonctionnalités de FreeNAS est de paramétrer des cibles iSCSI. iSCSI veut dire Internet SCSI, ce qui signifie que des machines clientes peuvent envoyer des commandes SCSI vers des serveurs de stockage distants comme FreeNAS. Les disques ainsi définis seront vus par la machine cliente comme des disques locaux
  • Supervision de l’état des disques S.M.A.R.T via le "daemon" smartd
ZFS
  • Système de fichiers 128 bits
  • Taille maximum du système de fichiers 16 Eio (16000 Po)
  • 248 fichiers / système de fichiers et 248 snapshots
  • ZFS s'auto répare : il est capable de détecter et réparer les erreurs. Dans un RAID, si une donnée est perdue, ZFS va la récupérer sur une autre branche du RAID et remettre la bonne valeur. Le tout est géré automatiquement en arrière plan par le système, aucune intervention humaine n'est nécessaire. Sur ce type de système de fichiers, il n'y a donc plus à effectuer de fsck au redémarrage des serveurs (bien pratique pour des gros volumes)
  • ZFS a une fonction de snapshots : pour réaliser un instantané de votre système de fichiers. Le snapshot ne contient que les modifications apportées, ce qui réduit considérablement l’espace de stockage utilisé par celui-ci
  • La compression à la volée d’une partition ZFS est possible, permettant de réduire l’espace disque mais aussi de réduire le nombre d’entrée/sortie, la compression étant appliquée sur les blocs et non au niveau des fichiers
  • La dé-duplication (à partir de ZFS v22 - disponible depuis FreeNAS 8.3) est également possible : elle consiste à identifier, dans les données, des séquences redondantes qu'il suffit ainsi de stocker une seule fois. Si vous activez la dé-duplication, la documentation recommande d'avoir 5Go de RAM / To de données
Partage des données
  • FreeNAS support les protocoles de partages NFS, CIFS et AFP
  • Les droits d'accès peuvent se faire soit en créant des utilisateurs/groupes locaux directement sur le serveur FreeNAS, ou bien via un annuaire sur le réseau de type OpenLDAP ou Active Directory
Divers
  • Administration du système via les protocoles SSH/HTTP/HTTPS
  • Fonctionnalité DynDNS permettant à l'utilisateur qui utilise une adresse IP dynamique de pouvoir accéder au NAS via un nom de domaine
  • Possibilité d'activer la fonctionnalité serveur FTP, TFTP
  • Possibilité de superviser l'état de votre onduleur
  • Exécution de tâches "crontab" via l'interface web
  • Exécution de tâches "rsync" via l'interface web pour la synchronisation d'espaces de fichiers entre serveurs
Supervision du système
  • SNMP
  • Graphes MRTG par heure/jour/semaine/mois/année (CPU, mémoire, activité réseau, nombre de processus, espace dispo. sur les volumes)
Sauvegarde du système

Possibilité de sauvegarder/restaurer la config. système (fichier de type *.db)

Interopérabilité

Pour connaître la compatibilité matérielle de FreeNAS, il faut se reporter à la compatibilité des matériels de FreeBSD. Par exemple, pour la version FreeNAS 8.3, on peut avoir les info. sur le site de FreeBSD : http://www.freebsd.org/releases/8.3R/hardware.html

Contexte d'utilisation dans mon laboratoire/service

FreeNAS est utilisé dans le cadre de la manipulation scientifique CADOR (Coordination and Data Analysis for Robotic Observatories). Le serveur FreeNAS héberge les images d'observations de 2 télescopes situés en France (plateau de Calerne) et au Chili (La Silla).
Nous utilisons actuellement sur le serveur FreeNAS environ 10 To de données utiles. La volumétrie totale offerte par le serveur est de 30 To. Le système de fichiers utilisé est ZFS. Les données sont exportées en NFS sur une dizaine de serveurs qui sont sous Linux.
Nous ne réalisons actuellement aucun snapshot et aucune compression sur le système de fichiers ZFS. La version de FreeNAS que nous utilisons est la 8.2 et n’implémente pas la dé-duplication.

Le serveur est un DELL PowerEdge R510 - 12 disques SATA de 3 To. ZFS étant gourmand en mémoire, nous avons donc opté pour un serveur doté de 24 Go RAM. Le RAID ZFS est de type logiciel (RAID-Z). L'authentification se fait via des comptes locaux hébergés sur le serveur FreeNAS.
L'OS FreeNAS est installé sur un disque dur en version 64 bits.

Pour le moment, les liens réseaux du serveur ne sont pas bondés : une interface Gigabit suffit pour les besoins en terme de transfert.
Les données du serveur sont synchronisées par rsync avec une machine située sur un site distant (utilisation d'un script personnel pour réaliser la synchronisation avec un rate-limit pour ne pas consommer toute la bande passante du site où est hébergé le serveur FreeNAS).

Limitations, difficultés, fonctionnalités importantes non couvertes

Il est clairement recommandé d'utiliser FreeNAS/ZFS sur une architecture 64 bits. La version de FreeNAS 32 bits étant limitée à 4 Go de mémoire, il est fortement déconseillé de faire du ZFS avec un OS ne supportant que si peu de RAM. Dans le cas de l'utilisation de FreeNAS en 32 bits, nous vous recommandons de mettre en place UFS comme système de fichiers pour obtenir des performances optimales.

Environnement du logiciel
Autres logiciels aux fonctionnalités équivalentes
  • Sun/Oracle ZFS
  • OpenMediaVault (gratuit, licence GNU GPL v3)
  • Openfiler (gratuit, licence GNU GPL v2)
  • Baies NetApp
  • Baies EMC
Environnement de développement
Type de structure associée au développement
Références d'utilisateurs institutionnels
  • Utilisé dans le cadre de CADOR
  • Irstea, centre de Bordeaux
  • IGMM, CNRS
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur

La documentation officielle : http://doc.freenas.org/index.php/Main_Page

Divers (astuces, actualités, sécurité)
  • Quel que soit votre choix d'implémentation, retenez que votre media ne servira qu'à l’hébergement de votre OS et non à de la donnée. Le système de fichiers est monté par défaut en lecture seule : on peut le basculer en lecture/écriture temporairement pour des besoins spécifiques (génération d'une clé RSA/DSA ou install. d'un package pour des besoins particuliers, par exemples).

  • Il faut compter moins de 1 Go pour la taille de l'OS : l'installation est très rapide.

Fiche logiciel validé
  • Création ou MAJ importante : 01/04/13
  • Correction mineure : 28/12/13
Mots-clés
Pour aller plus loin
  • Fiches logiciel PLUME connexes : , ,

ownCloud : plateforme de services de stockage et d'applications diverses en ligne

Description
Fonctionnalités générales

ownCloud est un logiciel libre écrit en PHP/JS/AJAX offrant une plateforme de services de stockage et de synchronisation en temps réel de fichiers et d'applications diverses en ligne.

ownCloud fournit un accès à ses fichiers depuis une interface web ou depuis un partage WebDAV et CalDAV.

Cette application permet également :

  • un accès simple à ses contacts, calendriers et marque-pages,
  • un accès et un lecteur de musique au format MP3,
  • de visionner et classer ses images en albums,
  • de visionner directement des fichiers Adobe PDF et OpenDocument,

le tout depuis n'importe quel périphérique/système d'exploitation compatibles WebDAV/HTTP(s).

Un logiciel client lourd open-source (basé sur Myrall et Csync) permet de synchroniser un ou plusieurs répertoires locaux en direction du cloud. Ce client est disponible pour Windows, MacOS X et Linux. Des applications pour iOS et Android sont également disponibles.

Il est possible de définir des droits sur les fichiers et répertoires directement depuis l'interface de gestion. Les fichiers stockés peuvent être chiffrés.

ownCloud se veut donc être un système de "cloud computing" permettant l'accès à la demande et en libre-service à des ressources informatiques partagées en réseau, selon la définition du National Institute of Standards and Technology.

Autres fonctionnalités

L'installation et les mises à jour sont minimalistes. Il n'est pas nécessaire de disposer de droits élevés locaux pour réaliser l'installation. Les montées de version sont prises en compte.

Il est possible de rajouter des greffons ("plugins") pour augmenter le niveau de fonctionnalité du produit, avec par exemple une possibilité de lecture de vidéo en ligne, de partage de fichiers multi-utilisateurs. Le développement est facilité avec la mise à disposition d'une API.

L’authentification des utilisateurs peut se faire depuis une base de données MySQL/SQLite et/ou depuis un annuaire LDAP. L'intégration à Microsoft ActiveDirectory est pré-paramétrée dans l'onglet LDAP.

La documentation est très riche, le produit est à ce jour extrêmement suivi et maintenu. Il est possible d'acheter du support auprès du revendeur.

Interopérabilité

De par l'utilisation du protocole standard WebDAV, il est possible d'intégrer et de synchroniser avec ownCloud des fichiers à partir de systèmes d'exploitations comme MS-Windows 98/2000/XP/7/2008, GNU/Linux, iOS, Android, ...

Contexte d'utilisation dans mon laboratoire/service

Mis à disposition pour 250 utilisateurs.
GNU/Linux Debian stable, base de données MySQL 5.x, et serveur web Nginx.
Le serveur PHP est délocalisé sur une machine dédiée à l'exécution de PHP, via php-fpm.

Limitations, difficultés, fonctionnalités importantes non couvertes

Attention aux ressources processeurs consommées (process PHP qui peut devenir gourmand) lors des synchronisations massives depuis le client lourd (matin/soir).

Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré

Ubuntu (à partir de 12.04.1 au moins), Fedora (prévu pour la version 19), présent dans les ports d'OpenBSD et de FreeBSD,

Plates-formes

Toute infrastructure capable de servir du web et d'exécuter du code PHP.

Logiciels connexes
Autres logiciels aux fonctionnalités équivalentes

Tous les services de cloud non libres : Amazon S3, Drop Box, Google Drive, iCloud, Microsoft Azure, hubiC (basé sur le logiciel libre OpenStack), ...

En logiciel libre, avec également la possibilité de l'héberger localement : Linshare

Environnement de développement
Type de structure associée au développement

Éditeur professionnel : http://www.owncloud.com

Eléments de pérennité
  • Forums et communautés très actifs.
  • Société commerciale présente pour vendre du support.
  • Sorties fréquentes de versions (première version en juin 2010, dernière version, 5.0, en mars 2013).
Références d'utilisateurs institutionnels
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Divers (astuces, actualités, sécurité)
Fiche logiciel à valider
  • Création ou MAJ importante : 06/11/12
  • Correction mineure : 19/07/13
Mots-clés
Pour aller plus loin
Fiche en recherche de relecteurs
Cette fiche est en recherche de relecteurs. Si vous êtes intéressé(e)s, contactez-nous !

ZendTo : partage de fichiers volumineux par Web avec la commodité de mèl

Ce logiciel est en cours d'évaluation par la communauté PLUME. Si vous utilisez ce logiciel en production dans notre communauté, merci de déposer un commentaire.
  • Site web
  • Système : UNIX-like
  • Téléchargement
  • Version évaluée : 4.11
  • Langue(s) de l'interface : anglais
  • Licence : Autre

    Voir la page de la documentation : ZendTo is completely free of charge, requiring no licence, installation or subscription fees. Free assistance is provided through mailing lists and email.
    Commercial support ou autres licences sont possibles, contacter l'auteur.

Description
Fonctionnalités générales

Zendto est une application Web permettant facilement et en toute sécurité d’échanger des fichiers volumineux pour des utilisateurs d'un laboratoire avec d'autre personnes.

Zendto fournit un mécanisme de dépôt et de récupération de fichiers entre les utilisateurs interne ou externe au laboratoire. Les utilisateurs externes peuvent via un formulaire contacter le destinataire du laboratoire. Si le destinataire accepte de recevoir des fichiers par cette personne, celui-ci recevra par mail une confirmation avec un lien de téléchargement des documents.

Zendto peut s’intégrer facilement à une plate-forme Web, en utilisant une authentification par LDAP, Active Directory ou IMAP, ainsi que le système de messagerie existant.

Autres fonctionnalités

Fonctions lors du dépôt de fichiers

  • Activation/Désactivation des notifications mail envoyées lors du dépôt, de l'expiration, ou de la suppression.
  • Utilisation de ClamAV pour vérifier les fichiers déposés.
  • Barre de progression de dépôt.
  • Commentaires ou déscriptif des fichiers déposés.

Fonctions lors de l’invitation de personnes extérieures à déposer des fichiers

  • L’invité doit remplir le formulaire de zendto de demande de dépôt.
  • Le destinataire reçoit la demande de dépôt et peut la valider ou la refuser.
  • L’invité accède au formulaire de dépôt de fichiers, si le destinataire a validé la demande.

Fonction antispam

  • Validation du téléchargement via reCAPTCHA ou par areyouhuman pour les invités
  • Ce mécanisme peut également être appliqué lors de la soumission d’un téléchargement par un invité.

Fonction de l’interface d'administration

  • Visualiser les fichiers déposés.
  • Supprimer des fichiers.
  • Affichage du journal des évènements.
  • Affichage de graphes de statistiques d’utilisations par jour/mois/année.
  • Bloquer/débloquer un utilisateur.
  • Purge automatique des dépôts lors de l’expiration.
Interopérabilité
  • Base de données existante ou sqlite pour le stockage des informations.
  • Authentification par compte interne, LDAP, Active Directory ou IMAP.
Contexte d'utilisation dans mon laboratoire/service

Ce service a été mis en production à l’IPHC à la demande des utilisateurs ayant besoin d’échanger des fichiers volumineux avec des collaborateurs externes qui ne pouvaient pas se connecter au SI.
Par défaut, un quota 1 Go pour 14 jours a été défini par utilisateur.

Limitations, difficultés, fonctionnalités importantes non couvertes

Plusieurs fonctionnalités ne sont pas (encore) présentes :

  • Gestion de groupes d'utilisateurs et de leurs droits
  • Gestion des quotas par utilisateurs ou par groupes
  • Authentification par CAS
  • Support multilingue
  • Possibilité de mettre en place un webdav, ce qui permettra de proposer
    dans l'interface d'upload des fichiers souvent sollicités (pas besoins
    de les uploaders plusieurs fois)
Environnement du logiciel
Plates-formes

Des RPM sont proposés pour RedHat, CentOS et Fedora. De même, des fichiers DEB sont disponibles pour Ubuntu et Debian.

Autres logiciels aux fonctionnalités équivalentes

Solution d'échange de fichiers avec des partenaires externes

  • Filex
  • FileZ
  • BigFileSharing
  • CIFEX CIFEX (CISD File EXchanger) autorise les utilisateurs à transmettre des documents volumineux via un navigateur moderne

Solution de stockage ou de synchronisation de fichiers

  • Owncloud est une plateforme de services de stockage et d'applications en ligne
  • Linshare permet de partager et de déposer des fichiers, incluant le dépot de fichier par des invités.
  • Open Upload est modulable tout en permettant de partager des documents volumineux
Environnement de développement
Type de structure associée au développement

L'auteur fournit un support commercial.
Possibilité de sponsoriser le développement de fonctions.

Eléments de pérennité

Logiciel développé depuis 2010.
L'auteur effectue plusieurs mises à jours et corrections du code par an.

Références d'utilisateurs institutionnels

Solution utilisée par l'Université de Southampton au Royaume-Uni.
Le LAAS utilise ZendTo en remplacement d'une installation historique de FTP nominatif.

Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Divers (astuces, actualités, sécurité)
  • Le code source est bien documenté, et utilise des templates.
  • Php 5 est actuellement limité pour la prise en comptes des fichiers en upload à 2Go. (http://zend.to/phpfix.php)
Fiche logiciel validé
  • Création ou MAJ importante : 12/04/12
  • Correction mineure : 15/02/13
Mots-clés

AjaXplorer : explorateur de fichiers à travers un portail Web

Description
Fonctionnalités générales

AjaXplorer est un portail Web écrit en PHP, qui permet d'accéder, de partager et de gérer les fichiers à travers une interface Web d'une très bonne qualité graphique et ergonomique (glissé/déposé, menu contextuel en clic droit, ...). Le concept est pour l'utilisateur de pouvoir accéder à ses fichiers depuis n'importe où à travers une connexion Internet et au moyen d'un simple navigateur, sans logiciel additionnel ; de travailler avec des zones d'échanges entre un groupe d'utilisateurs et pour un administrateur de gérer des fichiers utilisateurs.

  • L'interface Web de AjaXplorer, écrite en PHP et Ajax, est très intuitive et permet les fonctions essentielles de gestion de fichiers, avec notamment le téléchargement ("upload") de fichiers, la création, la destruction, le renommage, la copie... de fichiers avec d'autres utilisateurs.

  • Elle permet aussi des fonctionnalités avancées comme les menus contextuels avec un clic-droit sur des fichiers, et de gérer les fichiers en glissé-déposé ("drag and drop") comme si on était sur un bureau ("desktop") local.

  • AjaXplorer permet plusieurs types d'authentifications des utilisateurs : LDAP, MySQL, fichiers locaux, FTP, serveur Samba.

  • Un des points forts de AjaXplorer est qu'il permet d'accéder à diverses zones de fichiers du réseau local (appelées "dépots"), gérées par différents services comme NFS, Samba, FTP, WebDav. AjaXplorer permet donc de définir des zones de "dépots" de fichiers et de définir des rôles ("profils"). Ces rôles permettent de savoir quels utilisateurs ont accès à quelles zones de dépôts et avec quelles permissions (lecture, écriture).

Autres fonctionnalités

AjaXplorer est hautement configurable à l'aide d'extensions ("plugins") qui permettent de modifier largement le comportement de l'application : par exemple de changer la langue de l'interface, d'activer ou pas la "corbeille" pour les fichiers détruits, d'activer telle ou telle source d'authentification (LDAP, MySQL, FTP, ...).

AjaXplorer fournit un moyen de partager des documents entre divers utilisateurs.

Interopérabilité

AjaXplorer fontionne :

  • dans un environnement Apache/PHP,
  • et avec tout type de navigateurs Web, sur PC, MAC et Smart Phone.
Contexte d'utilisation dans mon laboratoire/service

Notre laboratoire est multi-sites et doit permettre de fournir des accès à des zones de dossiers partagés sur le réseau local, pour des utilisateurs situés sur des sites externes.

De ce fait AjaXplorer est l'outil simple et apprécié des utilisateurs pour fournir une interface d'accès conviviale à des dossiers et fichiers situés sur le réseau local du laboratoire, et de les partager avec des utilisateurs situés à l'extérieur.

Limitations, difficultés, fonctionnalités importantes non couvertes

La documentation est un peu trop légère et pas souvent très précise, notamment pour ce qui concerne l'authentification LDAP. Malgré tout on arrive à trouver l'information dans les FAQ et les forums.

Pour l'authentification LDAP, il faut aller configurer le fichier conf/bootstrap_plugins.php.

Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré

Aucune en RPM pour la dernière version testée, il faut télécharger le paquetage sur le site de AjaXplorer.

Des paquettages existent cependant pour les versions ultérieures pour Linux (Red Hat Enterprise Linux / CentOS / Scientific Linux) et sous Fedora.

Plates-formes

Un serveur Web avec PHP version 5.1 ou ultérieur est requis. De plus, DomXML doit être activé. A noter également que la fonction de partage de fichers nécessite l'extension PHP php_mcrypt.

Plus de détails sur les prérequis systèmes sont donnés sur http://ajaxplorer.info/features/requirement/.

Autres logiciels aux fonctionnalités équivalentes

Divers outils en Ajax/PHP de gestionnaires de fichiers en ligne existent. On peut citer notamment :

Environnement de développement
Eléments de pérennité

Le logiciel est écrit par un développeur français. Le logiciel est bien suivi et les mises à jour fréquentes.

Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Contributions

Le point d'entrée pour participer au projet est le forum http://ajaxplorer.info/community/forum/, et la page de support http://ajaxplorer.info/community/support-the-project/

Fiche logiciel validé
  • Création ou MAJ importante : 23/03/12
  • Correction mineure : 25/01/13
Mots-clés
Pour aller plus loin

iRODS : organisation et gestion des données sur une architecture distribuée

Description
Fonctionnalités générales

iRODS est un système de virtualisation du stockage permettant :

  • de créer des collections de données distribuées sur un ensemble hétérogène de systèmes de stockage (disques, bandes, ...). Le système offre à l'utilisateur une vue uniforme de l'ensemble des répertoires et de leur contenu, indépendamment de l'organisation physique et de la localisation des données ;
  • d'utiliser un catalogue de métadonnées contenant les informations relatives à l'état des données et leur description. L'exploitation de ce catalogue avec iCAT permet de rechercher des données, de suivre les accès et les modifications des données, etc.
  • d'appliquer des politiques et des règles définies par l'utilisateur aux données afin d'automatiser les tâches administratives, de renforcer la sécurité des données et intégrer des critères d'évaluation, facilitant ainsi la gestion de grandes collections de données ;
  • d'accéder aux données à distance ;
  • de gérer de larges collections de données (plusieurs péta-octets).
Autres fonctionnalités

Les données sont :

  • accessibles avec un navigateur Internet, une interface graphique (Java), des APIs (PHP, C, Java, Python) ou par ligne de commandes ;
  • sécurisées par mot de passe, GSI ou Kerberos ;
  • stockées sur des systèmes de fichiers UNIX, des systèmes de stockage de masse tel que HPSS, TSM, Emstore, des systèmes d'accès aux données tels que dCache etc... Cette liste n'est pas limitative et iRODS peut être interfacé avec le système de stockage de son choix.

Le serveur iRODS permet :

  • d'effectuer automatiquement des réplicas ;
  • rechercher des données par interrogation des métadonnées ;
  • l'audit de toutes les actions réalisées sur les fichiers ;
  • gérer le placement des fichiers en fonction des accès (disques durs SSD, disques durs S-ATA, bandes, ...).
  • d'être interfacé avec n'importe quel système d'information, que ce soient des bases de données, des web services, des serveurs ftp etc...
Interopérabilité

Comme il a été expliqué précédemment, iRODS peut s'interfacer avec un nombre non limitatif de systèmes d'informations et de stockage, que ce soient des bases de données, des web services, des services cloud (Amazon S3 etc...).

Contexte d'utilisation dans mon laboratoire/service

iRODS est utilisé dans notre laboratoire pour faciliter l'accès au stockage par les utilisateurs de la grille de calcul et de stockage EGI, que ce soit depuis leur laboratoire ou par leur calcul sur l'un des sites de grille.

Limitations, difficultés, fonctionnalités importantes non couvertes

Le système d'authentification du serveur iRODS en version 2.5 ne peut pas utiliser de serveurs LDAP. Cette fonctionnalité a été ajoutée à la version 3.2 (cette version n'a pas encore été testée au laboratoire).

Environnement du logiciel
Environnement de développement
Type de structure associée au développement

Le projet iRODS est édité par le DICE Center, une fondation bilocalisée à l'Université de Caroline du Nord et au San Diego Computing Center. Jean-Yves Nieff, au Centre de Calcul de l'IN2P3 est impliqué dans les développements.

Eléments de pérennité

iRODS est développé par une équipe dynamique créée il y a plus de 13 ans. Cette équipe travaille avec une dizaine de partenaires internationaux. Ce logiciel est utilisé par de nombreux utilisateurs provenant d'horizons très variés.

Le code est distribué sous licence libre (BSD) et est librement téléchargeable sur le site du projet.

Le projet est financé et soutenu par la NSF et la NARA.

Références d'utilisateurs institutionnels
Environnement utilisateur
Liste de diffusion ou de discussion, support et forums

L'échange entre utilisateurs se fait principalement sur la liste de discussion officielle. Depuis trois ans, une rencontre des utilisateurs iRODS est également organisée. Elle permet d'avoir des retours d'expériences et de partager des informations sur l'utilisation de la solution iRODS.

Documentation utilisateur

Le site iRODS comporte une documentation complète pour les utilisateurs et les administrateurs systèmes.

Contributions

Le site iRODS détaille les manières de contribuer au développement du logiciel.

Fiche logiciel validé
  • Création ou MAJ importante : 07/02/12
  • Correction mineure : 12/03/13
Mots-clés
Pour aller plus loin

Unison : synchronisation de répertoires entre deux machines

Description
Fonctionnalités générales

Unison est un logiciel permettant de synchroniser le contenu de 2 répertoires qui peuvent être sur la même machine ou sur 2 machines différentes. Unison analyse les différences entre les 2 dépots (local et distant) de fichiers et propage les différences de part et d'autre des 2 réplicats de manière à en obtenir une copie conforme des deux cotés.
Unison se base sur les dates et les tailles de fichiers pour examiner leur différences et estimer lesquels sont les plus récents.
Après analyse des différences des contenus des répertoires, Unison propose pour chaque fichier le sens de la propagation à l'utilisateur. En cas de doute l'utilisateur a le choix final de décider du sens de la synchronisation.

Autres fonctionnalités
  • Unison peut fonctionner avec une interface graphique écrite en GTK ou en mode ligne de commandes

  • Unison fonctionne avec des fichiers de configuration (.prf) qui décrivent les chemins (local et distant) des 2 répertoires à synchroniser

exemple : mon-beau-projet.prf
root = /Users/libes/Documents/mon-beau-projet/
root = ssh://libes [at] ssh [dot] labo [dot] univ-truc [dot] fr:22//home//libes/mon-beau-projet
ignore = Name {.DS*}

Interopérabilité

Unison fonctionne avec rsync, ssh et GTK (si on utilise l'interface graphique). Ces paquetages sont nativement présents dans les systèmes Linux, mais il faut les télécharger et les installer pour les systèmes Windows.

Pour faire fonctionner Unison avec un client SSH sous Windows il faut télécharger le programme plink.exe de la suite putty http://www.chiark.greenend.org.uk/~sgtatham/putty/... ou bien la partie ssh de la suite Cygwin

Contexte d'utilisation dans mon laboratoire/service

Plusieurs chercheurs utilisent Unison pour synchroniser des répertoires entre leur PC du laboratoire et un autre PC portable personnel ou encore leur PC domestique. Depuis l'extérieur du labo Unison passe par une passerelle SSH qui permet de chiffrer la phase d'authentification.

Unison est un outil extrêmement pratique qui favorise le télétravail. On peut en effet travailler depuis plusieurs PC différents sur un même ensemble de fichiers et retrouver des contenus de répertoires identiques où que l'on se trouve.

Limitations, difficultés, fonctionnalités importantes non couvertes
  • L'installation de Unison sous Windows est pénible :
    unison a besoin d'un client SSH sur la partie cliente... Sur les systèmes Windows il n'y a pas de client SSH nativement. Il faut donc installer un client SSH ... les meilleures solutions étant soit putty , soit une partie de Cygwin.. Dans les 2 cas il faut faire une gymnastique d'administration pour rendre ce client accessible via un PATH connu.

  • Unison nécessite le runtime Gtk2 disponible qui lui non plus n'est pas disponible nativement sous Windows.. il faut télécharger et installer GTK http://downloads.sourceforge.net/gimp-win/gtk%2B-2...

  • unison ne fonctionne qu'à niveau de version strictement identique entre le client et le serveur. Il faut donc indiquer clairement aux utilisateurs la version de unison à utiliser sur leur poste client..

Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré
  • Linux Debian et ses dérivés à ma connaissance mais sûrement d'autres distributions
  • le dépot de MacOSX
Plates-formes

Unison fonctionne sur Unix, Solaris, Windows et MacOS X

Logiciels connexes

rsync, ssh, putty, GTK

Autres logiciels aux fonctionnalités équivalentes
Environnement de développement
Environnement utilisateur
Fiche dév Ens Sup - Recherche
  • Création ou MAJ importante : 20/12/11
  • Correction mineure : 20/12/11
Mots-clés

Datum : application web pour partager des données issues de différentes bases de données

Ce logiciel a été développé (ou est en cours de développement) dans la communauté de l'Enseignement Supérieur et de la Recherche. Son état peut être variable (cf champs ci-dessous) donc sans garantie de bon fonctionnement.
  • Site web
  • Système :
  • Licence(s) : GPL - v2
  • Etat : utilisé en interne, en développement
  • Support : maintenu, développement en cours
  • Concepteur(s) : Olivier Maury
  • Contact concepteur(s) : Olivier.Maury (chez) grignon.inra.fr
  • Laboratoire(s), service(s)... : Environnement et Grandes Cultures

 

Fonctionnalités générales du logiciel

Datum est une application web, c'est-à-dire un logiciel sur serveur utilisable avec un navigateur web, qui a pour objet le partage de données issues de bases de données ainsi que des informations liées à ces bases de données :

  • partage de données et de fichiers, avec droits d'accès (gestion des utilisateurs et des permissions)
    • parcours des tables et des données de la base de données,
    • rapports de données avec graphiques (formulés avec des requêtes SQL),
    • graphiques dynamiques,
  • visualisation du schéma de la base de données,
  • intégration de jeux de données (fichiers CSV),
  • informations sur le projet : actualités, petite fonctionnalité de gestionnaire de contenu,
  • historique de l'utilisateur, internationalisation, aide, gestion des bases de données, statistiques, ...

Certaines bases de données font l'objet de module particulier pour :

  • changer l'aspect de l'interface,
  • générer des fichiers modèles pour l'intégration,
  • ajouter des intégrations et extractions de données particulières.

Une seule installation du logiciel permet de gérer plusieurs bases de données.
Un démon permet de lancer des extractions de données sans bloquer l'affichage des pages.

Datum repose sur le cadriciel Modèle-Vue-Contrôleur en PHP, Yii.

Contexte d’utilisation du logiciel

Développée pour un projet, l'application a été généralisée pour l'interfaçage des bases de données de l'unité.

Ce socle commun est ainsi utilisé pour différents projets de l'équipe Biosphère-Atmosphère de l'INRA Environnement et Grandes Cultures et pour le système d'information du SOERE PRO (Systèmes d'Observation et d'Expérimentation, sur le long terme, pour la Recherche en Environnement sur les Produits Résiduaires Organiques).

Fiche logiciel validé
  • Création ou MAJ importante : 03/03/13
  • Correction mineure : 03/03/13
Mots-clés
Pour aller plus loin

MySecureShell : serveur FTP sécurisé avec contrôles d'accès

Description
Fonctionnalités générales

MySecureShell est à la fois un "shell" de connexion, ainsi qu'un serveur FTP sécurisé (appelé «sftp-server » dans le projet).

Le serveur FTP repose sur le protocole sécurisé SSH (SFTP). Le shell permet de mettre en œuvre les règles inscrites dans le serveur SFTP. Ces règles, nommées directives sur le site Web du projet, sont aux nombres de 58. Pour résumer, elles permettent de :

  • gérer les droits d’accès au contenu des répertoires de connexion (lecture/écriture, limites du nombre de fichiers ouverts en lecture/écriture, etc.),

  • gérer le trafic (temps de connexion, bande passante, nombre maximal de connexions sur le serveur, etc.),

  • restreindre l'accès d'un utilisateur à son seul dossier personnel (compte "chrooté").

L’administration du serveur peut être faite à l'aide d'une interface graphique ou en ligne de commandes en éditant un seul fichier de configuration bien documenté. Par exemple, il est possible d’offrir plus de droits à un compte utilisateur en ajoutant quelques lignes dans le seul fichier de configuration.

La granularité poussée des droits des utilisateurs et l’étendue des possibilités de gestion du serveur SFTP sont les principaux atouts de ce projet.

Autres fonctionnalités

Il est possible d'étendre les fonctionnalités de MySecureShell en mettant en place une plateforme d'échange de fichiers volumineux.

Le réglage fin des droits utilisateurs permet par exemple de créer un ou des compte(s) chrooté(s) faisant office de répertoire d'échange accessible depuis Internet. Ainsi, un utilisateur "extérieur" au réseau de l'unité, à qui on communiquerait le login/mot-de-passe d'un compte convenu pourra déposer en toute sécurité (connexion chiffrée) tous les documents à destination de la personne concernée du laboratoire ou du service.

Toutes les explications et quelques scripts écrits en bash pour automatiser la gestion des comptes sont donnés sur le site :
http://pmc.polytechnique.fr/pagesperso/dc/echange....

Interopérabilité

MySecureShell s'appuie sur OpenSSH. Pour optimiser la sécurité, il est donc souhaitable d'avoir une version récente et pleinement fonctionnelle de ce dernier.

Contexte d'utilisation dans mon laboratoire/service

MySecureShell est utilisé en tant que serveur d'échange de fichiers volumineux. Les utilisateurs apprécient le niveau de sécurité qu'offre le service et surtout le niveau de confidentialité.

Limitations, difficultés, fonctionnalités importantes non couvertes

Les utilisateurs doivent savoir utiliser un client FTP supportant le SSH tel que FileZilla.

Environnement du logiciel
Distributions dans lesquelles ce logiciel est intégré

Debian/Ubuntu et CentOS/Fedora.

Pour les autres distributions : sur le site web du projet, le tarball contenant toutes les sources est accessible en téléchargement.

Plates-formes

Multi-plateformes

Logiciels connexes

OpenSSH doit être installé et pleinement fonctionnel AVANT d'installer MySecureShell.

Pour utiliser l'interface graphique des outils d'administration du serveur, l'installation des bibliothèques graphiques de Java est nécessaire.

Sur le site du projet, il est proposé des outils graphiques de monitoring comme :

  • GeekTool (Mac OS X)
  • Samurize (Windows)
Autres logiciels aux fonctionnalités équivalentes
Environnement de développement
Type de structure associée au développement

Projet initié par Sébastien Tardif et Pierre Mavro.

Eléments de pérennité

La première version de MySecureShell v0.1 date du 26/09/2004. L'équipe de développeurs est active car le logiciel change de version 1 à 2 fois par an.

Environnement utilisateur
Liste de diffusion ou de discussion, support et forums
Documentation utilisateur
Contributions

Pour contribuer au projet, il suffit de se faire connaître à l'adresse e-mail: teka2nerdman [at] users [dot] sourceforge [dot] net

Syndiquer le contenu