Maui : gestionnaire de batch

Maui est un ordonnanceur capable de se coupler avec différents gestionnaires de ressources, comme SGE,Torque ou Slurm.
En tant qu'ordonnanceur, le rôle de MAUI est de mettre en oeuvre les politiques d'exploitation des ressources de calcul, en pilotant les gestionnaires de ressources.

De manière macroscopique, les politiques d'exploitation s'appuient sur le calcul des priorités des jobs remontés via le gestionnaire de ressources. Ainsi, à chaque étape d'ordonnancement, les ressources disponibles sont affectées selon l'ordre des priorités calculées par l'ordonnanceur.

Plus précisément, dans MAUI, le calcul des priorités prend la forme d'une somme pondérée de termes. Certains de ces termes sont fixes (comme par exemple la priorité absolue donnée à un groupe d'utilisateurs), d'autres sont variables, comme par exemple le temps passé en file d'attente.

Les politiques d'exploitation décrites dans MAUI permettent de :

• répartir de manière équitable la puissance de calcul entre utilisateurs ;
• au contraire, favoriser certains utilisateurs, en priorité ou en historique d'utilisation ;
• favoriser des profils d'applications (grosses applications parallèles) ;
• prendre en compte certaines topologies de machines (sous-clusters faiblement interconnectés) ;
• effectuer des réservations des ressources sur un intervalle de temps donné. Cela permet à l'ordonnanceur d'utiliser à plein ces ressources jusqu'au début de la réservation, et à partir de la fin de celle-ci, de manière totalement automatique ;
• mettre en place des files préemptives sur d'autres ;
• affecter des priorités différentes à un job provenant d'un utilisateur donné, selon la file dans lequel il est affecté. Par exemple, certains utilisateurs peuvent n'être très prioritaires que dans certaines files, et pas dans toutes.

MAUI permet également de conditionner l'attribution de ressources à un crédit suffisant. Par exemple, un groupe n'ayant acheté qu'un nombre donné d'heures de calcul ne pourra plus lancer de nouveaux travaux une fois ce nombre atteint.
Pour cela, MAUI se couple avec des gestionnaires d'allocation comme Gold ou QBank.

MAUI peut se coupler avec plusieurs gestionnaires de ressources, dont SGE, Torque et Slurm.

MAUI est l'ordonnanceur utilisé au département Expertise pour la Recherche à l'université de Strasbourg. Nous l'utilisons pour restituer à des laboratoires de recherche ayant acheté des noeuds leur quote-part d'heures CPU. Notre configuration s'appuie sur la notion de "Qualité de service" (QOS) associée à des groupes ou listes d'utilisateurs et à des files d'attente identifiées.

La documentation de MAUI est très incomplète. Une grande partie des éléments décrits dans la documentation de MAUI le sont mieux encore dans la documentation de MOAB, ordonnanceur commercial issu de MAUI. En particulier, nous avons souvent dû croiser les 2 documentations dans la mise en place de nos QOS. La documentation de MOAB détaille certains éléments non documentés du coté MAUI. La documentation comporte également des erreurs sur des mots-clés, erreurs corrigées dans la documentation de MOAB.

Toute la configuration de MAUI repose sur un fichier peu lisible. Comme certaines données (par exemple les ressources associés à des noeuds de calcul) peuvent être indiquées à la fois dans la configuration du gestionnaire de ressources et de l'ordonnanceur, il faut choisir où écrire ces éléments de configuration, ce qui n'est pas évident lorsque l'on démarre avec MAUI.