Les infrastructures de calcul

Faisant suite à des étapes de pré-traitement (processing) des données, la phase d'analyse est cruciale pour transformer les données brutes, en extraire l'information et en obtenir un savoir scientifique.

Cette phase repose sur l'utilisation de ressources de calcul. En fonction du volume de données, on aura besoin de ressources plus ou moins importantes, allant de la station de travail jusqu'à une infrastructure de calcul. Il existe différentes modalités d'utilisation des infrastructures de calcul : portail, cluster et cloud.

Suivant ses compétences techniques, on pourra choisir l'un ou l'autre des types d'infrastructures, un portail de calcul comme Galaxy (que nous allons voir juste après) étant le plus facile d'utilisation puisqu'il offre, au travers de son interface graphique, un moyen simple pour lancer diverses analyses et réaliser des workflows.

L'utilisation des ressources de calcul comme un cluster exige un certain apprentissage qui peut être chronophage. Cet aspect est encore plus marqué pour l'utilisation des ressources d'un cloud puisque l'utilisateur ou l'utilisatrice est chargé·e de l'installation complète de ses environnements de calcul.

Développement et partage d'outils logiciels : bonnes pratiques

Pour analyser les données, il est nécessaire de recourir à des logiciels ou des scripts. Ces outils peuvent être réutilisés directement en les obtenant auprès de leurs auteurs ou des dépôts logiciels mais ils peuvent également être développés. Dans ce dernier cas, vous devrez les traiter en tant que produit de recherche et les mettre à disposition de la communauté soit dans un dépôt logiciel ou bien dans HAL ou Software Heritage.

Le développement logiciel doit respecter des bonnes pratiques avec notamment l’utilisation d'outils de suivi de version (Git).  

Lors de sa mise à disposition, un outil logiciel doit être accompagné de :

• Un fichier Readme qui doit présenter l’outil, son installation et son utilisation.
• La liste des auteurs.
  
• La licence (cf. associer une licence aux données).

Readme file (lisez-moi !)
Quelques exemples fictifs de sections que vous pourriez ajouter à votre fichier readme.


  
// À propos
  Ajouter un bref descriptif de votre projet et à qui il s'adresse.


  
// Auteurs
  Ajouter les auteurs du projet en donnant un lien vers leur page si possible.
  Exemple: @olivier-colin (https://www.irisa.fr/symbiose/olivier_collin.html)


  
// Licence
  Ajouter une licence d'utilisation à votre projet.
  Exemple : CC BY


  
// Utilisation
  Préciser dans quel contexte votre logiciel a un intérêt particulier.


  
// Installation
  Expliquer comment installer votre logiciel.

Le cycle de vie du logiciel

Lors du développement d'un logiciel, il est indispensable de garder présent à l'esprit le fait que l'on s'engage dans un cycle. En effet, une fois l'outil en place et utilisé, on se retrouvera confronté à la maintenance de cet outil, surtout dans un contexte de diffusion ou de valorisation des développements.

Le cycle de vie d'un logiciel en Bio-Informatique comprend plusieurs étapes clés : 

• Le développement, où le code est écrit après avoir spécifié les caractéristiques du logiciel ; 
• Les tests, avec des tests unitaires automatisés pour garantir la fiabilité ; 
• Le déploiement, adapté à l'environnement cible, souvent dans une infrastructure de calcul ; 
• La maintenance pour corriger les bugs et développer de nouvelles fonctionnalités ; 
• Le partage, réalisé via des forges logicielles comme Git, avec une documentation détaillée pour faciliter l'installation et l'utilisation par d'autres chercheurs.

Une bonne documentation tout au long du cycle est cruciale pour la reproductibilité.

Le défi de la reproductibilité des résultats en Bio-Informatique

Un des principaux défi en Bio-Informatique concerne la reproductibilité, notamment celle des traitements appliqués aux jeux de données in silico.

Sous le simple terme de reproductibilité, souvent utilisé de manière différente suivant les contextes, se cachent beaucoup de concepts. 

La seule reproductibilité au sens strict (mêmes données, même code) permet d'identifier les différentes contraintes. En effet, se posera la question des versions des logiciels ou des données de référence, la question du système d'exploitation, la question des bibliothèques utilisées, la question du paramétrage des outils, etc. 

Par exemple, si quelqu'un évoque le fait d'avoir utilisé Clustal omega comme logiciel d'alignement, de nombreuses questions surgissent si l'on veut reproduire son résultat. De quelle version de Clustal omega s'agit-il ? Sur quel système d'exploitation le programme a-t-il été utilisé ? Quel a été son paramétrage ? Sur quelles données ? Autant de questions auxquelles il est plus simple de répondre en adoptant certaines bonnes pratiques. 

Contrôler son environnement

Il faut donc s'intéresser aux méthodes qui permettront de mieux contrôler son environnement informatique ainsi que son environnement de données. D'un point de vue technique, il s'agit d'un problème complexe pour le néophyte. Pour mieux l'aborder, il est intéressant de considérer les différentes couches rencontrées. On utilise ou on développe des applications qui vont travailler sur des données, qu'elles soient propres au projet ou bien qu'elles aient été téléchargées. Les applications tournent au sein d'un environnement informatique et sont lancées par des environnements de workflows ou bien par des gestionnaires de tâches.

Mieux contrôler ses données

Vue sous l'angle de l'analyse, la gestion des données pour un projet s'intéresse aux données de référence mais également aux données du projet.

Gestion des données de référence

Ces données sont susceptibles de varier au fil du temps. Dans le cas de l'utilisation de banques de données, on s'attachera à toujours documenter les numéros des versions. Les plates-formes de Bio-Informatique proposent des méthodes automatisées de mise à jour de ces banques, par exemple avec l'outil BioMAJ.

Gestion des données du projet

Tout commence par l'adoption d'un plan de nommage et de désignation des fichiers. Afin de se faciliter la vie, il est souhaitable d'adopter quelques règles de base pour nommer ses fichiers. Ces règles permettent d'obéir à trois grands principes :

• Les noms des fichiers doivent être lisibles par les machines ;
• Les noms des fichiers doivent être compréhensibles par les humains ;
• Les noms des fichiers doivent permettre le tri et la sélection des fichiers.

Les dates dans les noms des fichiers doivent respecter le format de la norme ISO8601 (YYYY-MM-DD).

Ensuite il faut rationaliser l'organisation des fichiers au sein de l'arborescence des fichiers avec des répertoires homogènes. Par exemple, pour un projet de bioanalyse, on peut envisager l'arborescence suivante :

↳ _README
↳ docs
↳ raw_data
  ↳ Homo_sapiens
  ↳ Rattus_rattus
  ↳ _README
↳ results
↳ scripts
↳ tools
↳ work
  ↳ 2023-03-01_Assembly

Suivant la nature des projets des variations sont possibles. En effet, en fonction du nombre de personnes, le recours à des outils collaboratifs comme Git, va modifier profondément l'arborescence de travail qui pourra se réduire à un tryptique : données brutes / travaux / résultats.

Mieux contrôler ses outils logiciels

Pour exercer un meilleur contrôle sur les diverses versions d'outils utilisés pour vos analyses, il est possible d'utiliser un gestionnaire de package comme Conda et son extension dédiée à la Bio-Informatique Bioconda.

Conda permet d'installer des logiciels pré-compilés disponibles sous forme de paquets. Ces paquets sont déposés dans des canaux ("channels") thématiques.

Le canal Bioconda recense plus de 7000 paquets pour les communautés des Sciences de la Vie.

Conda permet également de créer des environnements au sein desquels on peut installer des outils spécifiques. Le fait que ces outils soient installés au sein d'un environnement permet d'éviter qu'il n'y ait des interférences avec l'environnement du système. Ces environnements peuvent être activés ou désactivés à la demande.

Il existe également Mamba, un gestionnaire offrant plus de rapidité que Conda.

D'autres solutions comme Guix et Nix (et son pendant "bio", BioNix), existent aussi.

Mieux contrôler ses workflows

Une des caractéristiques de l'analyse des données en Bio-Informatique est le fait qu'il est nécessaire de combiner une multitude d'outils qui représentent alors un workflow. Pour reproduire un traitement il s'agira d'être capable de conserver le paramétrage de chaque outil tout en conservant l'ordonnancement des différents outils utilisés. 

Nextflow permet l'adaptation de pipelines écrits dans les langages de script les plus courants.

Snakemake permet de décrire les workflows sous forme de règles.

Galaxy, un environnement graphique pour l'analyse de données qui propose des fonctionnalités de workflows.

Chaque environnement de workflow va proposer un dépôt pour permettre aux utilisateurs et utilisatrices de partager leurs workflows. Dans le cas de Nextflow, il s'agit de nf-core. Pour Snakemake, un catalogue existe également, tandis que Galaxy utilise le dépôt de l'Interagalactic Workflow Commission  pour partager les workflows. 

À noter que se mettent en place de nouvelles ressources comme WorkflowHub pour partager les workflows scientifiques.

Mieux contrôler ses environnements de calcul

Une fois que l'on contrôle ses données, ses logiciels et ses workflows, il reste une dernière étape pour atteindre une bonne reproductibilité en s'affranchissant des contraintes imposées par le système d'exploitation. En effet, suivant la version du système d'exploitation, suivant les diverses installations de logiciels, certaines bibliothèques logicielles utilisées par les programmes peuvent différer et influer sur les résultats des analyses.

Il est donc nécessaire d'isoler ses environnements pour mieux les contrôler. Ceci est réalisable grâce aux techniques de virtualisation.

Les intérêts de la virtualisation sont multiples :

• Il devient possible de pouvoir exploiter les machines de manière optimale en rentabilisant au maximum leurs capacités.
• Le déploiement de nouvelles machines est facilité car il n'y a plus d'installation physique. Cela permet de mettre en place rapidement des environnements de tests ou de formation qui sont isolés.
• Il est possible de déployer les machines à la demande, en quelques minutes, pour mettre en place une infrastructure complète.

Ordinateur

Architecture classique d'un ordinateur. On remarque le rôle central du système d'exploitation (ici macOS) qui sert d'interface etnre les logiciels et le matériel. Il fournit une interface utilisateur, s'occupe du système de fichiers et gère les périphériques.

Machine virtuelle avec hyperviseur

Un hyperviseur est un logiciel qui permet de créer et de gérer des machines virtuelles en isolant les ressources matérielles, en abstrayant le matériel physique et en fournissant des fonctionnalités de gestion et de sécurité pour les VM.

Machine virtuelle avec conteneur

Apparue dans les années 2010, la conteneurisation est une virtualisation au niveau du système d'exploitation. Contrairement aux VM avec hyperviseur, les conteneurs sont plus légers et sont souvent privilégiés pour la portabilité et l'efficacité des ressources.

Les environnements de containeurisation sont variés : Docker (outil de conteneurisation polyvalent), Singularity / Apptainer (conçu spécifiquement pour les environnements de calcul scientifique et haute performance)...

Exemple d'utilisation avec Docker

Dans cet exemple, on va procéder à l'alignement d'un groupe de séquences de glycoprotéines du virus SARS-COV2. Le déroulé est le suivant : on demande à Docker de charger l'image  du programme Clustal Omega auquel on communique le fichier des séquences. Après le téléchargement de l'image par Docker, Clustal se lance et stocke les résultats dans un fichier après exécution.