Résumé de section

  • Replier Déplier

    Synopsis

    Tout replier Tout déplier

    netCDF (network Common Data Form) a été créé en 1988 aux États Unis par Unidata. Financé par la National Science Foundation (NSF). C'est un projet pérenne, très suivi, utilisé internationalement et qui évolue régulièrement.

    netCDF permet la gestion de données scientifiques stockées sous la forme de tableaux. C’est un modèle de représentation des données qui s’applique bien pour structurer des données qui évoluent en fonction de certaines dimensions (temps, altitude, profondeur, latitude, longitude etc...). Il est recommandé pour les scientifiques et gestionnaires de données dans le cadre de la science ouverte par l’infrastructure de recherche Data Terra car il procure un cadre de standardisation international qui permet l’interopérabilité, la pérénnité et la réutilisation des données.

    Objectifs
    • Expliquer ce qu'est netCDF et en quoi il est adapté pour la science ouverte
    • Décrire la structure d'un fichier netCDF
    • Expliquer l'intérêt des conventions pour construire des fichiers netCDF
    • Citer au moins 3 outils permettant de manipuler des fichiers netCDF
    Ce cours est en libre accès !

    Aucune création de compte ou d'inscription n'est nécessaire, toutefois vous ne pourrez le parcourir qu'en lecture seule.

    Pour participer aux activités (exercices, forum...), vous devez vous inscrire au cours

    S'inscrire au cours

    • Auteur(s) / Formateur(s): Maurice Libes - Service d'Observation OSU Pytheas
      Production cours: Viet Jeannaud - Callisto Formation
      Public cible: chercheurs, doctorants en climatologie, océanographie, météorologie, ou plus largement toutes personnes manipulant des données scientifiques stockées sous forme de tableaux
      Date de publication: 1 octobre 2022
      Durée estimée: 1h
      Prérequis: aucun
      Licence: CC BY-NC-SA
      Citation: Libes, M., & Jeannaud, V. (2023). netCDF, format de fichier interopérable pour la science ouverte (Version 1). Callisto Formation.
      DOI: https://doi.org/10.60538/NETCDF-INTRODUCTION-CALLISTO.
      Open badge: Non
      Nombre d'inscrits: 6


  • Replier Déplier

    À quoi sert netCDF ?

    netCDF est un format de fichier (son extension est .nc) qui permet de stocker et de représenter des données scientifiques qui évoluent selon certains paramètres. Il est utile à plusieurs étapes du cycle de vie des données.

    • Gérer des données scientifiques stockées sous forme de tableau

      netCDF (network Common Data Format) est à la fois un modèle de représentation de données et un format de fichier. Dans le milieu scientifique, il permet de gérer et d'exposer des données qui évoluent en fonction de certaines dimensions. 

      Ces dimensions sont les axes d’évolution des mesures, qui peuvent être par exemple :

      • Le temps : on parle alors de séries temporelles ("timeseries")
      • L’altitude ou la profondeur : on parle alors de "profils" verticaux ("profile")
      • Des trajectoires ("trajectory") lorsque les points de mesures géographiques se déplacent dans le temps et dans l’espace (latitudes/longitudes pour un navire ou un avion par exemple)
      • Si les mesures se font en 1 seul point : on a des points de mesure


      netCDF est très utilisé en météorologie, climatologie, en océanographie, dans le spatial… Par exemple, pour des données météo on peut ainsi représenter l’évolution de la température, l'humidité, la pression, la vitesse et la direction du vent... selon le temps, ou l’altitude, ou des coordonnées latitudes/longitudes.

      Exemple de série temporelle (timeserie) : la température évolue en fonction du temps

      Exemple de série temporelle élaborée avec le logiciel istSOS

    • Un outil utile quelle que soit la discipline

      netCDF est très utilisé en météorologie, en climatologie, en océanographie, pour les cartes satellitales dans le spatial, dans des systèmes d’information géographiques (SIG)… Toutefois, il peut également s'appliquer de manière générique dès lors que l'on souhaite représenter des données qui évoluent selon 1, 2 ou plusieurs axes (par exemple si on veut représenter le poids d'un individu en fonction de sa taille). 

    • Exemples de représentations de données dimensionnelles

      Dans un fichier netCDF, les données (variables mesurées) sont stockées à l’intérieur du fichier dans des tableaux mono-dimensionnés (vecteurs 1D), bi-dimensionnés (matrices 2D), tri-dimensionnés (3D) ou plus. 

      Ci-dessous, trois exemples de données dimensionnelles représentées à l'aide d'outils de visualisation. 


      L’évolution de mesures effectuées au fil du temps sur un point fixe. Les mesures sont stockées dans un tableau uni-dimensionnel (1D).

      Évolution temporelle de la température - Temperature=F(temps)

      L'évolution de mesures sur divers points géographiques (latitudes, longitudes). Les mesures sont stockées dans un tableau bi-dimensionnel (2D).

      Carte d’Abondance géospatialisée d’algues - Algues=F(latitude,longitude)

      L'évolution de mesures sur divers points géographiques au fil du temps. Les mesures sont stockées dans un tableau tri-dimensionnel (3D).

      Évolution des courants marins au fil du temps - Courants=F(temps, latitude,longitude)

    • netCDF apparaît dans plusieurs étapes du cycle de vie des données

      Le cycle de vie des données est une représentation structurante qui décrit les étapes majeures par lesquelles passent les données depuis leur acquisition, jusqu’à leur réutilisation.

      Dans ce cycle, netCDF apparaît dans plusieurs étapes, présentées ci-dessous.

  • Replier Déplier

    Pourquoi utiliser le format netCDF ?

    netCDF est un format libre et ouvert, supporté depuis les années 80 par une large communauté internationale de scientifiques. Il permet la pérennité, la compréhension et la réutilisation des informations dans le temps. S’il a été bien conçu, un fichier netCDF devrait pouvoir être relu et réutilisé 10 ou 20 ans plus tard et permettre de comprendre comment les données ont été produites et mesurées sans avoir recours à un autre support d’information. Ce format est recommandé par les pôles Aeris et Odatis de l’infrastructure de recherche Data Terra.

    • netCDF : un format auto-documenté

      Il est vrai qu'un fichier CSV convient bien pour collecter et stocker des données sous forme de tableau avec des lignes et des colonnes, séparées par un caractère convenu. Cependant, si le format CSV est simple et pratique, il n'est pas très adapté pour véhiculer des informations supplémentaires sur les données (métadonnées). Il est important de préciser, par exemple, les unités de mesure, le nom des variables mesurées, la localisation géographique, les dates de mesures, l'appareil de mesure... cela facilite grandement la compréhension des données et leur exploitation par tout réutilisateur.

      Si l'on souhaite fournir ces métadonnées avec le format CSV, il faudrait créer de nombreuses autres lignes supplémentaires dans un en-tête, non standardisé et qui deviendrait vite "fouillis", ou bien fournir un fichier annexe apportant ces informations (du type fichier readme). 

      À contrario, le format netCDF est conçu pour intégrer toutes les métadonnées dans le fichier lui-même. On dit qu'il est auto-documenté (ou auto-descriptif). 

      Ci-dessous un exemple comparatif de données dans un format CSV (à gauche) et netCDF (à droite). On observe que pour chaque variable (température, conductivité, salinité), le fichier netCDF fournit un grand nombre de métadonnées. On verra que ces métadonnées peuvent être standardisées si on utilise des thésaurus disciplinaires.


      Des variables dans un fichier CSV (sans métadonnées)

      Le fichier fournit les variables mesurées mais sans aucune informations complémentaires (l'unité de mesure de la température par exemple).

      Les métadonnées des variables dans un fichier netCDF

      En complément des variables, le fichier fournit de nombreuses informations sur chaque variable mesurée

    • Une description standardisée

      L'auto-documentation a pour but de permettre à d'autres groupes de recherche de comprendre et réutiliser facilement les données. Le problème est qu'il y a d'innombrables façons de décrire des données. Par exemple, faut-il toujours indiquer la date ? Si oui, comment (AAAA/MM/DD, AAAAMMDD...) ? Quelle unité de mesure indiquer pour la température (Kelvin, Celsius...) ? Comment nommer la variable "température de la surface de l'eau" ? Etc.

      La description des données doit donc être standardisée autant que faire se peut, pour que tout le monde se comprenne. Pour cela, des conventions ou des standards internationaux sont élaborés pour la rédaction de ces métadonnées. 

      Ces conventions de nommage dépendent grandement de la discipline scientifique dans laquelle on travaille. Par exemple pour les disciplines océanographie, atmosphère, climatologie, une des premieres conventions (la plus répandue) est la convention CF (convention Climate and Forecast), que nous allons voir par la suite.

    • netCDF : un format portable et multi-plateformes

      Un fichier netCDF est indépendant d’un système d'exploitation ou d’une machine. Les données sont représentées sous une forme lisible par différents systèmes d’exploitation (Linux, MacOS, ou Windows) ayant différentes méthodes de stockage des entiers, des caractères et des nombres à virgule flottante.

        

      netCDF est un format binaire "portable", c'est à dire qu'on peut utiliser, lire et créer des fichiers netCDF sans difficulté sur différents systèmes et machines, avec les logiciels ou langages de programmation connaissant ce format.

    • Des logiciels libres et gratuits pour utiliser les fichiers

      netCDF fournit une bibliothèque de dizaines de logiciels libres et gratuits pour lire, écrire et utiliser les fichiers netCDF.

      Ces programmes permettent différentes actions et traitement sur les fichiers : par exemple accéder à une certaine partie d'un fichier netCDF volumineux sans avoir à lire le fichier entier, découper, assembler, faire des moyennes, visualiser, etc.

      netCDF est un format binaire qui s’utilise avec des commandes et programmes spécifiques à netCDF (voir plus bas). On ne peut pas éditer ou lire un fichier netCDF avec des outils de bureautiques courants.

      Les fichiers .nc s'utilisent avec l'interface en ligne de commande

    • Un outil profilé pour la science ouverte

      Beaucoup de communautés scientifiques ont besoin de mutualiser leurs données pour avancer dans leurs recherches. C'est le cas par exemple en climatologie, en météorologie ou encore en océanographie. Pour cela, il est nécessaire que les données soient dans un format lisible quelle que soit la machine utilisée, mais aussi compréhensibles et interprétables pour pouvoir être ré-exploitées. 

      netCDF a été conçu pour répondre à ces besoins scientifiques. Il permet d'enrichir sémantiquement les données, de faciliter le travail de traitement, d'analyse, le partage et la diffusion des données. Il correspond par essence aux demandes actuelles du mouvement de la science ouverte. Ce format est recommandé par le pôle Odatis de l’infrastructure de recherche Data Terra, car il procure un cadre de standardisation international qui permet l’interopérabilité, la pérennité et la réutilisation des données.


      La science ouverte vise à construire un écosystème dans lequel la science est plus cumulative, plus fortement étayée par des données, plus transparente, et d’accès plus universel.


      Dans ce contexte de science ouverte, la diffusion, le partage et la réutilisation des données sont au coeur de la démarche. On parle de gestion de données "FAIR" afin que les données soient Faciles à trouver, Accessibles, Interopérables et Réutilisables.

      Pour résumer les principes FAIR :

      Findable

      Les données doivent être faciles à trouver et identifiables par les humains et les machines :

      • Les données doivent figurer dans des catalogues, avec des métadonnées, et des mots clés issus de thésaurus disciplinaires
      • Les données doivent être citables et identifiables de manière univoque avec des identifiants uniques et pérennes (DOI)


      Accessible

      Les données doivent être accessibles facilement, avec des conditions d’accès connues :

      • Accompagnées de licences d’utilisation claires, des protocoles ouverts
      • Stockées dans des entrepôts de données TRUST clairement accessibles


      Interoperable

      Les données doivent êtres interopérables à plusieurs niveaux :

      • Sémantique : utilisation de vocabulaires contrôlés, métadonnées disciplinaires précises
      • Syntaxique : utilisation de protocoles d’échanges inter-machines ouverts et standards (CSW, WMS, SOS, DAP …)
      • Contenus : utilisation de formats de fichiers standards disciplinaires (ex : NetCDF, ODV, etc.)


      Reusable

      Les données doivent êtres réutilisables. C'est l’objectif final des principes FAIR : la pérennité et réutilisation des données. La réutilisation n'est pas possible sans les principes précédents :

      • Identifiants uniques et pérennes (DOI) pour l’identification et la citation des données
      • Licences claires d’utilisation des données
      • Standards communs : protocoles d’échanges et formats standards des données qui répondent à des normes communautaires pertinentes pour le domaine
      • Authentification d’accès, si nécessaire


      Pour en savoir plus sur les principes FAIR, vous pouvez consulter la présentation ci-dessous.

  • Replier Déplier

    Comprendre le format netCDF

    Un fichier netCDF comprend 4 parties : 

    • Une section "dimensions" qui spécifie quelles sont les dimensions (nom et valeur) selon lesquelles les mesures évoluent ;
    • Une section de description de toutes les "variables" (paramètres) mesurées, avec de nombreux attributs descriptifs (unités, etc.) ;
    • Une section d’attributs globaux ("global attributes") décrivant l’ensemble du fichier avec de nombreuses métadonnées ;
    • Une section "data" qui contient les valeurs des paramètres mesurés.


    Les trois premières (dimensions, variables et global attributes) font partie de l'en-tête du fichier (header).

    • Exemple illustratif d'un fichier netCDF

      Un fichier netCDF contient toutes les métadonnées dans son en-tête (header), les données numériques sont placées à la fin. Examinons ci-dessous un exemple illustratif d'un fichier netCDF, obtenu avec la commande ncdump, dans lequel sont expliquées ses différentes sections.

    • netcdf file:/bureau/exemple-fichier-netcdf.nc {
      /***** Ici commence l'en-tête du fichier. On y retrouve toutes les métadonnées du fichier qui se présentent sous la forme d'attributs de type "nom/valeur". *****/

      /**** La section Dimension spécifie quelles sont les dimensions (ou axes) selon lesquelles les mesures évoluent.
      
Ici par exemple, on a deux dimensions avec 3 points de mesure en longitude et 8 en latitude ****/
        dimensions:
      	  lon = 3 ;
      	  lat = 8 ;
      /**** Fin de la section Dimension ****/

      /*** La section Variable permet de lister exhaustivement toutes les variables mesurées présentes dans le fichier.
      
Elle fournit des informations complémentaires à l’aide de divers attributs descriptifs (métadonnées sur les variables).
      
Ici par exemple, nous avons la variable rh. Ces attributs (métadonnées) précisent son unité de mesure (pourcentage) et sa dénomination (rh signifie relative humidity) ***/
        variables:
      	  float rh(lon, lat) ;
      		  rh:units = "percent" ;
      		  rh:long_name = "Relative humidity" ;
      /*** Fin de la section Variable ***/

      /** La section Global attributes fournit les métadonnées globales, donnant de nombreuses informations sur le jeu de données dans son ensemble.
      
Ici par exemple, on précise le titre du document, les mots clés, la date de création, le producteur du document et un contact **/
        // global attributes
      	  :title = "Exemple fictif de fichier netCDF pour initiation au format netCDf" ;
      	  :keywords = "Exemple, Formation, netCDF";
      	  :history = "Créé le 06/09/2022";
      	  :production = "Maurice Libes pour Callisto Formation";
      	  :contact = "contact@fondationcallisto.fr";
      /** Fin de la section Global attributes **/

      /*** Fin de l'en-tête du fichier. ***/

      /* La section Data fournit in fine les valeurs des variables elles-mêmes, qui ont été référencées dans la section "variable" précédente */
        data:
         rh =
          2, 3, 5, 7, 11, 13, 17, 19,
          23, 29, 31, 37, 41, 43, 47, 53,
          59, 61, 67, 71, 73, 79, 83, 89 ;
    
      /* Fin de la section Data */
       }

    • Pour résumer ce que nous venons de voir, voici une vidéo qui présente le format netCDF et les différentes parties que l'on trouve dans un fichier.


  • Replier Déplier

    Les conventions

    La bibliothèque netCDF est conçue pour décrire des données, structurées selon des règles bien définies dans l’entête du fichier, facilitant l’interopérabilité sur diverses plateformes informatiques. 

    Pour autant, le format netCDF permet mais n'exige pas la création d'ensembles de données auto-descriptives. 

    L'objectif des conventions est de standardiser la description des données pour que les fichiers contiennent suffisamment de métadonnées et soient auto-descriptifs pour être compréhensibles et réutilisables par d'autres utilisateurs.

    • Les conventions netCDF

      Les conventions netCDF répondent à un besoin de standardisation à faire dans les différentes communautés. Elles sont conçues pour promouvoir le traitement et le partage des fichiers créés avec l'API netCDF.

      Il existe plusieurs conventions netCDF listées sur une page dédiée d'Unidata.

      Dans cette liste, la convention de métadonnées netCDF Climate and Forecast (CF) est une des premiers conventions, parmi les plus utilisée.

      Liste des conventions netCDF du site Unidata

      Liste des conventions netCDF

    • La convention CF (Climate and Forecast)

      La convention CF concerne la description des données en géosciences. Son but est de promouvoir le traitement et le partage des fichiers de données. 

      Comme nous l'avons vu précédemment, les métadonnées définies par la convention CF sont généralement incluses dans le même fichier que les données, ce qui rend le fichier "auto-descriptif". Les métadonnées fournissent une description standardisée de ce que représentent les données dans chaque variable, ainsi que les propriétés spatiales et temporelles des données. 

      Ci-dessous un exemple de métadonnées standards pour la variable "temps" :

      variables:
  int_time ;
           :long_name = "date de prelevement";
           :standard_name = "time";
           :units = "minutes since 1970-01-01 00:00:00 UTC";
           :origin = "01-JAN-1970 00:00:00";
           :calendar = "standard";


      Cela permet aux utilisateurs de données provenant de différentes sources de pouvoir comparer des données, et facilite la création d'applications dotées de capacités d'extraction, de recadrage et d'affichage. 

      La convention CF utilise une table de noms standards qui permet de fournir des préconisations précises pour la dénomination et la description des variables que contient un fichier netCDF. Quelques exemples :

      • standard_name : le nom standardisé par la convention CF permet d’utiliser un nom de variable qui a un sens international dans une communauté disciplinaire ("time" pour le temps par exemple)
      • units : les unités des mesures du paramètre considéré (Celsius pour la température par exemple)
      • missing_value : la valeur des mesures manquantes (-9999.999 par exemple)


      Exemples de "standard_name" pour la dénomination de plusieurs métadonnées liées au temps

      Exemples de "standard_name" pour la dénomination de plusieurs métadonnées liées au temps

  • Replier Déplier

    Quiz

    Arrêtons-nous un instant sur ce que nous venons de voir afin de vérifier si les points les plus importants ont été compris.

  • Replier Déplier

    Les outils pour utiliser netCDF

    netCDF est un format qui s’utilise avec des commandes et programmes spécifiques à netCDF. On ne peut pas éditer ou lire un fichier netCDF binaire avec des outils de bureautiques courants. 

    L’utilisation de netCDF n’est pas immédiate, il est nécessaire de prévoir un temps d’apprentissage pour comprendre le format interne des fichiers et l’utilisation des commandes de base pour lire et écrire dans des fichiers.

    Cependant le gain d’efficacité et de rigueur scientifique qu’on en retire est sans égal pour traiter les données et les rendre réutilisables. Ce format est d'ailleurs exigé dans certains projets ou communautés scientifiques.

    • Les commandes de base

      En téléchargeant netCDF, vous obtiendrez différents utilitaires servant à gérer des fichiers au format netCDF (.nc). Cela demande de savoir utiliser le terminal de l'ordinateur (interface en ligne de commande) et de taper des lignes de commande.

      ncdump, ncgen, nccopy

      Un fichier netCDF est binaire. Pour pouvoir le lire, on utilise la commande ncdump qui permet de générer une représentation textuelle de tout le fichier. On peut éventuellement exclure une partie ou la totalité des données. Par exemple, en tapant ncdump -h (suivi du nom du fichier) on affiche seulement l'en-tête du fichier ("-h" pour "header"), c'est-à-dire les métadonnées.

      Ci-dessous un exemple de lecture d'un fichier netCDF avec la commande ncdump.



      Si la commande ncdump permet de lire sous forme textuelle le format binaire de netCDF, la commande ncgen permet de faire l'inverse (transformer la représentation des données textuelle en binaire). 


      Afficher le fichier netCDF binaire sous forme textuelle CDL (Common Data Language)
      ncdump monfichier.nc > monfichier-cdl.txt

      Régénérer un fichier netCDF .nc à partir de la description texte .cdl précédente
      ncgen monfichier-cdl.txt -o monfichier2.nc


      Enfin la commande nccopy copie un fichier netCDF d'un format binaire à un autre, en modifiant éventuellement les paramètres de compression et de taille des morceaux.

      Pour en savoir plus, vous pouvez suivre ce guide réalisé par Unidata : https://docs.unidata.ucar.edu/nug/current/netcdf_utilities_guide.html

    • Panoply

      De nombreux logiciels graphiques peuvent interagir avec des fichiers netCDF, sans qu'on ait à taper des commandes dans un terminal. Une liste est proposée sur le site d'Unidata. 

      On y retrouve Panoply notamment. Développé en java par le Goddard Institute for Space Studies de la NASA, il fonctionne sur tous les systèmes d’exploitation et permet une visualisation rapide et aisée des fichiers netCDF.

      En savoir plus, télécharger Panoply : https://www.giss.nasa.gov/tools/panoply/


      Visualisation avec Panoply, issue de Towards Data Science

      Visualisation des métadonnées d'un fichier netCDF avec Panoply (équivalent de ncdump)

      Graphe de l'évolution de la température en fonction de la profondeur avec Panoply

    • Ferret

      Ferret est un autre outil d’analyse et de visualisation de fichiers netCDF qui répond aux besoins des océanographes et des météorologues qui analysent de grands ensembles complexes de données maillées 2D. C'est un outil plus complet et complexe à prendre en main que Panoply.

      En savoir plus, télécharger Ferret : https://ferret.pmel.noaa.gov/Ferret/

      Illustration issue de Ferret Tutorial Script

    • Le netCDF Operator (NCO)

      La distribution logicielle NCO fournit aussi un ensemble de commandes qui permettent de réaliser des opérations plus complexes sur les données des fichiers. NCO n'est pas inclus dans la distribution netCDF de base, il faut le télécharger en complément. Il est disponible sur la plupart des machines Linux et il existe des versions Mac et PC. 

      Quelques exemples d'opérateurs et de leurs actions :

      • ncks : pour extraire, couper, coller, imprimer des données netCDF
      • ncatted : éditeur d'attributs netCDF
      • nces : pour calculer des statistiques de fichiers netCDF 
      • netcpdq : pour permuter les dimensions rapidement et d'empaqueter les données
      Exemple d'extraction de données d'un fichier netCDF avec la commande ncks

      Exemple d'extraction de données d'un fichier netCDF avec la commande ncks
      Extrait issu de la chaîne YouTube de meteo network - NCO netCDF Operator for Windows


      Pour en savoir plus et télécharger NCO : http://nco.sourceforge.net/


    • Les langages informatiques

      Mis à part les commandes de base et les logiciels permettant d'utiliser des fichiers netCDF, on peut également travailler sur des fichiers netCDF avec de nombreux langages informatiques comme R, Perl, Python, Ruby, Matlab, Scilab, IDL (Interactive Data Language), Octave, etc. 

      Cette utilisation avancée requiert des compétences de programmation… mais permet des actions extrêmement sophistiquées pour des besoins très précis.

      Pour aller plus loin, vous pouvez voir d'autres outils (Jupyter, QGIS, Xarray...) utilisant des fichiers netCDF avec cette vidéo de l'EUMETSTAT (European Organisation for the Exploitation of Meteorological Satellites).

  • Replier Déplier

    netCDF et le protocole DAP (Data Access Protocol)

    Un des grands intérêts des fichiers netCDF est qu'ils sont conçus pour être parfaitement utilisables par le protocole DAP. De ce fait on peut travailler sur des fichiers netCDF à distance à travers le Web.

    • Pour échanger des données sur le Web, on utilise le protocole HTTP (HyperText Transfer Protocol). C'est ce qui permet à un navigateur Web (le client) d'afficher la page d'un site (le serveur).

      Le DAP est un protocole s'appuyant notamment sur le HTTP pour transmettre des données scientifiques. C'est une norme approuvée et recommandée pour l'utilisation des systèmes de données sur les sciences de la Terre de la NASA (Earth Science Data Systems). 

      Ainsi, des fichiers netCDF peuvent être diffusés en ligne via ce protocole sur des serveurs comme THREDDS Data Server downloads, ERDDAP, ou encore MATLAB Online. 

      De même, il suffit d’un URL DAP bien formé pour que les données de fichiers netCDF fournies par un serveur arrivent dans votre logiciel d’analyse préféré comme Jupyter Notebook ou R. Une documentation de Jupyter Notebooks Introduction est disponible sur le site Unidata Python Training.

      Des exemples d'utilisation de netCDF à travers Jupyter Notebook sont aussi disponibles.

    • Exemple avec le serveur ERDDAP

      L'Institut Pythéas (Observatoire des Sciences de l'Univers) dispose d'un serveur ERDDAP qui utilise le protocole DAP pour permettre l'accès à des fichiers netCDF. 

      L'exemple ci-dessous est un fichier netCDF visualisé depuis ce serveur. L'URL reflète la requête qui a été faite :

      (1)https://erddap.osupytheas.fr/erddap/tabledap(2)/Emso_Ligure_Ouest_Albatross_Aquadopp_NetCDF_2021.graph?(3)time,Speed(4)&depth=500.0&time%3E=2021-09-26T00:00:00Z&time%3C2021-09-28T00:00:00Z (5)&.draw=linesAndMarkers&.marker=6|3&.color=0x000000&.colorBar=%7C%7C%7C%7C%7C&.bgColor=0xffccccff)

      • (1) Connexion au serveur
      • (2) Accès au jeu de données netCDF (Dataset ID)
      • (3) Les données extraites dans le jeu de données (X Axis : time / Y Axis : speed)
      • (4) Les filtres appliqués (Constraints : depth / time)
      • (5) Les réglages appliqués au graphique (Graph type / Graph settings)



      Le protocole DAP facilite donc l'accès aux fichiers netCDF, leur lecture et leur compréhension. On peut ensuite télécharger précisément les données filtrées voulues et les réutiliser dans un logiciel comme MatLab ou Jupyter Notebook.

  • Replier Déplier

    Échanger sur le cours

    Un forum est à votre disposition pour toute question. Vous pouvez aussi nous aider à améliorer ce cours en donnant votre avis. 

  • Replier Déplier

    Sur le même thème

    Cours: Au-delà du secret statistique : comment accéder à des données confidentielles issues de la statistique publique ?
    Cours: netCDF, format de fichier interopérable pour la science ouverte
    Cours: Comment inscrire une recherche (action) participative respectueuse des principes FAIR ?

    Autres suggestions

    Cours: Rédiger un DMP pour sa thèse en biologie
    Cours: La question des données en Bio-Informatique
    Cours: La gestion des données de recherche en environnement
    Cours: Comprendre les données géographiques
    Cours: Ouvrir les données de recherche en informatique théorique : qu'a-t-on à y gagner ?
    Cours: Cohortes en santé : données ouvertes en imagerie médicale
    Cours: Exemples d'entrepôts de données en SHS
    Cours: Étude de cas Économie-Gestion
    Cours: Droit de la concurrence : approche quantitative de jeux de données juridiques
    Cours: Humanités numériques : gérer ses données dans une équipe interdisciplinaire
    Cours: La diffusion des données de recherche en linguistique
    Cours: Langues minorisées à corpus restreint : partager pour survivre
    Cours: Le Plan de Gestion de Données pas à pas