Zarr Storage Specification

Les données de tableaux multidimensionnels (également appelés tableaux N-dimensionnels, tableaux ND, « tenseurs ») sont omniprésentes dans la recherche scientifique et l'ingénierie. Zarr est une spécification open source pour le stockage de tableaux ND et des métadonnées associées. Zarr stocke les métadonnées à l'aide de fichiers texte .json et les données de tableau sous forme de blocs binaires [éventuellement] compressés. Zarr peut stocker des données dans n'importe quel système de stockage pouvant être décrit comme un magasin clé/valeur. Dans un système de fichiers standard, les clés sont des noms de fichiers dans une hiérarchie de répertoires et les valeurs sont le contenu du fichier. Dans un magasin d'objets cloud (par exemple, Amazon S3), les clés sont les identifiants d'objet et les valeurs sont les données d'objet. Cette flexibilité permet aux implémentations d'expérimenter de nouvelles technologies de stockage tout en maintenant une API uniforme pour les bibliothèques et les utilisateurs en aval.

Zarr est né dans le cadre de la recherche en génomique en 2016. Il a été créé par Alistair Miles d'Oxford en tant que bibliothèque optimisée pour l'analyse de tableaux massivement parallèles. Il est depuis devenu un projet communautaire avec un éventail de développeurs et d'utilisateurs issus de domaines tels que la génomique, la bioimagerie, l'astronomie, la physique, la finance quantitative, l'océanographie, la science atmosphérique, la science du climat et l'imagerie géospatiale. Parce qu'il peut représenter de très grands ensembles de données de tableaux de manière simple et évolutive, et qu'il est compatible avec le stockage d'objets dans le cloud, Zarr est un format idéal pour les données géospatiales prêtes à l'analyse dans le cloud. Un exemple frappant est le jeu de données public Google Cloud CMIP6. Bien que Zarr ne soit pas intrinsèquement un format spécifique à la géospatiale, en raison de sa croissance et de son adoption rapides dans les domaines géospatiaux et connexes, il a été proposé comme norme communautaire de l'OGC.