Zarr Storage Specification

Dados de array multidimensionais (também conhecidos como arrays N-dimensionais, ND-arrays, “tensores”) são onipresentes em pesquisa científica e engenharia. Zarr é uma especificação de código aberto para o armazenamento de ND-arrays e metadados associados. Zarr armazena metadados usando arquivos de texto .json e dados de array como [opcionalmente] pedaços binários compactados. Zarr pode armazenar dados em qualquer sistema de armazenamento que possa ser descrito como um armazenamento de chave/valor. Em um sistema de arquivos padrão, as chaves são nomes de arquivos dentro de uma hierarquia de diretórios, e os valores são o conteúdo do arquivo. Em um armazenamento de objetos em nuvem (por exemplo, Amazon S3), as chaves são os IDs de objeto e os valores são os dados de objeto. Essa flexibilidade permite que as implementações experimentem novas tecnologias de armazenamento, mantendo uma API uniforme para bibliotecas e usuários downstream.

O Zarr surgiu na pesquisa genômica em 2016. Foi criado por Alistair Miles de Oxford como uma biblioteca otimizada para análises de matrizes massivamente paralelas. Desde então, ele cresceu e se tornou um projeto comunitário com uma variedade de desenvolvedores e usuários de áreas como genômica, bioimagem, astronomia, física, finanças quantitativas, oceanografia, ciência atmosférica, ciência climática e imagens geoespaciais. Como ele pode representar conjuntos de dados de matrizes muito grandes de uma forma simples e escalável, e é compatível com armazenamento de objetos em nuvem, o Zarr é um formato ideal para dados geoespaciais prontos para análise na nuvem. Um exemplo proeminente é o Google Cloud CMIP6 Public Dataset. Embora o Zarr não seja inerentemente um formato específico geoespacial, devido ao seu rápido crescimento e adoção em campos geoespaciais e relacionados, ele foi proposto como um padrão comunitário OGC.