Zarr Storage Specification

I dati array multidimensionali (alias array N-dimensionali, array ND, "tensori") sono onnipresenti nella ricerca scientifica e nell'ingegneria. Zarr è una specifica open source per l'archiviazione di array ND e metadati associati. Zarr archivia i metadati utilizzando file di testo .json e dati array come blocchi binari compressi [facoltativamente]. Zarr può archiviare i dati in qualsiasi sistema di archiviazione che può essere descritto come archivio chiave/valore. In un file system standard, le chiavi sono nomi file all'interno di una gerarchia di directory e i valori sono i contenuti dei file. In un archivio oggetti cloud (ad esempio, Amazon S3), le chiavi sono gli ID oggetto e i valori sono i dati oggetto. Questa flessibilità consente alle implementazioni di sperimentare nuove tecnologie di archiviazione mantenendo un'API uniforme per le librerie e gli utenti downstream.

Zarr è nato nella ricerca genomica nel 2016. È stato creato da Alistair Miles di Oxford come libreria ottimizzata per analisi di array paralleli massivi. Da allora è cresciuto fino a diventare un progetto comunitario con una gamma di sviluppatori e utenti provenienti da settori quali genomica, bioimaging, astronomia, fisica, finanza quantitativa, oceanografia, scienza atmosferica, scienza del clima e imaging geospaziale. Poiché può rappresentare dataset di array molto grandi in modo semplice e scalabile ed è compatibile con l'archiviazione di oggetti cloud, Zarr è un formato ideale per dati geospaziali pronti per l'analisi nel cloud. Un esempio importante è il dataset pubblico Google Cloud CMIP6. Sebbene Zarr non sia intrinsecamente un formato geospaziale specifico, a causa della sua rapida crescita e adozione in campi geospaziali e correlati, è stato proposto come standard comunitario OGC.