Zarr Storage Specification

Multidimensionale array-data (ook bekend als N-dimensionale arrays, ND-arrays, "tensors") zijn alomtegenwoordig in wetenschappelijk onderzoek en engineering. Zarr is een open-source specificatie voor de opslag van ND-arrays en bijbehorende metadata. Zarr slaat metadata op met behulp van .json-tekstbestanden en array-data als [optioneel] gecomprimeerde binaire chunks. Zarr kan data opslaan in elk opslagsysteem dat kan worden beschreven als een sleutel/waarde-opslag. In een standaardbestandssysteem zijn de sleutels bestandsnamen binnen een directoryhiërarchie en de waarden de bestandsinhoud. In een cloud-objectopslag (bijv. Amazon S3) zijn de sleutels de object-ID's en de waarden de objectdata. Deze flexibiliteit stelt implementaties in staat om te experimenteren met nieuwe opslagtechnologieën terwijl een uniforme API voor downstreambibliotheken en gebruikers wordt gehandhaafd.

Zarr ontstond in 2016 in genomics-onderzoek. Het werd gecreëerd door Alistair Miles van Oxford als een bibliotheek die geoptimaliseerd was voor massively parallel array analytics. Sindsdien is het uitgegroeid tot een communityproject met een scala aan ontwikkelaars en gebruikers uit vakgebieden zoals genomics, bioimaging, astronomie, natuurkunde, kwantitatieve financiën, oceanografie, atmosferische wetenschap, klimaatwetenschap en geospatiale beeldvorming. Omdat het zeer grote array-datasets op een eenvoudige, schaalbare manier kan weergeven en compatibel is met cloud-objectopslag, is Zarr een ideaal formaat voor analyseklare geospatiale gegevens in de cloud. Een prominent voorbeeld is de Google Cloud CMIP6 Public Dataset. Hoewel Zarr niet inherent een geospatiaal-specifiek formaat is, werd het vanwege de snelle groei en acceptatie in geospatiale en gerelateerde vakgebieden voorgesteld als een OGC-communitystandaard.