Artikel aangeleverd door Chris Holmes, gastonderzoeker bij OGC –
Ongeveer zes maanden geleden begon ik als eerste 'Visiting Fellow' bij het Open Geospatial Consortium. Het was een waar genoegen om verschillende aspecten van OGC dieper te verkennen en samen te werken met medewerkers en leden. De tijd is voorbijgevlogen, dus ik wilde mijn vorderingen en een aantal gedachten over de toekomst met jullie delen.
De open scope van de fellowship was geweldig, maar ik realiseerde me dat ik snel zou moeten focussen als ik daadwerkelijk impact wilde maken terwijl ik zes maanden lang een halve dag per week werkte. Het thema dat naar voren kwam, noem ik 'Cloud-Native OGC', waarbij ik de fundamentele componenten verken die geospatiale standaarden in de cloud mogelijk maken, op een niveau 'onder' API's.
Dit is een evolutie van de ideeën die ik vier jaar geleden presenteerde in een blogserie genaamd ' Cloud-Native Geospatial ', die begon met de vraag: 'Hoe zou de geospatiale wereld eruitzien als we alles vanaf de grond af aan in de cloud zouden bouwen?'. Sindsdien heb ik me grotendeels gericht op twee kernonderdelen van die transformatie: Cloud Optimized GeoTIFF's en SpatioTemporal Asset Catalogs . We hebben al een ongelooflijk vroege adoptie van beide formaten gezien, maar die was voornamelijk gericht op multispectrale satellietbeelden, wat slechts een klein deel van de gehele geospatiale wereld beslaat. Mijn tijd als OGC Visiting Fellow heb ik dan ook besteed aan een variatie op die oorspronkelijke vraag: 'Hoe zouden geospatiale standaarden eruitzien als ze voor de cloud zouden worden ontwikkeld?' Ik heb de tijd kunnen nemen om het gehele geospatiale landschap te bekijken, niet alleen de beelden, en de potentie van OGC om een leidende rol te spelen bij het realiseren van de Cloud-Native Geospatial-visie.
De cloudnative geospatiale visie
Toen ik er dieper op inging, ontdekte ik dat het bestaande standaardwerk van OGC gemakkelijk zou kunnen evolueren om de industrie af te stemmen op Cloud-Native Geospatial-architecturen. Er is geen organisatie die beter geplaatst is om dit te realiseren dan OGC: het wordt al vertrouwd door elke overheid als beheerder van geospatial-standaarden en heeft de grootste community van geospatial-experts die samenwerken, in commerciële, non-profit, overheids- en academische wereld.
Voordat ik dieper inga op de normen die hiervoor nodig zijn, is het belangrijk om de toekomstige situatie die deze visie mogelijk maakt, uitgebreid te beschrijven.
De missie van OGC is om 'locatie-informatie vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) te maken'. Cloud-Native Geospatial heeft exact hetzelfde doel, maar maakt gebruik van de cloud om de inspanning die nodig is om geospatiale data FAIR te maken, radicaal te vereenvoudigen. In plaats van dataproviders te dwingen om hun eigen API's op te zetten, te onderhouden en te schalen, zou de vereiste zo eenvoudig moeten zijn als het gebruiken van het juiste cloud-native geospatiale formaat en metadata, en het uploaden ervan naar elke cloud. Alle API's en schaalbaarheid komen uit de cloud zelf, waardoor geospatial kan meeliften op de voortdurende golven van innovatie in de bredere IT-wereld in plaats van voortdurend 'in te halen'.
Een belangrijk doel van cloud-native geospatiale oplossingen is het verminderen van de last voor data-aanbieders, waardoor veel meer geospatiale data eerlijk verdeeld kunnen worden. De enige kosten die aanbieders zouden moeten betalen, zijn de kosten voor cloudopslag , die momenteel tussen de 1 en 5 dollar per maand liggen voor 100 gigabyte aan data. Als die kerndata in de cloud wordt gehost, zorgen algemene cloud-native technologieën ervoor dat de kostenvergelijking volledig omgedraaid wordt, omdat de gebruikers van de data betalen voor alle berekeningen die ze uitvoeren, en met het principe ' de aanvrager betaalt ' betalen de gebruikers zelfs voor de kosten van het uitgaande verkeer.
Zodra de data in de juiste cloud-native geospatiale formaten staat, is het voor iedereen eenvoudig om een traditionele geospatiale server op te zetten, idealiter een server die de data beschikbaar stelt als OGC API's. Maar de data zelf wordt FAIR, zelfs als het niet in een geavanceerde API staat, omdat de cloud plus belangrijke standaarden alles biedt wat nodig is om de data te leveren.
Maar het wordt pas echt interessant als we denken aan een geheel nieuwe klasse cloud-native geospatiale tools die bovenop de kern FAIR-data kunnen worden gebouwd en naast traditionele geospatiale diensten kunnen functioneren. Google Earth Engine (GEE) werkt al jaren in deze toekomst en maakt wereldwijde berekeningen mogelijk die gelijktijdig op tienduizenden computernodes draaien om binnen enkele seconden antwoorden te leveren. Ze hebben fantastisch werk verricht door een enorme hoeveelheid data te verzamelen , maar GEE was van oudsher een gesloten systeem waar alleen data die in GEE was ingevoerd, toegang had tot de mogelijkheden. In de cloud-native geospatiale visie kan alle data in de cloud door GEE worden gebruikt (en ze zijn inderdaad al begonnen met het omarmen van de CNG-visie met COG-registratie ).
Belangrijker nog, een nieuwe cloudgebaseerde rekentool zoals GEE hoeft geen eigen datacatalogus op te bouwen, omdat deze simpelweg toegang heeft tot dezelfde cloud-native geoformaten die andere tools gebruiken. Een reeks cloud-native geospatiale tools met goedkope datahosting opent de mogelijkheid voor een veel groter deel van de geospatiale data om FAIR te zijn. Kleinere organisaties met waardevolle informatie, maar zonder de middelen om servers te beheren, zullen cloud-native geospatiale oplossingen omarmen, omdat het opslaan van hun data in de cloud toegang biedt tot vele fantastische tools en analyses. Toegang tot alle informatie ter wereld op één plek, gecombineerd met oneindige rekenkracht, zou op zijn beurt een hele nieuwe golf van innovatieve tools moeten inluiden die verder gaan dan traditionele geospatiale analyses en zich richten op het vinden van bredere patronen. De grens tussen geospatiale en niet-geospatiale informatie zal vervagen zodra deze cloud-native is, waardoor de potentiële impact van geospatiale inzichten enorm wordt vergroot – maar dat is een onderwerp voor een aparte blogpost.
Het bereiken van een kritische massa aan data die daadwerkelijk bruikbaar is voor geavanceerde cloudtools, opent de mogelijkheid voor echt 'geospatiaal zoeken'. Het gangbare paradigma is momenteel dat je een specifieke geospatiale server moet kennen of vinden om vervolgens geospatiale zoekopdrachten uit te voeren en de benodigde informatie te vinden. Er bestaat geen 'Google voor locatie-informatie', omdat er geen standaardformaat is om te 'crawlen' zoals HTML dat wel is voor het web. Eenvoudige metadata en dataformaten die in de cloud worden opgeslagen, bieden de basis voor 'crawlbaarheid', met name wanneer ze een HTML-equivalent hebben dat door traditionele webzoekmachines kan worden gecrawld, zoals beschreven in de ' Spatial Data on the Web Best Practices'.
Het belangrijkste dat cloud-native geospatial mogelijk maakt voor zoeken is toegang tot de daadwerkelijke data – u kunt deze direct streamen naar diverse tools die echte waarde bieden. Eerdere pogingen tot geospatial zoekmachines lieten hooguit een voorbeeldafbeelding zien, en vaak alleen een tekstbeschrijving, en vaak waren de daadwerkelijke data niet eens beschikbaar voor directe download: het was gewoon een zoekopdracht in de metadata. Met cloud-native geospatial kan de zoektool data met volledige resolutie direct in de browser streamen, of linken naar krachtigere tools die cloud-gebaseerde analyse van de zoekresultaten mogelijk maken. De cloud-native geospatial visie richt zich eerst op het krijgen van een kritische massa aan data naar de cloud, maar zodra er voldoende waardevolle massa's aan informatie zijn, opent het de mogelijkheid van een geheel nieuwe klasse van technologieën en bedrijven die zich richten op meer innovatieve geospatial zoektools.
Op weg naar een cloud-native georuimtelijke standaardbasislijn
Dus hoe boeken we nu daadwerkelijk vooruitgang richting deze visie? De kernnormen liggen veel dichterbij dan je zou verwachten. Maar het moet benadrukt worden dat het bereiken van deze visie veel meer werk van de gehele geospatiale industrie zal vergen dan alleen het vrijgeven van een aantal normen. We hebben een aanhoudende inspanning nodig om elk stukje locatie-informatie in standaardformaten naar de cloud te brengen, om elke tool te updaten zodat deze ermee kan werken, en om samen een geheel nieuwe klasse van next-generation tools te bouwen die de kracht van petabytes aan informatie over de wereld op één plek laten zien.
Dit betekent een zeer solide basis om op te bouwen, die lagen en lagen van innovatie mogelijk maakt. Maar deze standaardbasislijn moet ook aanpasbaar zijn aan het algehele technologielandschap, om grotere technologische trends te kunnen volgen (zoals de verschuiving van XML naar JSON en wat er daarna ook komt). De sleutel hiervoor is om kleine stukjes te bouwen die losjes gekoppeld zijn, met weinig bewegende delen, en echt gericht op de echt geospatiale componenten. Deze aanpak is er een van radicale eenvoud, waarbij de kernatomaire eenheden goed worden geplaatst om onvoorstelbare innovatie mogelijk te maken.
Ik ga diep in op een praktisch plan om te komen tot een minimale levensvatbare standaardbasislijn voor cloud-native geospatial, waarbij ik gebruik maak van al het geweldige werk dat de OGC en de bredere geospatial community hebben gedaan. Maar mijn werk onder de fellowship van de afgelopen paar maanden laat zien dat we potentieel dicht bij de basislijn zitten, en als we samenwerken om dat te realiseren en het interoperabele ecosysteem van tools eromheen uit te bouwen, dan zal de kracht van geospatial informatie voor iedereen beschikbaar zijn. Degenen onder ons die in het veld werken, kennen de kracht, en als we eenvoudige cloud-native interoperabiliteit kunnen bouwen die het voor iedereen gemakkelijk maakt om toegang te krijgen tot onze data, dan zal de impact op de wereld onmeetbaar zijn.
