Ik dacht dat het waardevol zou zijn om een update te delen over de cloud-native geospatiale activiteiten binnen OGC, met name in het licht van ons recente, zeer succesvolle Cloud-Native Outreach Event. Deze blog bouwt voort op de visie die OGC's CEO, Dr. Nadine Alameh, in april 2022 deelde, en op twee berichten van OGC's Visiting Fellow, Chris Holmes: ' Towards a Cloud-Native OGC' en ' Towards a Cloud-Native Geospatial Standards Baseline'.
OGC werkt al jaren aan talloze aspecten van het gehele ecosysteem van locatiegegevens in cloudomgevingen. Beginnend met Testbed 10 in 2013, publiceert OGC technische richtlijnen over cloudonderwerpen, zoals de Testbed 10 Performance of OGC Services in the Cloud: The WMS, WMTS, and WPS cases . Vanaf die eerste inspanningen hebben OGC-leden erkend dat onze aanpak voor het mogelijk maken van cloud-native geospatiale mogelijkheden dit hele ecosysteem moet omvatten: formaten, services, architecturen en operationele aspecten. Ik heb dit perspectief samengevat tijdens het Outreach Event over de vooruitgang in OGC's cloud-native geospatiale activiteiten en zal dit verder uitwerken in dit blogbericht.
Het cloud-ecosysteem is meer dan alleen het platform waarop de gegevens leven en worden verwerkt, maar omvat ook: de algoritmen om informatie te verwerken; interfaces tussen zowel mensen als machines; formaten om informatie op te slaan en op te halen; het beveiligingsregime voor inhoud en toegang; bedrijfsactiviteiten en inkomstenmodellen om de omgevingen in stand te houden; regelgevend toezicht dat van invloed kan zijn op wat de cloud binnenkomt of verlaat; en nog veel, veel meer. "Ecosysteem" is echt de juiste term, want je kunt je een bijna 1-op-1 analoog voorstellen van de cloud naar een natuurlijk ecosysteem.
Een ecosysteem bouwen
In de rest van dit blog gaan we dieper in op de elementen van het ecosysteem waar OGC zich mee bezighoudt: interfaces, applicaties, coderingen en bewerkingen.
Om te beginnen kunnen we het eigenlijk niet over georuimtelijke gegevens in de cloud hebben zonder ook het web erbij te betrekken: het is via webbronnen dat zoveel gebruikers interactie hebben met in de cloud gehoste data en functionaliteiten. De OGC en het World Wide Web Consortium (W3C) hebben in 2017 samengewerkt om de ' Spatial Data on the Web Best Practices' te publiceren , om te illustreren hoe georuimtelijke informatie meer web-native kan worden gemaakt. Web-native maakt cloud-native toegankelijker. Het is niet voldoende om data in de cloud op te slaan in formaten die de toegang en analyseprestaties verbeteren: we moeten ook API's ontwikkelen om informatie uit de cloud te ontdekken, te verwerken en te extraheren, en gebruikers begeleiden bij het werken met cloud-instances die door verschillende providers worden gehost. De impact van de webcentrische modernisering van de standaarden binnen de OGC op het mogelijk maken van het cloud-ecosysteem kan niet worden overschat.
Deze API's omvatten OGC API – Features, fundamenteel voor de toegang tot feature (vector) data en ter ondersteuning van de STAC API-specificatie, gebruikt voor snelle ontdekking van remote sensing en andere data. Het catalogusparadigma uitbreiden, OGC API – Records maakt ontdekking en toegang tot alle soorten georuimtelijke gegevens mogelijk, zo gedetailleerd als het recordniveau. De architectuur van deze API's stelt ontwikkelaars in staat om "net genoeg geo" te implementeren om de gegevens te krijgen die ze nodig hebben, zonder georuimtelijke experts te worden.
Veel mensen identificeren de belangrijkste use case voor cloud-native mogelijkheden als de verwerking van enorme datakubussen, of het nu gaat om stapels beeldmateriaal of multidimensionale wetenschappelijke datasets. Maar alleen omdat u al uw data in de cloud kunt opslaan, betekent niet dat u al die data altijd wilt gebruiken. OGC API – Environmental Data Retrieval (EDR) maakt het mogelijk om complexe subsets van datakubussen te maken om precies datgene terug te geven (of ernaar te verwijzen) wat nodig is.
Moet u sensoren voor het Internet of Things combineren met uw enorme contentvoorraad? Maak gebruik van de OGC SensorThings API StandaardenHoud er rekening mee dat de combinatie van uiteenlopende gegevensbronnen en dynamische sensoren doorgaans een zekere mate van verwerking nodig heeft om bruikbare informatie te extraheren, dus implementeer OGC API – Processes om te werken tussen en binnen meerdere datasets en feeds.
Gegevensverwerking kent vele modellen, maar tegenwoordig is het gebruik van kunstmatige intelligentie (AI) om enorme hoeveelheden data te destilleren tot bruikbare informatie van groot belang. De GeoAI-werkgroep (Artificial Intelligence in Geoinformatics) van de OGC (Oregon Global Conference) pakt een aantal toepassingsmogelijkheden aan en identificeert doelen voor interoperabiliteit en zelfs standaardisatie van informatiestromen en -kwaliteit. Zo wordt bijvoorbeeld de karakterisering van trainings- en validatiedata die in GeoAI worden gebruikt, gestandaardiseerd in de Training Data Markup Language for AI Standards Working Group. Als onderdeel van dit ecosysteem biedt sterk geautomatiseerde dataverwerking en -analyse buitengewone voordelen van cloud-native geospatiale data.
De formaten zijn ook van cruciaal belang. Ik verwees bovenaan dit bericht naar een paar blogs van Chris Holmes, waar uitstekende beschrijvingen staan van verschillende cloud-native encodings die breed (of binnenkort breed) worden gebruikt. Begrijp dat het niet alleen de structuur van deze encodings is die ze "cloud-native" maakt, maar ook de middelen waarmee de data wordt benaderd (meestal web-native, d.w.z. HTTP). Daarom zijn veel OGC-Standard encodings, zoals GeoPackage, kan cloud-native zijn. Hieronder belicht ik verschillende formaten die momenteel rijpen in OGC.
OGC standaardiseerde GeoTIFF in 2019 en werkt sindsdien aan de standaardisatie van Cloud Optimized GeoTIFF (COG) voor het beheer van rasterdata. Beginnend met de COG- bibliotheek, werkt OGC aan de documentatie van het formaat als een formele standaard en nadert de voltooiing van dit werk. Een conceptspecificatie is beschikbaar als het OGC Testbed-17: Cloud Optimized GeoTIFF specification Engineering Report ; de standaard zal niet lang meer op zich laten wachten.
Het is gebleken dat complexere multidimensionale data efficiënt in de cloud gecodeerd kunnen worden met Zarr . Zarr maakt ook kans op goedkeuring als OGC Community Standard . De meest recent afgeronde OGC-testomgeving evalueerde de geschiktheid van Zarr voor het verwerken van geospatiale datakubussen in het OGC Testbed 17: COG/Zarr Evaluation Engineering Report , en Zarr presteerde uitstekend... net als COG.
Feature (vector) data wordt al verwerkt in de cloud in alle soorten databases die afhankelijk zijn van OGC Eenvoudige Functies, OGC's meest geïmplementeerde standaard, om de geometrie te coderen. Maar is dit beheer echt cloud-native, met name met betrekking tot het streamen van de gegevens naar gebruikers? Er worden andere coderingen overwogen. GeoParket wordt momenteel geïncubeerd in OGC als een prospectief cloud-native vectorformaat. Andere formaten, zoals FlatGeobuf worden ook beschouwd als potentiële gemeenschapsnormen, om zich aan te sluiten bij bestaande normen zoals Geïndexeerde 3D-scènelagen en 3D Tiles, die beide cloud-native mogelijkheden bieden, met name bij de levering van gegevens.
Het in de echte wereld samenvoegen
U hebt tot nu toe gelezen en een heleboel verwijzingen gezien naar individuele standaarden en specificaties die betrekking hebben op specifieke onderdelen van het cloud-native geospatiale ecosysteem. Om dit alles samen te brengen, is het essentieel om deze technologieën, standaarden en specificaties in de praktijk toe te passen. De werking van het cloud-ecosysteem vereist coördinatie tussen vele disciplines en soms nieuwe architectuurontwerpen ten opzichte van ons eerdere gebruik van monolithische systemen (zoals microservices en zeer flexibele systemen). Dit is waar de andere helft van de OGC zo cruciaal is. Het OGC Innovation Program voert jaarlijks talrijke initiatieven uit om te experimenteren met of pilots uit te voeren met de hierboven genoemde mogelijkheden in praktijksituaties en om documentatie en voorbeelden te leveren die voor veel toepassingen kunnen worden hergebruikt.
Een zoekopdracht naar 'cloud' in de repository met technische rapporten levert 20 documenten op, die elk de praktische toepassing van de hierboven beschreven mogelijkheden en meer belichten. Deze documenten kunnen in de context van het cloud-native ecosysteem worden geplaatst, zoals hieronder wordt geïllustreerd.
Zoals u kunt zien, hebben de initiatieven van het Innovatieprogramma veel aspecten van het cloud-ecosysteem aangeraakt, ook al zijn ze slechts zijdelings gerelateerd aan locatietechnologie. Deze technische rapporten verwijzen naar nog meer relevant werk en identificeren specifieke werkwijzen die toepasbaar zijn in diverse gebruiksscenario's. Ik beveel ook de recente OGC Best Practice for Earth Observation Application Package aan , waarin de verpakking en implementatie van platforms voor de exploitatie van aardobservatiegegevens, doorgaans in een cloudomgeving, gedetailleerd wordt beschreven.
Ontwikkeling en rijping
Samenvattend heb ik een groot aantal standaarden en hulpmiddelen besproken, en er zijn er nog veel meer binnen de OGC en via onze partnerorganisaties. Elk van deze initiatieven, letterlijk ELK, vereist een aanzienlijke investering in tijd en middelen. De toewijding van OGC-leden om dit werk te bevorderen, wordt steeds duidelijker zichtbaar in het cloud-ecosysteem. Het feit dat zoveel grote cloudserviceproviders (bijvoorbeeld AWS , Google , Microsoft , Oracle ) OGC-leden zijn, onderstreept de relevantie van de inspanningen van de OGC op dit gebied.
De standaarden worden volwassen en we hebben deskundige begeleiding bij de implementatie en het beheer van de mogelijkheden. Verwacht dat de OGC speciale ontwikkelaars- en implementatorbronnen zal inzetten om consistent gebruik van georuimtelijke content in cloudecosystemen te bevorderen. We zullen doorgaan met het onderzoeken van best practices, het publiceren van richtlijnen en het identificeren van mogelijkheden die door onze leden worden aangeboden om de gehele locatie-industrie in stand te houden.
