Ich hielt es für sinnvoll, über die aktuellen Entwicklungen im Bereich Cloud-nativer Geodaten im OGC zu informieren, insbesondere im Hinblick auf unsere kürzlich stattgefundene, sehr erfolgreiche Veranstaltung zur Öffentlichkeitsarbeit im Bereich Cloud-nativer Geodaten. Dieser Blogbeitrag knüpft an die Vision von OGC-CEO Dr. Nadine Alameh vom April 2022 sowie an zwei Beiträge von OGC-Gastwissenschaftler Chris Holmes an: „ Auf dem Weg zu einem Cloud-nativen OGC“ und „Auf dem Weg zu einer Cloud-nativen Geodatenstandard-Basislinie“.
Seit vielen Jahren arbeitet OGC an zahlreichen Aspekten des gesamten Ökosystems von Standortdaten in Cloud-Umgebungen. Beginnend mit Testbed 10 im Jahr 2013 veröffentlicht OGC technische Leitfäden zu Cloud-Themen, beispielsweise die Studie „ Testbed 10 Performance of OGC Services in the Cloud: The WMS, WMTS, and WPS cases“ . Schon in diesen frühen Phasen erkannten die OGC-Mitglieder, dass unser Ansatz zur Bereitstellung cloudnativer Geodatenfunktionen dieses gesamte Ökosystem umfassen muss: Formate, Dienste, Architekturen und Betrieb. Ich habe diese Perspektive auf der Outreach-Veranstaltung „ Advances in OGC Cloud-Native Geospatial Activities“ zusammengefasst und werde sie in diesem Blogbeitrag weiter ausführen.
Das Cloud-Ökosystem ist mehr als nur die Plattform, auf der die Daten gespeichert und verarbeitet werden. Es umfasst auch: die Algorithmen zur Informationsverarbeitung, Schnittstellen zwischen Mensch und Maschine, Formate zum Speichern und Abrufen von Informationen, das Sicherheitssystem für Inhalte und Zugriff, Geschäftsabläufe und Umsatzmodelle zur Aufrechterhaltung der Umgebungen, behördliche Aufsicht, die sich darauf auswirken kann, was in die Cloud gelangt oder sie verlässt, und vieles, vieles mehr. „Ökosystem“ ist tatsächlich der richtige Begriff, da man sich eine fast 1:1-Analogie der Cloud zu einem natürlichen Ökosystem vorstellen kann.
Aufbau eines Ökosystems
Der Rest dieses Blogs befasst sich mit den Elementen des Ökosystems, mit denen sich OGC befasst: Schnittstellen, Anwendungen, Kodierungen und Operationen.
Zunächst einmal lässt sich über Geodaten in der Cloud nicht sprechen, ohne auch das Web zu erwähnen: Viele Nutzer interagieren über Webressourcen mit cloudbasierten Daten und Funktionen. OGC und das World Wide Web Consortium (W3C) veröffentlichten 2017 gemeinsam die „Best Practices für Geodaten im Web“, um zu veranschaulichen, wie Geodaten webnativer gestaltet werden können. Webnative Lösungen machen cloudnative Lösungen zugänglicher. Es genügt nicht, Daten in der Cloud in Formaten zu speichern, die den Zugriff und die Analyseleistung verbessern: Wir müssen auch APIs entwickeln, um Informationen aus der Cloud zu ermitteln, zu verarbeiten und zu extrahieren und Nutzern die Arbeit mit Cloud-Instanzen verschiedener Anbieter zu ermöglichen. Die Bedeutung der webzentrierten Standardmodernisierung im OGC für die Förderung des Cloud-Ökosystems kann nicht hoch genug eingeschätzt werden.
Zu diesen APIs gehören OGC API – Features, grundlegend für den Zugriff auf Merkmalsdaten (Vektordaten) sowie für die STAC API-Spezifikation, die zur schnellen Entdeckung von Fernerkundungs- und anderen Daten verwendet werden. Erweiterung des Katalogparadigmas, OGC API – Aufzeichnungen ermöglicht die Entdeckung und den Zugriff auf alle Arten von Geodaten bis hin zur Datensatzebene. Die Architektur dieser APIs ermöglicht es Entwicklern, „gerade genug Geo“ zu implementieren, um an die benötigten Daten zu gelangen, ohne Geoexperten werden zu müssen.
Viele Menschen sehen den wichtigsten Anwendungsfall für Cloud-native-Funktionen in der Handhabung riesiger Datenwürfel, seien es Bildstapel oder mehrdimensionale wissenschaftliche Datensätze. Aber nur weil Sie alle Ihre Daten in der Cloud speichern können, heißt das nicht, dass Sie diese Daten auch immer nutzen möchten. OGC API – Environmental Data Retrieval (EDR) ermöglicht die Erstellung komplexer Untergruppen von Datenwürfeln, um nur das zurückzugeben (oder darauf zu verweisen), was benötigt wird.
Müssen Sie Sensoren des Internets der Dinge mit Ihren riesigen Content-Beständen verbinden? Nutzen Sie die OGC SensorThings API Grundsätze. Bedenken Sie, dass die Kombination unterschiedlicher Datenquellen und dynamischer Sensoren normalerweise ein gewisses Maß an Verarbeitung erfordert, um nützliche Informationen zu extrahieren. Implementieren Sie daher OGC API – Processes um zwischen und innerhalb mehrerer Datensätze und Feeds zu arbeiten.
Die Datenverarbeitung erfolgt auf vielfältige Weise, doch heutzutage ist der Einsatz von Künstlicher Intelligenz (KI) zur Umwandlung riesiger Datenmengen in nutzbare Informationen von entscheidender Bedeutung. Die Arbeitsgruppe „Künstliche Intelligenz in der Geoinformatik (GeoAI)“ des OGC befasst sich mit einigen Anwendungsfällen und definiert Ziele für Interoperabilität und sogar Standardisierung hinsichtlich Informationsfluss und -qualität. Beispielsweise wird die Charakterisierung von Trainings- und Validierungsdaten, die in GeoAI verwendet werden, derzeit in der Arbeitsgruppe „Training Data Markup Language for AI Standards“ standardisiert. Als Teil dieses Ökosystems bietet die hochautomatisierte Datenverarbeitung und -analyse außerordentliche Vorteile aus Cloud-nativen Geodaten.
Auch die Formate sind von entscheidender Bedeutung. Ich habe oben in diesem Beitrag auf einige Blogs von Chris Holmes verwiesen, in denen es hervorragende Beschreibungen mehrerer Cloud-nativer Kodierungen gibt, die weit verbreitet sind (oder bald weit verbreitet sein werden). Bedenken Sie, dass es nicht nur die Struktur dieser Kodierungen ist, die sie „Cloud-nativ“ macht, sondern auch die Art und Weise, wie auf die Daten zugegriffen wird (normalerweise web-nativ, d. h. HTTP). Daher verwenden viele OGC-Standard-Kodierungen wie GeoPackage, können Cloud-nativ sein. Im Folgenden hebe ich mehrere Formate hervor, die derzeit in OGC reifen.
OGC hat GeoTIFF 2019 standardisiert und arbeitet seitdem an der Standardisierung von Cloud Optimized GeoTIFF (COG) für die Verwaltung von Rasterdaten. Ausgehend von der COG- Bibliothek dokumentiert OGC das Format als formalen Standard und steht kurz vor dem Abschluss dieser Arbeiten. Ein Spezifikationsentwurf ist als OGC Testbed-17: Cloud Optimized GeoTIFF specification Engineering Report verfügbar ; der Standard wird in Kürze folgen.
Komplexere, mehrdimensionale Daten lassen sich mit Zarr nachweislich effizient in der Cloud kodieren . Zarr steht außerdem kurz vor der Abstimmung über die Aufnahme in den OGC Community Standard . Der kürzlich abgeschlossene OGC Testbed 17: COG/Zarr Evaluation Engineering Report evaluierte die Eignung von Zarr für die Verarbeitung von Geodatenwürfeln, und Zarr schnitt dabei – ebenso wie COG – hervorragend ab.
Feature-Daten (Vektordaten) werden bereits in der Cloud in allen Arten von Datenbanken verarbeitet, die auf Einfache Funktionen von OGC, der am weitesten verbreitete Standard des OGC, um die Geometrie zu kodieren. Aber ist diese Verwaltung wirklich Cloud-nativ, insbesondere im Hinblick auf das Streaming der Daten an Benutzer? Andere Kodierungen werden in Betracht gezogen. GeoParkett wird derzeit in OGC als zukünftiges Cloud-natives Vektorformat inkubiert. Andere Formate wie FlachGeobuf werden auch als mögliche Gemeinschaftsstandards betrachtet, die sich bestehenden Standards anschließen, wie Indizierte 3D-Szenen-Layer und 3D Tiles, die beide Cloud-native-Funktionen bieten, insbesondere bei der Bereitstellung von Daten.
Zusammenbau in der realen Welt
Sie haben bis hierher gelesen und zahlreiche Verweise auf einzelne Standards und Spezifikationen gefunden, die spezifische Bereiche des Cloud-nativen Geodaten-Ökosystems abdecken. Die praktische Anwendung dieser Technologien, Standards und Spezifikationen erfordert deren Zusammenspiel. Der Betrieb des Cloud-Ökosystems bedingt die Koordination vieler Disziplinen und mitunter neue Architekturkonzepte im Vergleich zu unseren bisherigen monolithischen Systemen (wie beispielsweise Microservices und hochgradig zusammensetzbare Systeme). Hier kommt die zweite Hälfte des OGC ins Spiel. Das OGC-Innovationsprogramm führt jährlich zahlreiche Initiativen durch, um die oben genannten Funktionen anhand realer Szenarien zu erproben und Dokumentationen sowie Beispiele bereitzustellen, die für vielfältige Anwendungsfälle wiederverwendet werden können.
Eine Suche nach „Cloud“ im Engineering Report-Repository liefert 20 Dokumente, die jeweils die praktische Anwendung der oben genannten und weiterer Funktionen hervorheben. Diese Dokumente lassen sich, wie unten dargestellt, in den Kontext des Cloud-nativen Ökosystems einordnen.
Wie Sie sehen, haben die Initiativen des Innovationsprogramms viele Aspekte des Cloud-Ökosystems berührt, selbst wenn diese nur am Rande mit Ortungstechnologien zusammenhängen. Die Engineering-Berichte verweisen auf weitere relevante Arbeiten und benennen konkrete Vorgehensweisen, die sich auf viele Anwendungsfälle übertragen lassen. Ich empfehle außerdem die kürzlich veröffentlichten OGC Best Practices für Earth Observation Application Packages , die die Paketierung und Bereitstellung von Earth Observation Exploitation Platforms, insbesondere in Cloud-Umgebungen, detailliert beschreiben.
Entwicklung und Reifung
Zusammenfassend habe ich viele Standards und Ressourcen angesprochen, und es gibt noch viele weitere im OGC und bei unseren Partnerorganisationen. Jede einzelne dieser Initiativen erfordert einen erheblichen Zeit- und Ressourcenaufwand. Das Engagement der OGC-Mitglieder für diese Arbeit findet zunehmend Anerkennung im Cloud-Ökosystem. Die Tatsache, dass so viele große Cloud-Service-Anbieter (z. B. AWS , Google , Microsoft , Oracle ) OGC-Mitglieder sind, unterstreicht die Bedeutung der OGC-Aktivitäten in diesem Bereich.
Die Standards werden ausgereift und wir verfügen über fachkundige Anleitungen zur Bereitstellung und Verwaltung der Funktionen. Erwarten Sie dedizierte Entwickler- und Implementierungsressourcen des OGC, um die konsistente Verwendung von Geodateninhalten in Cloud-Ökosystemen zu fördern. Wir werden weiterhin nach Best Practices suchen, Anleitungen veröffentlichen und die von unseren Mitgliedern angebotenen Funktionen identifizieren, um die gesamte Standortbranche zu unterstützen.
