Ich dachte, es wäre wertvoll, ein Update zu den Cloud-native-Geodatenaktivitäten in OGC zu teilen, insbesondere im Lichte unseres kürzlich sehr erfolgreichen Cloud-Native-Outreach-Events. Dieser Blog folgt auf die Seh- geteilt von OGC-CEO Dr. Nadine Alameh im April 2022 und zwei Beiträge von OGC-Gastwissenschaftler Chris Holmes: Auf dem Weg zu einem Cloud-nativen OGC mit einem Auf dem Weg zu einer Cloud-nativen Basis für Geodatenstandards.
Seit vielen Jahren arbeitet OGC an zahlreichen Aspekten des gesamten Ökosystems der Standortdaten in Cloud-Umgebungen. Beginnend mit Testbed 10 im Jahr 2013 veröffentlicht OGC technische Leitlinien zu Cloud-Themen, wie zum Beispiel die Testbed 10 Leistung von OGC-Diensten in der Cloud: Die Fälle WMS, WMTS und WPS. Von diesen ersten Bemühungen an haben die OGC-Mitglieder erkannt, dass unser Ansatz zur Ermöglichung von Cloud-nativen Geodatenfunktionen dieses gesamte Ökosystem einschließen muss: Formate, Dienste, Architekturen und Operationen. Ich habe diese Perspektive beim Outreach Event zusammengefasst und diskutiert Fortschritte bei OGC Cloud-native Geospatial-Aktivitäten und werde in diesem Blog-Beitrag näher darauf eingehen.
Das Cloud-Ökosystem ist mehr als nur die Plattform, auf der die Daten gespeichert und verarbeitet werden. Es umfasst auch: die Algorithmen zur Informationsverarbeitung, Schnittstellen zwischen Mensch und Maschine, Formate zum Speichern und Abrufen von Informationen, das Sicherheitssystem für Inhalte und Zugriff, Geschäftsabläufe und Umsatzmodelle zur Aufrechterhaltung der Umgebungen, behördliche Aufsicht, die sich darauf auswirken kann, was in die Cloud gelangt oder sie verlässt, und vieles, vieles mehr. „Ökosystem“ ist tatsächlich der richtige Begriff, da man sich eine fast 1:1-Analogie der Cloud zu einem natürlichen Ökosystem vorstellen kann.
Aufbau eines Ökosystems
Der Rest dieses Blogs befasst sich mit den Elementen des Ökosystems, mit denen sich OGC befasst: Schnittstellen, Anwendungen, Kodierungen und Operationen.
Zunächst einmal können wir nicht über Geodaten in der Cloud sprechen, ohne auch über das Web zu sprechen: Über Webressourcen interagieren so viele Benutzer mit in der Cloud gehosteten Daten und Funktionen. OGC und die World Wide Web Consortium (W3C) 2017 haben wir zusammengearbeitet und die Bewährte Methoden für räumliche Daten im Web als Mittel, um zu veranschaulichen, wie man Geodaten webnativer machen kann. Webnativ macht Cloudnativ zugänglicher. Es reicht nicht aus, Daten in der Cloud in Formaten zu speichern, die den Zugriff und die Analyseleistung verbessern: Wir müssen auch APIs entwickeln, um Informationen aus der Cloud zu entdecken, zu verarbeiten und zu extrahieren und Benutzer anleiten, damit sie mit Cloud-Instanzen arbeiten können, die von mehreren Anbietern gehostet werden. Die Auswirkungen der Modernisierung webzentrierter Standards in OGC auf die Ermöglichung des Cloud-Ökosystems können nicht genug betont werden.
Zu diesen APIs gehören OGC API – Features, grundlegend für den Zugriff auf Merkmalsdaten (Vektordaten) sowie für die STAC API-Spezifikation, die zur schnellen Entdeckung von Fernerkundungs- und anderen Daten verwendet werden. Erweiterung des Katalogparadigmas, OGC API – Aufzeichnungen ermöglicht die Entdeckung und den Zugriff auf alle Arten von Geodaten bis hin zur Datensatzebene. Die Architektur dieser APIs ermöglicht es Entwicklern, „gerade genug Geo“ zu implementieren, um an die benötigten Daten zu gelangen, ohne Geoexperten werden zu müssen.
Viele Menschen sehen den wichtigsten Anwendungsfall für Cloud-native-Funktionen in der Handhabung riesiger Datenwürfel, seien es Bildstapel oder mehrdimensionale wissenschaftliche Datensätze. Aber nur weil Sie alle Ihre Daten in der Cloud speichern können, heißt das nicht, dass Sie diese Daten auch immer nutzen möchten. OGC API – Environmental Data Retrieval (EDR) ermöglicht die Erstellung komplexer Untergruppen von Datenwürfeln, um nur das zurückzugeben (oder darauf zu verweisen), was benötigt wird.
Müssen Sie Sensoren des Internets der Dinge mit Ihren riesigen Content-Beständen verbinden? Nutzen Sie die OGC SensorThings API Grundsätze. Bedenken Sie, dass die Kombination unterschiedlicher Datenquellen und dynamischer Sensoren normalerweise ein gewisses Maß an Verarbeitung erfordert, um nützliche Informationen zu extrahieren. Implementieren Sie daher OGC API – Processes um zwischen und innerhalb mehrerer Datensätze und Feeds zu arbeiten.
Die Datenverarbeitung erfolgt in vielen Modellen, aber heutzutage ist der Einsatz künstlicher Intelligenz äußerst wichtig, um große Datenmengen in nützliche Informationen umzuwandeln. OGCs Arbeitsgruppe „Künstliche Intelligenz in der Geoinformatik (GeoAI)“ befasst sich mit einigen Anwendungsfällen und identifiziert Ziele für Interoperabilität und sogar Standardisierung für Informationsfluss und -qualität. Beispielsweise wird die Charakterisierung von Trainings- und Validierungsdaten, die in GeoAI verwendet werden, derzeit standardisiert in Arbeitsgruppe „Trainingsdaten-Markup-Sprache für KI-Standards“. Als Teil dieses Ökosystems bietet die hochautomatisierte Datenverarbeitung und -analyse außergewöhnliche Vorteile aus Cloud-nativen Geodaten.
Auch die Formate sind von entscheidender Bedeutung. Ich habe oben in diesem Beitrag auf einige Blogs von Chris Holmes verwiesen, in denen es hervorragende Beschreibungen mehrerer Cloud-nativer Kodierungen gibt, die weit verbreitet sind (oder bald weit verbreitet sein werden). Bedenken Sie, dass es nicht nur die Struktur dieser Kodierungen ist, die sie „Cloud-nativ“ macht, sondern auch die Art und Weise, wie auf die Daten zugegriffen wird (normalerweise web-nativ, d. h. HTTP). Daher verwenden viele OGC-Standard-Kodierungen wie GeoPackage, können Cloud-nativ sein. Im Folgenden hebe ich mehrere Formate hervor, die derzeit in OGC reifen.
OGC-standardisiert GeoTIFF im Jahr 2019 und arbeitet seitdem an der Standardisierung von Cloud Optimized GeoTIFF (COG) für die Verwaltung von Rasterdaten. Beginnend mit dem COG Bibliothek hat OGC daran gearbeitet, das Format als formellen Standard zu dokumentieren und steht kurz vor dem Abschluss dieser Arbeit. Ein Spezifikationsentwurf ist verfügbar als OGC Testbed-17: Technischer Bericht zur Cloud-optimierten GeoTIFF-Spezifikation; der Standard wird nicht weit dahinter sein.
Komplexere mehrdimensionale Daten können in der Cloud effizient kodiert werden, indem zarr. Zarr ist auch in der Endabstimmung für die Billigung als OGC-Gemeinschaftsstandard. Das kürzlich abgeschlossene Testbed von OGC bewertete die Eignung von Zarr für die Verarbeitung von Geodatenwürfeln im OGC-Testumgebung 17: Technischer Evaluierungsbericht zu COG/Zarr und Zarr hat es gut gemacht … genauso wie COG.
Feature-Daten (Vektordaten) werden bereits in der Cloud in allen Arten von Datenbanken verarbeitet, die auf Einfache Funktionen von OGC, der am weitesten verbreitete Standard des OGC, um die Geometrie zu kodieren. Aber ist diese Verwaltung wirklich Cloud-nativ, insbesondere im Hinblick auf das Streaming der Daten an Benutzer? Andere Kodierungen werden in Betracht gezogen. GeoParkett wird derzeit in OGC als zukünftiges Cloud-natives Vektorformat inkubiert. Andere Formate wie FlachGeobuf werden auch als mögliche Gemeinschaftsstandards betrachtet, die sich bestehenden Standards anschließen, wie Indizierte 3D-Szenen-Layer mit einem 3D Tiles, die beide Cloud-native-Funktionen bieten, insbesondere bei der Bereitstellung von Daten.
Zusammenbau in der realen Welt
Sie haben bis hierhin gelesen und sehen eine ganze Reihe von Verweisen auf einzelne Standards und Spezifikationen, die sich auf bestimmte Teile des Cloud-nativen Geodaten-Ökosystems beziehen. Um alles zusammenzuführen, ist die praktische Anwendung dieser Technologien, Standards und Spezifikationen im Zusammenspiel erforderlich. Der Betrieb des Cloud-Ökosystems erfordert die Koordination vieler Disziplinen und manchmal neue Architekturentwürfe im Vergleich zu unserer bisherigen Verwendung monolithischer Systeme (wie Microservices und hochgradig zusammensetzbare Systeme). Hier ist die andere Hälfte des OGC so wichtig. Die OGC-Innovationsprogramm führt jedes Jahr zahlreiche Initiativen durch, um die oben aufgeführten Funktionen anhand realer Szenarien zu testen oder zu erproben und Dokumentationen und Beispiele bereitzustellen, die für viele Anwendungsfälle wiederverwendet werden können.
Eine Suche nach „Cloud“ in der Repository für technische Berichte gibt Verweise auf 20 Dokumente zurück, die jeweils die praktische Anwendung der oben hervorgehobenen Funktionen und mehr hervorheben. Diese Dokumente können in den Kontext des Cloud-native-Ökosystems gestellt werden, wie unten dargestellt.
Wie Sie sehen, haben die Initiativen des Innovationsprogramms viele Aspekte des Cloud-Ökosystems berührt, auch wenn sie nur am Rande mit der Standorttechnologie zu tun haben. Diese Engineering Reports verweisen auf noch mehr relevante Arbeiten und identifizieren spezifische Praktiken, die auf viele Anwendungsfälle übertragbar sind. Ich empfehle auch die kürzlich erschienene OGC Best Practice für das Anwendungspaket zur Erdbeobachtung, in dem die Verpackung und Bereitstellung von Plattformen zur Nutzung der Erdbeobachtung, im Allgemeinen in einer Cloud-Umgebung, beschrieben wird.
Entwicklung und Reifung
Zusammenfassend habe ich viele Standards und Ressourcen angesprochen und es gibt noch viele weitere im OGC und bei unseren Partnerorganisationen. Jede, buchstäblich JEDE dieser Bemühungen erfordert erhebliche Investitionen an Zeit und Ressourcen. Das Engagement der OGC-Mitglieder, diese Arbeit voranzutreiben, wird im Cloud-Ökosystem immer deutlicher. Die Tatsache, dass so viele große Cloud-Dienstanbieter (z. B. AWS, Google, Microsoft, Oracle) Mitglieder des OGC sind, unterstreicht die Relevanz der Bemühungen des OGC in diesem Bereich.
Die Standards werden ausgereift und wir verfügen über fachkundige Anleitungen zur Bereitstellung und Verwaltung der Funktionen. Erwarten Sie dedizierte Entwickler- und Implementierungsressourcen des OGC, um die konsistente Verwendung von Geodateninhalten in Cloud-Ökosystemen zu fördern. Wir werden weiterhin nach Best Practices suchen, Anleitungen veröffentlichen und die von unseren Mitgliedern angebotenen Funktionen identifizieren, um die gesamte Standortbranche zu unterstützen.
