Artikel verfasst von Chris Holmes, OGC Visiting Fellow -
Vor etwa sechs Monaten begann ich als erster 'Visiting Fellow' des Open Geospatial Consortium. Es war mir eine wahre Freude, in Zusammenarbeit mit Mitarbeitern und Mitgliedern verschiedene Aspekte des OGC eingehender zu erkunden. Die Zeit ist wie im Flug vergangen und deshalb wollte ich meine Fortschritte und einige Gedanken darüber, was als Nächstes kommt, mit Ihnen teilen.
Der offene Rahmen des Stipendiums war erstaunlich, aber mir wurde klar, dass ich mich schnell konzentrieren musste, wenn ich tatsächlich etwas bewirken wollte, während ich sechs Monate lang einen halben Tag pro Woche arbeitete. Das Thema, das sich dabei herauskristallisierte, nenne ich „Cloud-Native OGC“ und erkunde die grundlegenden Komponenten, die georäumliche Standards in der Cloud auf einer Ebene „unterhalb“ der APIs ermöglichen.
Dies ist eine Weiterentwicklung der Ideen, die ich vor vier Jahren in einer Blogserie mit dem Titel „Cloud-native Geodaten', welche geöffnet mit der Frage „Wie würde die georäumliche Welt aussehen, wenn wir alles von Grund auf in der Cloud aufbauen würden?“. Seitdem habe ich einen Großteil meiner Zeit damit verbracht, mich auf zwei Kernaspekte dieser Transformation zu konzentrieren – Für die Cloud optimierte GeoTIFFs mit einem Räumlich-zeitliche Asset-Kataloge. Wir haben eine unglaublich frühe Einführung beider Formate erlebt, aber sie konzentrierte sich hauptsächlich auf multispektrale Satellitenbilder, die nur einen kleinen Teil der gesamten georäumlichen Welt ausmachen. Meine Zeit als OGC Visiting Fellow habe ich also damit verbracht, diese ursprüngliche Frage zu überdenken: „Was würden georäumliche Normen sähen aus, wenn sie für die Cloud entwickelt worden wären?‘ Ich konnte mir die Zeit nehmen, die gesamte Geodatenlandschaft zu betrachten, nicht nur die Bilder, und das Potenzial von OGC, die entscheidende Führungsrolle bei der Verwirklichung der Cloud-Native-Geospatial-Vision zu spielen.
Die Cloud Native Geospatial Vision
Bei näherer Betrachtung stellte ich fest, dass die bestehende Standardisierungsarbeit des OGC problemlos weiterentwickelt werden könnte, um die Branche auf Cloud-native Geospatial-Architekturen auszurichten. Es gibt keine Organisation, die besser aufgestellt wäre, um dies Wirklichkeit werden zu lassen als das OGC: Jede Regierung vertraut bereits darauf, dass es als Verwalter von Geospatial-Standards fungiert, und es verfügt über die größte Community von Geospatial-Experten, die aus kommerziellen, gemeinnützigen, staatlichen und akademischen Kreisen zusammenarbeiten.
Bevor ich näher auf die zur Unterstützung dieses Ziels erforderlichen Standards eingehe, lohnt es sich, den durch diese Vision ermöglichten zukünftigen Zustand umfassend zu beschreiben.
Die Mission des OGC besteht darin, „Standortinformationen auffindbar, zugänglich, interoperabel und wiederverwendbar (FAIR) zu machen“. Cloud-Native Geospatial verfolgt genau dasselbe Ziel, nutzt die Cloud jedoch, um den Aufwand, der erforderlich ist, um Geodaten FAIR zu machen, radikal zu vereinfachen. Anstatt Datenanbieter zu zwingen, ihre eigenen APIs einzurichten, zu pflegen und zu skalieren, sollte die Anforderung so einfach sein wie die Verwendung des richtigen Cloud-nativen Geodatenformats und der Metadaten und das Hochladen in eine beliebige Cloud. Alle APIs und die Skalierbarkeit kommen aus der Cloud selbst, sodass Geospatial auf den kontinuierlichen Innovationswellen der breiteren IT-Welt mitschwimmen kann, anstatt ständig „aufzuholen“.
Ein zentrales Ziel von Cloud-native Geodaten ist es, die Belastung der Datenanbieter zu verringern und so weitaus mehr Geodaten FAIR bereitzustellen. Die einzigen Kosten, die die Anbieter zahlen müssen, sind die Cloud-Speicher, die derzeit zwischen 1 und 5 US-Dollar pro Monat für 100 Gigabyte Daten liegen. Wenn diese Kerndaten in der Cloud gehostet werden, können allgemeine Cloud-native-Technologien die Kostengleichung auf den Kopf stellen, da die Benutzer der Daten für jede von ihnen durchgeführte Berechnung zahlen, und mit „Anforderer zahlt" die Nutzer zahlen sogar für die Ausstiegskosten.
Sobald die Daten in den richtigen Cloud-nativen Geodatenformaten vorliegen, ist es für jeden einfach, einen herkömmlichen Geodatenserver einzurichten, idealerweise einen, der die Daten als OGC-APIs verfügbar macht. Aber die Daten selbst werden FAIR, auch wenn sie nicht in einer erweiterten API vorliegen, da die Cloud plus wichtige Standards alles bieten, was zur Bereitstellung der Daten erforderlich ist.
Aber richtig spannend wird es, wenn man an eine ganz neue Klasse von Cloud-nativen Geodaten-Tools denkt, die auf den FAIR-Kerndaten aufbauen und neben den traditionellen Geodaten-Diensten laufen können. Google Earth Engine ist in dieser Zukunft schon seit Jahren im Einsatz und ermöglicht Berechnungen auf globaler Ebene, die gleichzeitig auf Zehntausenden von Rechenknoten laufen und Antworten in Sekundenschnelle liefern. Sie haben unglaubliche Arbeit geleistet, indem sie eine riesige Datenmengen, aber GEE war traditionell ein ummauerter Garten, in dem nur Daten, die in GEE eingespeist wurden, seine Fähigkeiten nutzen konnten. In der Cloud-Native Geospatial-Vision könnten alle Daten in der Cloud von GEE verwendet werden (und tatsächlich haben sie begonnen, die CNG-Vision mit COG-Registrierung).
Noch wichtiger ist, dass jedes neue Cloud-Scale-Computing-Tool wie GEE keinen eigenen Datenkatalog aufbauen muss, da es einfach auf dieselben Cloud-nativen Geoformate zugreifen kann, die auch andere Tools verwenden. Eine Suite von Cloud-nativen Geodaten-Tools mit kostengünstigem Datenhosting eröffnet dann das Potenzial für eine viel längerer Schwanz von Geodaten, um FAIR zu sein, da kleinere Organisationen, die über wertvolle Informationen, aber nicht die Mittel zum Betrieb von Servern verfügen, Cloud-native Geodaten nutzen werden, da die Speicherung ihrer Daten in der Cloud viele großartige Tools und Analysen ermöglicht. Der Zugriff auf alle Informationen der Welt an einem Ort in Kombination mit Berechnungen im unendlichen Maßstab sollte wiederum eine ganz neue Welle innovativer Tools einleiten, die über die traditionelle Geoanalyse hinausgehen und breitere Muster erkennen. Sobald diese Cloud-nativ sind, wird die Grenze zwischen Geodaten und Nicht-Geodaten verschwimmen, was die potenzielle Wirkung von Geodaten erheblich vergrößert – aber das ist einen eigenen Blogbeitrag wert.
Das Erreichen einer kritischen Masse an Daten, die tatsächlich von fortgeschrittenen Tools der Cloud verwendet werden kann, eröffnet die Möglichkeit einer echten „georäumlichen Suche“. Das Hauptparadigma heute ist, dass Sie einen bestimmten georäumlichen Server kennen oder finden müssen, um dann georäumliche Suchen durchführen zu können, um die benötigten Informationen zu finden. Es gibt kein „Google für Standortinformationen“, da es kein Standardformat zum „Crawlen“ gibt, wie es HTML für das Web gibt. Einfache Metadaten und Datenformate, die in der Cloud gespeichert sind, bieten die grundlegende „Crawlbarkeit“, insbesondere wenn sie ein HTML-Äquivalent haben, das von herkömmlichen Websuchmaschinen gecrawlt werden kann, wie in der Bewährte Methoden für räumliche Daten im Web.
Der wichtigste Vorteil von Cloud-native Geospatial für die Suche ist der Zugriff auf die eigentlichen Daten – Sie können diese direkt in verschiedene Tools streamen, die einen echten Mehrwert bieten. Frühere Versuche mit Geospatial-Suchmaschinen zeigten bestenfalls ein Vorschaubild und oft nur eine Textbeschreibung, und oft waren die eigentlichen Daten nicht einmal zum direkten Download verfügbar: Es handelte sich lediglich um eine Suche in den Metadaten. Mit Cloud-native Geospatial kann das Suchtool Daten in voller Auflösung direkt in den Browser streamen oder auf leistungsstärkere Tools verlinken, die eine Cloud-basierte Analyse der Suchergebnisse ermöglichen. Die Cloud-native Geospatial-Vision konzentriert sich zunächst darauf, eine kritische Masse an Daten in die Cloud zu bringen, aber sobald ausreichend wertvolle Informationsmengen vorhanden sind, eröffnet sie die Möglichkeit einer ganz neuen Klasse von Technologien und Unternehmen, die sich auf innovativere Geospatial-Suchtools konzentrieren.
Auf dem Weg zu einer Cloud-nativen Basis für Geodatenstandards
Wie kommen wir dieser Vision also tatsächlich näher? Die Kernstandards sind viel näher dran, als man erwarten würde. Es muss jedoch betont werden, dass die Verwirklichung dieser Vision von der gesamten Geodatenbranche weitaus mehr Arbeit erfordern wird, als nur einige Standards zu veröffentlichen. Wir müssen uns nachhaltig darum bemühen, jede Standortinformation in Standardformaten in die Cloud zu bringen, alle Tools so zu aktualisieren, dass sie damit arbeiten können, und gemeinsam eine ganz neue Klasse von Tools der nächsten Generation zu entwickeln, die zeigen, wie leistungsfähig es ist, Petabytes an Informationen über die Welt an einem Ort zu haben.
Dies bedeutet eine sehr solide Grundlage, auf der aufgebaut werden kann und die weitere Innovation ermöglicht. Diese Standardbasis muss jedoch auch an die gesamte Technologielandschaft anpassbar sein, um größere Technologietrends (wie den Wechsel von XML zu JSON und was auch immer als Nächstes kommt) mitgehen zu können. Der Schlüssel dazu besteht darin, kleine Teile zu bauen, die lose gekoppelt sind, wenige bewegliche Teile haben und sich wirklich auf die wirklich georäumlichen Komponenten konzentrieren. Dieser Ansatz ist von radikaler Einfachheit geprägt und setzt die Kerneinheiten richtig ein, um ungeahnte Innovationen zu ermöglichen.
Ich werde mich eingehend mit einem praktischen Plan befassen, um eine minimal tragfähige Standardbasis für Cloud-native Geodaten zu erreichen und dabei die großartige Arbeit des OGC und der breiteren Geodaten-Community zu nutzen. Aber meine Arbeit im Rahmen des Stipendiums in den letzten Monaten zeigt, dass wir möglicherweise nahe an der Basislinie sind, und wenn wir zusammenarbeiten, um dies zu erreichen und das interoperable Ökosystem von Tools darum herum aufzubauen, wird die Leistungsfähigkeit von Geodaten für alle verfügbar sein. Diejenigen von uns, die in diesem Bereich arbeiten, kennen die Leistungsfähigkeit, und wenn wir eine einfache Cloud-native Interoperabilität aufbauen können, die es jedem leicht macht, auf unsere Daten zuzugreifen, werden die Auswirkungen auf die Welt unermesslich sein.
