Beitrag von Chris Holmes, OGC Visiting Fellow –
Vor etwa sechs Monaten begann ich meine Tätigkeit als erster Gastwissenschaftler beim Open Geospatial Consortium (OGC). Es war mir eine große Freude, verschiedene Aspekte des OGC näher kennenzulernen und mit den Mitarbeitern und Mitgliedern zusammenzuarbeiten. Die Zeit ist wie im Flug vergangen, und deshalb möchte ich meine Fortschritte und einige Gedanken zu den nächsten Schritten mit Ihnen teilen.
Der offene Rahmen des Stipendiums war erstaunlich, aber mir wurde klar, dass ich mich schnell konzentrieren musste, wenn ich tatsächlich etwas bewirken wollte, während ich sechs Monate lang einen halben Tag pro Woche arbeitete. Das Thema, das sich dabei herauskristallisierte, nenne ich „Cloud-Native OGC“ und erkunde die grundlegenden Komponenten, die georäumliche Standards in der Cloud auf einer Ebene „unterhalb“ der APIs ermöglichen.
Dies ist eine Weiterentwicklung der Ideen, die ich vor vier Jahren in einer Blogreihe mit dem Titel „ Cloud-Native Geospatial “ vorgestellt habe. Diese begann mit der Frage: „Wie sähe die Geodatenwelt aus, wenn wir alles von Grund auf in der Cloud aufbauen würden?“ Seitdem habe ich mich vor allem auf zwei Kernaspekte dieser Transformation konzentriert: Cloud-optimierte GeoTIFFs und raumzeitliche Asset-Kataloge . Beide Formate wurden bereits sehr früh eingesetzt, wobei der Fokus hauptsächlich auf multispektralen Satellitenbildern lag, die nur einen kleinen Teil der gesamten Geodatenwelt ausmachen. Meine Zeit als OGC Visiting Fellow habe ich daher genutzt, um die ursprüngliche Frage neu zu interpretieren: „Wie sähen Geodatenstandards aus , wenn sie für die Cloud entwickelt würden?“ Ich konnte mir die Zeit nehmen, die gesamte Geodatenlandschaft zu betrachten, nicht nur Bildmaterial, und das Potenzial des OGC zu untersuchen, eine führende Rolle bei der Verwirklichung der Vision von Cloud-Native Geospatial zu übernehmen.
Die Cloud Native Geospatial Vision
Bei näherer Betrachtung stellte ich fest, dass die bestehende Standardisierungsarbeit des OGC problemlos weiterentwickelt werden könnte, um die Branche auf Cloud-native Geospatial-Architekturen auszurichten. Es gibt keine Organisation, die besser aufgestellt wäre, um dies Wirklichkeit werden zu lassen als das OGC: Jede Regierung vertraut bereits darauf, dass es als Verwalter von Geospatial-Standards fungiert, und es verfügt über die größte Community von Geospatial-Experten, die aus kommerziellen, gemeinnützigen, staatlichen und akademischen Kreisen zusammenarbeiten.
Bevor ich näher auf die zur Unterstützung dieses Ziels erforderlichen Standards eingehe, lohnt es sich, den durch diese Vision ermöglichten zukünftigen Zustand umfassend zu beschreiben.
Die Mission des OGC besteht darin, „Standortinformationen auffindbar, zugänglich, interoperabel und wiederverwendbar (FAIR) zu machen“. Cloud-Native Geospatial verfolgt genau dasselbe Ziel, nutzt die Cloud jedoch, um den Aufwand, der erforderlich ist, um Geodaten FAIR zu machen, radikal zu vereinfachen. Anstatt Datenanbieter zu zwingen, ihre eigenen APIs einzurichten, zu pflegen und zu skalieren, sollte die Anforderung so einfach sein wie die Verwendung des richtigen Cloud-nativen Geodatenformats und der Metadaten und das Hochladen in eine beliebige Cloud. Alle APIs und die Skalierbarkeit kommen aus der Cloud selbst, sodass Geospatial auf den kontinuierlichen Innovationswellen der breiteren IT-Welt mitschwimmen kann, anstatt ständig „aufzuholen“.
Ein zentrales Ziel cloudnativer Geodaten ist die Entlastung von Datenanbietern und die damit verbundene Förderung von FAIR-Geodaten. Die einzigen Kosten für Anbieter sollten die für den Cloud-Speicher sein , der derzeit zwischen 1 und 5 US-Dollar pro Monat für 100 Gigabyte Daten liegt. Werden diese Kerndaten in der Cloud gehostet, ermöglichen cloudnative Technologien eine Umkehrung des Kostenmodells: Die Datennutzer zahlen nur für die von ihnen durchgeführten Berechnungen, und dank des Modells „ Anforderer zahlt “ übernehmen sie sogar die Kosten für den Datentransfer.
Sobald die Daten in den richtigen Cloud-nativen Geodatenformaten vorliegen, ist es für jeden einfach, einen herkömmlichen Geodatenserver einzurichten, idealerweise einen, der die Daten als OGC-APIs verfügbar macht. Aber die Daten selbst werden FAIR, auch wenn sie nicht in einer erweiterten API vorliegen, da die Cloud plus wichtige Standards alles bieten, was zur Bereitstellung der Daten erforderlich ist.
Richtig spannend wird es aber, wenn man an eine völlig neue Generation cloudnativer Geodaten-Tools denkt, die auf den FAIR-Kerndaten aufbauen und neben traditionellen Geodaten-Diensten bestehen können. Google Earth Engine arbeitet bereits seit Jahren in diese Richtung und ermöglicht globale Berechnungen, die gleichzeitig auf Zehntausenden von Rechenknoten laufen und Ergebnisse in Sekundenschnelle liefern. Sie haben Unglaubliches geleistet, indem sie eine riesige Datenmenge kuratiert haben. Bisher war GEE jedoch ein geschlossenes System, in dem nur Daten, die in GEE importiert wurden, ihre Möglichkeiten nutzen konnten. In der Vision cloudnativer Geodaten könnte GEE alle Daten in der Cloud verwenden (und tatsächlich hat GEE mit der COG-Registrierung begonnen, diese Vision umzusetzen ).
Noch wichtiger ist, dass neue Cloud-Computing-Tools wie GEE keinen eigenen Datenkatalog aufbauen müssten, da sie einfach auf dieselben Cloud-nativen Geodatenformate zugreifen könnten wie andere Tools. Eine Suite von Cloud-nativen Geodaten-Tools mit kostengünstigem Datenhosting eröffnet somit das Potenzial, dass ein viel größerer Teil der Geodaten den FAIR-Kriterien entspricht. Kleinere Organisationen, die über wertvolle Informationen verfügen, aber nicht die Ressourcen für eigene Server haben, werden Cloud-native Geodaten nutzen, da die Speicherung ihrer Daten in der Cloud viele leistungsstarke Tools und Analysen ermöglicht. Der Zugriff auf alle Informationen der Welt an einem Ort, kombiniert mit unbegrenzter Rechenleistung, dürfte wiederum eine ganze Welle innovativer Tools auslösen, die über die traditionelle Geodatenanalyse hinausgehen und umfassendere Muster erkennen. Sobald die Daten Cloud-nativ sind, verschwimmt die Grenze zwischen Geodaten und nicht-Geodaten, wodurch die potenziellen Auswirkungen von Geodaten-Erkenntnissen erheblich verstärkt werden – aber das ist ein Thema für einen eigenen Blogbeitrag.
Das Erreichen einer kritischen Datenmasse, die von fortschrittlichen Cloud-Tools tatsächlich genutzt werden kann, eröffnet die Möglichkeit einer echten „Geodatensuche“. Aktuell besteht das Hauptparadigma darin, einen bestimmten Geodatenserver zu kennen oder zu finden, um dann Geodatensuchen durchführen und die benötigten Informationen finden zu können. Es gibt kein „Google für Standortinformationen“, da kein Standardformat zum Crawlen existiert, wie es beispielsweise HTML für das Web gibt. Einfache Metadaten und Datenformate in der Cloud bilden die Grundlage für die Crawlbarkeit, insbesondere wenn sie ein HTML-Äquivalent besitzen, das von herkömmlichen Suchmaschinen gecrawlt werden kann, wie in den Best Practices für räumliche Daten im Web beschrieben.
Der wichtigste Vorteil von Cloud-native Geospatial für die Suche ist der Zugriff auf die eigentlichen Daten – Sie können diese direkt in verschiedene Tools streamen, die einen echten Mehrwert bieten. Frühere Versuche mit Geospatial-Suchmaschinen zeigten bestenfalls ein Vorschaubild und oft nur eine Textbeschreibung, und oft waren die eigentlichen Daten nicht einmal zum direkten Download verfügbar: Es handelte sich lediglich um eine Suche in den Metadaten. Mit Cloud-native Geospatial kann das Suchtool Daten in voller Auflösung direkt in den Browser streamen oder auf leistungsstärkere Tools verlinken, die eine Cloud-basierte Analyse der Suchergebnisse ermöglichen. Die Cloud-native Geospatial-Vision konzentriert sich zunächst darauf, eine kritische Masse an Daten in die Cloud zu bringen, aber sobald ausreichend wertvolle Informationsmengen vorhanden sind, eröffnet sie die Möglichkeit einer ganz neuen Klasse von Technologien und Unternehmen, die sich auf innovativere Geospatial-Suchtools konzentrieren.
Auf dem Weg zu einer Cloud-nativen Basis für Geodatenstandards
Wie kommen wir dieser Vision also tatsächlich näher? Die Kernstandards sind viel näher dran, als man erwarten würde. Es muss jedoch betont werden, dass die Verwirklichung dieser Vision von der gesamten Geodatenbranche weitaus mehr Arbeit erfordern wird, als nur einige Standards zu veröffentlichen. Wir müssen uns nachhaltig darum bemühen, jede Standortinformation in Standardformaten in die Cloud zu bringen, alle Tools so zu aktualisieren, dass sie damit arbeiten können, und gemeinsam eine ganz neue Klasse von Tools der nächsten Generation zu entwickeln, die zeigen, wie leistungsfähig es ist, Petabytes an Informationen über die Welt an einem Ort zu haben.
Dies bedeutet eine sehr solide Grundlage, auf der aufgebaut werden kann und die weitere Innovation ermöglicht. Diese Standardbasis muss jedoch auch an die gesamte Technologielandschaft anpassbar sein, um größere Technologietrends (wie den Wechsel von XML zu JSON und was auch immer als Nächstes kommt) mitgehen zu können. Der Schlüssel dazu besteht darin, kleine Teile zu bauen, die lose gekoppelt sind, wenige bewegliche Teile haben und sich wirklich auf die wirklich georäumlichen Komponenten konzentrieren. Dieser Ansatz ist von radikaler Einfachheit geprägt und setzt die Kerneinheiten richtig ein, um ungeahnte Innovationen zu ermöglichen.
Ich werde mich eingehend mit einem praktischen Plan befassen, um eine minimal tragfähige Standardbasis für Cloud-native Geodaten zu erreichen und dabei die großartige Arbeit des OGC und der breiteren Geodaten-Community zu nutzen. Aber meine Arbeit im Rahmen des Stipendiums in den letzten Monaten zeigt, dass wir möglicherweise nahe an der Basislinie sind, und wenn wir zusammenarbeiten, um dies zu erreichen und das interoperable Ökosystem von Tools darum herum aufzubauen, wird die Leistungsfähigkeit von Geodaten für alle verfügbar sein. Diejenigen von uns, die in diesem Bereich arbeiten, kennen die Leistungsfähigkeit, und wenn wir eine einfache Cloud-native Interoperabilität aufbauen können, die es jedem leicht macht, auf unsere Daten zuzugreifen, werden die Auswirkungen auf die Welt unermesslich sein.
