Articolo a cura di Chris Holmes, Visiting Fellow dell'OGC –
Circa sei mesi fa ho iniziato il mio incarico come primo "Visiting Fellow" dell'Open Geospatial Consortium. È stato un vero piacere approfondire vari aspetti dell'OGC, lavorando a stretto contatto con lo staff e i membri. Il tempo è volato, quindi volevo condividere i miei progressi e alcune riflessioni su ciò che mi aspetta in futuro.
L'ambito aperto della borsa di studio era incredibile, ma mi sono reso conto che avrei dovuto concentrarmi rapidamente se avessi voluto davvero avere un impatto lavorando mezza giornata a settimana per sei mesi. Il tema emerso lo chiamo "Cloud-Native OGC", esplorando i componenti fondamentali che abilitano gli standard geospaziali sul cloud, a un livello "inferiore" alle API.
Questa è un'evoluzione delle idee che ho presentato quattro anni fa in una serie di articoli sul blog intitolata " Cloud-Native Geospatial ", che si apriva con la domanda "Come sarebbe il mondo geospaziale se costruissimo tutto da zero sul cloud?". Da allora ho dedicato gran parte del mio tempo a due elementi chiave di questa trasformazione: i GeoTIFF ottimizzati per il cloud e i cataloghi di risorse spazio-temporali . Abbiamo assistito a una rapida adozione di entrambi i formati, ma si è concentrata principalmente sulle immagini satellitari multispettrali, che rappresentano solo una piccola parte del mondo geospaziale nel suo complesso. Pertanto, il mio periodo come Visiting Fellow dell'OGC si è concentrato su una rivisitazione di quella domanda iniziale: "Come sarebbero gli standard geospaziali se fossero creati per il cloud?". Ho avuto la possibilità di analizzare l'intero panorama geospaziale, non solo le immagini, e il potenziale dell'OGC di svolgere un ruolo di leadership fondamentale nel rendere realtà la visione del Cloud-Native Geospatial.
La visione geospaziale nativa del cloud
Approfondendo ulteriormente, ho scoperto che il lavoro di standardizzazione esistente di OGC potrebbe facilmente evolversi per allineare il settore alle architetture geospaziali cloud-native. Non esiste un'organizzazione più adatta di OGC a renderlo realtà: è già considerata da ogni governo come custode degli standard geospaziali e ha la più grande comunità di esperti geospaziali che lavorano insieme, in ambito commerciale, non-profit, governativo e accademico.
Prima di entrare nei dettagli degli standard necessari a supportare tutto ciò, vale la pena di spiegare in modo esaustivo lo stato futuro reso possibile da questa visione.
La missione dell'OGC è "rendere le informazioni sulla posizione reperibili, accessibili, interoperabili e riutilizzabili (FAIR)". Cloud-Native Geospatial condivide esattamente lo stesso obiettivo, ma sfrutta il cloud per semplificare radicalmente lo sforzo necessario per rendere i dati geospaziali FAIR. Invece di costringere i provider di dati a creare, gestire e scalare le proprie API, il requisito dovrebbe essere semplice come utilizzare il formato geospaziale cloud-native e i metadati corretti e caricarli su qualsiasi cloud. Tutte le API e la scalabilità provengono dal cloud stesso, consentendo alla geospatial di cavalcare le continue ondate di innovazione nel più ampio mondo IT invece di giocare continuamente a "recuperare".
Uno degli obiettivi principali del cloud-native geospaziale è quello di ridurre l'onere per i fornitori di dati e, di conseguenza, consentire che una quantità molto maggiore di dati geospaziali sia conforme ai principi FAIR (Fair, Equity, Responsive, Integrity, Accessibilità). L'unico costo che i fornitori dovrebbero sostenere è quello dell'archiviazione cloud , che attualmente si aggira tra 1 e 5 dollari al mese per 100 gigabyte di dati. Se i dati principali sono ospitati sul cloud, le tecnologie cloud-native in generale permettono di ribaltare l'equazione dei costi, poiché gli utenti dei dati pagano per ogni elaborazione effettuata e, con il modello " richiedente paga ", pagano persino i costi di uscita.
Una volta che i dati sono nei formati geospaziali cloud-native corretti, è facile per chiunque creare un server geospaziale tradizionale, idealmente uno che renda i dati disponibili come API OGC. Ma i dati stessi diventano FAIR, anche se non sono in un'API avanzata, poiché il cloud più gli standard chiave forniscono tutto ciò che è necessario per fornire i dati.
Ma le cose si fanno davvero interessanti quando si pensa a una nuova classe di strumenti geospaziali cloud-native in grado di sovrapporsi ai dati FAIR di base, affiancandosi ai servizi geospaziali tradizionali. Google Earth Engine opera in questo scenario da anni, consentendo calcoli su scala globale che vengono eseguiti simultaneamente su decine di migliaia di nodi di calcolo per fornire risposte in pochi secondi. Hanno svolto un lavoro incredibile nella gestione di un'enorme quantità di dati , ma tradizionalmente GEE è stato un sistema chiuso in cui solo i dati inseriti potevano sfruttarne le funzionalità. Nella visione Cloud-Native Geospatial, qualsiasi dato presente nel cloud potrebbe essere utilizzato da GEE (e in effetti hanno iniziato ad abbracciare la visione CNG con la registrazione COG ).
Ancora più importante, qualsiasi nuovo strumento di calcolo su scala cloud come GEE non avrebbe bisogno di costruire un proprio catalogo di dati, poiché potrebbe semplicemente accedere agli stessi formati geografici nativi del cloud utilizzati da altri strumenti. Disporre di una suite di strumenti geospaziali nativi del cloud con hosting di dati a basso costo apre quindi la possibilità di rendere FAIR una porzione molto più ampia di dati geospaziali, poiché le organizzazioni più piccole che possiedono informazioni preziose ma non le risorse per gestire server adotteranno il geospaziale nativo del cloud, dato che l'archiviazione dei dati sul cloud consentirà l'utilizzo di numerosi strumenti e analisi straordinari. L'accesso a tutte le informazioni del mondo in un unico luogo, combinato con una capacità di calcolo su scala infinita, dovrebbe a sua volta dare il via a una nuova ondata di strumenti innovativi che vanno oltre l'analisi geospaziale tradizionale per individuare modelli più ampi. A quel punto, il confine tra informazioni geospaziali e non geospaziali si sfumerà una volta che queste saranno native del cloud, amplificando notevolmente il potenziale impatto delle informazioni geospaziali – ma questo merita un post a parte.
Raggiungere una massa critica di dati effettivamente utilizzabili dagli strumenti avanzati del cloud apre la possibilità di una vera e propria "ricerca geospaziale". Il paradigma principale oggi prevede che sia necessario conoscere o trovare uno specifico server geospaziale per poter effettuare ricerche geospaziali e reperire le informazioni desiderate. Non esiste un "Google per informazioni sulla posizione" perché non esiste un formato standard per la "indicizzazione", come ad esempio l'HTML per il web. I metadati e i formati di dati semplici che risiedono nel cloud forniscono la "indicizzazione" di base, soprattutto quando esiste un equivalente HTML indicizzabile dai motori di ricerca web tradizionali, come descritto nelle Best Practice per i dati spaziali sul web.
La cosa fondamentale che la geospatial cloud-native consente per la ricerca è l'accesso ai dati effettivi: puoi trasmetterli direttamente in diversi strumenti che forniscono un valore reale. I precedenti tentativi di motori di ricerca geospaziali avrebbero mostrato al massimo un'immagine di anteprima e spesso solo una descrizione testuale, e spesso i dati effettivi non sarebbero nemmeno disponibili per il download diretto: era solo una ricerca dei metadati. Con la geospatial cloud-native, lo strumento di ricerca può trasmettere dati a piena risoluzione direttamente nel browser o collegarsi a strumenti più potenti che consentono l'analisi basata sul cloud dei risultati della ricerca. La visione geospatial cloud-native si concentra prima di tutto sull'ottenimento di una massa critica di dati nel cloud, ma una volta che ci sono masse di informazioni sufficientemente preziose, apre la possibilità di un'intera nuova classe di tecnologie e aziende focalizzate su strumenti di ricerca geospaziale più innovativi.
Verso una baseline di standard geospaziali cloud-native
Quindi, come possiamo effettivamente progredire verso questa visione? Gli standard fondamentali sono molto più vicini di quanto ci si possa aspettare. Ma bisogna sottolineare che il raggiungimento di questa visione richiederà molto più lavoro da parte dell'intero settore geospaziale rispetto al semplice rilascio di alcuni standard. Abbiamo bisogno di uno sforzo sostenuto per portare ogni pezzo di informazione sulla posizione sul cloud in formati standard, per aggiornare ogni strumento per poterci lavorare e per costruire insieme un'intera nuova classe di strumenti di prossima generazione che mostrino la potenza di avere petabyte di informazioni sul mondo in un unico posto.
Ciò significa una base molto solida su cui costruire, consentendo strati e strati di innovazione in cima. Ma questa baseline standard deve anche essere adattabile al panorama tecnologico generale, per essere in grado di cavalcare tendenze tecnologiche più ampie (come il passaggio da XML a JSON e a qualsiasi cosa verrà dopo). La chiave per questo è costruire piccoli pezzi che siano accoppiati in modo lasco, con poche parti mobili e concentrandosi davvero sui componenti veramente geospaziali. Questo approccio è di semplicità radicale, ottenendo le unità atomiche di base giuste per consentire un'innovazione inimmaginabile in cima.
Mi immergerò in un piano pratico per arrivare a una baseline minima di standard praticabili per la geospaziale cloud-native, sfruttando tutto il grande lavoro svolto dall'OGC e dalla più ampia comunità geospaziale. Ma il mio lavoro nell'ambito della borsa di studio degli ultimi mesi dimostra che siamo potenzialmente vicini alla baseline e se lavoriamo insieme per realizzarlo e costruire l'ecosistema interoperabile di strumenti attorno ad esso, allora la potenza delle informazioni geospaziali sarà disponibile a tutti. Quelli di noi che lavorano nel settore conoscono la potenza e se possiamo costruire una semplice interoperabilità cloud-native che renda facile per chiunque accedere ai nostri dati, allora l'impatto sul mondo sarà incommensurabile.
