Article rédigé par Chris Holmes, chercheur invité à l'OGC –
Il y a environ six mois, j'ai rejoint l'Open Geospatial Consortium en tant que premier chercheur invité . Ce fut un réel plaisir d'explorer plus en profondeur différents aspects de l'OGC, en collaborant avec l'équipe et les membres. Le temps a filé à toute vitesse, et je souhaitais donc partager mon expérience et quelques réflexions sur la suite.
La portée ouverte de la bourse était incroyable, mais j'ai réalisé que je devais rapidement me concentrer si je voulais avoir un impact réel tout en travaillant une demi-journée par semaine pendant six mois. Le thème qui en est ressorti, je l'appelle « Cloud-Native OGC », explorant les composants fondamentaux qui permettent d'établir des normes géospatiales sur le cloud, à un niveau « inférieur » aux API.
Il s'agit d'une évolution des idées que j'ai présentées il y a quatre ans dans une série d'articles de blog intitulée « Géospatial natif du cloud », qui s'ouvrait sur la question : « À quoi ressemblerait le monde géospatial si nous le construisions entièrement sur le cloud ? ». Depuis, j'ai consacré l'essentiel de mon temps à deux aspects fondamentaux de cette transformation : les GeoTIFF optimisés pour le cloud et les catalogues d'actifs spatio-temporels . Nous avons constaté une adoption précoce de ces deux formats, mais elle s'est principalement concentrée sur l'imagerie satellitaire multispectrale, qui ne représente qu'une petite partie du monde géospatial. Mon séjour en tant que chercheur invité à l'OGC a donc été consacré à une réflexion sur cette question initiale : « À quoi ressembleraient les normes géospatiales si elles étaient conçues pour le cloud ? » J'ai ainsi pu examiner l'ensemble du paysage géospatial, et pas seulement l'imagerie, ainsi que le potentiel de l'OGC à jouer un rôle de premier plan pour concrétiser la vision du géospatial natif du cloud.
La vision géospatiale native du Cloud
En creusant un peu plus, j'ai découvert que les travaux de normalisation existants de l'OGC pourraient facilement évoluer pour aligner l'industrie sur les architectures géospatiales natives du cloud. Aucune organisation n'est mieux placée que l'OGC pour concrétiser ce projet : elle est déjà reconnue par tous les gouvernements comme le garant des normes géospatiales et dispose de la plus grande communauté d'experts géospatiaux travaillant ensemble, dans les secteurs commercial, à but non lucratif, gouvernemental et universitaire.
Avant d’entrer dans les détails des normes nécessaires pour soutenir cela, il convient d’articuler en détail l’état futur rendu possible par cette vision.
La mission de l'OGC est de « rendre les informations de localisation trouvables, accessibles, interopérables et réutilisables (FAIR) ». Cloud-Native Geospatial partage exactement le même objectif, mais exploite le cloud pour simplifier radicalement l'effort nécessaire pour rendre les données géospatiales FAIR. Au lieu de forcer les fournisseurs de données à créer, maintenir et faire évoluer leurs propres API, l'exigence devrait être aussi simple que d'utiliser le bon format géospatial natif du cloud et les bonnes métadonnées, et de les télécharger sur n'importe quel cloud. Toutes les API et l'évolutivité proviennent du cloud lui-même, ce qui permet à la géospatiale de surfer sur les vagues continues d'innovation dans le monde informatique au lieu de jouer continuellement à « rattraper son retard ».
L'un des principaux objectifs des solutions géospatiales natives du cloud est d'alléger la charge pesant sur les fournisseurs de données et, par conséquent, de permettre à un plus grand nombre de données géospatiales d'être conformes aux principes FAIR (Fair Access for Data). Le seul coût que les fournisseurs devraient avoir à supporter est celui du stockage cloud , actuellement compris entre 1 et 5 dollars américains par mois pour 100 gigaoctets de données. Si ces données essentielles sont hébergées dans le cloud, les technologies natives du cloud permettent d'inverser complètement la logique de coût : les utilisateurs des données paient pour chaque calcul effectué et, grâce au modèle « demandeur-payeur », ils prennent même en charge les coûts de sortie des données.
Une fois que les données sont dans les bons formats géospatiaux natifs du cloud, il est facile pour quiconque de mettre en place un serveur géospatial traditionnel, idéalement un serveur rendant les données disponibles sous forme d'API OGC. Mais les données elles-mêmes deviennent FAIR, même si elles ne se trouvent pas dans une API avancée, car le cloud et les normes clés fournissent tout ce qui est nécessaire pour fournir les données.
Mais les choses deviennent vraiment passionnantes lorsqu'on envisage une toute nouvelle catégorie d'outils géospatiaux natifs du cloud, capables de se superposer aux données FAIR de base et de coexister avec les services géospatiaux traditionnels. Google Earth Engine opère dans ce contexte depuis des années, permettant des calculs à l'échelle mondiale exécutés simultanément sur des dizaines de milliers de nœuds de calcul pour fournir des réponses en quelques secondes. Ils ont réalisé un travail remarquable en matière de gestion d'une immense quantité de données , mais GEE a traditionnellement fonctionné comme un écosystème fermé, où seules les données ingérées dans GEE pouvaient exploiter ses capacités. Dans la vision géospatiale native du cloud, toutes les données présentes dans le cloud pourraient être utilisées par GEE (et ils ont d'ailleurs commencé à adopter cette vision avec l'enregistrement COG ).
Plus important encore, tout nouvel outil de calcul à l'échelle du cloud, tel que GEE, n'aurait pas besoin de constituer son propre catalogue de données, puisqu'il pourrait simplement accéder aux mêmes formats géographiques natifs du cloud que ceux utilisés par d'autres outils. Disposer d'une suite d'outils géospatiaux natifs du cloud, associée à un hébergement de données économique, ouvre alors la voie à l'utilisation équitable (FAIR) d'un volume beaucoup plus important de données géospatiales. Les petites organisations, qui possèdent des informations précieuses mais n'ont pas les ressources nécessaires pour exploiter des serveurs, adopteront les solutions géospatiales natives du cloud, car le stockage de leurs données dans le cloud leur permettra d'accéder à de nombreux outils et analyses performants. L'accès à l'ensemble des informations mondiales en un seul endroit, combiné à une puissance de calcul infinie, devrait engendrer une toute nouvelle génération d'outils innovants, allant au-delà de l'analyse géospatiale traditionnelle pour identifier des tendances plus générales. Dès lors, la frontière entre informations géospatiales et non géospatiales s'estompera une fois les données natives du cloud, amplifiant considérablement l'impact potentiel des connaissances géospatiales – mais ce sujet mériterait un article de blog à part entière.
L'obtention d'une masse critique de données exploitables par les outils avancés du cloud ouvre la voie à une véritable recherche géospatiale. Aujourd'hui, le paradigme dominant repose sur la connaissance ou la localisation d'un serveur géospatial spécifique pour pouvoir effectuer des recherches et trouver l'information nécessaire. Il n'existe pas d'équivalent de « Google pour la géolocalisation » car aucun format standard d'indexation n'est disponible, contrairement au HTML pour le web. Les métadonnées et les formats de données simples hébergés dans le cloud constituent la principale source d'indexation, notamment lorsqu'ils possèdent un équivalent HTML indexable par les moteurs de recherche web traditionnels, comme le préconisent les bonnes pratiques relatives aux données spatiales sur le web.
L’avantage principal de la géospatiale native du cloud pour la recherche est l’accès aux données réelles : vous pouvez les diffuser directement dans divers outils qui fournissent une valeur réelle. Les tentatives précédentes de moteurs de recherche géospatiale affichaient au mieux une image d’aperçu, et souvent seulement une description textuelle, et souvent les données réelles n’étaient même pas disponibles pour un téléchargement direct : il s’agissait simplement d’une recherche de métadonnées. Avec la géospatiale native du cloud, l’outil de recherche peut diffuser des données en pleine résolution directement dans le navigateur, ou se connecter à des outils plus puissants qui permettent une analyse basée sur le cloud des résultats de recherche. La vision géospatiale native du cloud se concentre d’abord sur l’acheminement d’une masse critique de données vers le cloud, mais une fois qu’il existe des masses d’informations suffisamment précieuses, elle ouvre la possibilité d’une toute nouvelle classe de technologies et d’entreprises axées sur des outils de recherche géospatiale plus innovants.
Vers une base de référence pour les normes géospatiales natives du cloud
Comment pouvons-nous réellement progresser vers cette vision ? Les normes fondamentales sont bien plus proches que l’on pourrait le penser. Mais il faut souligner que la réalisation de cette vision nécessitera beaucoup plus de travail de la part de l’ensemble du secteur géospatial que la simple publication de quelques normes. Nous devons déployer des efforts soutenus pour apporter chaque élément d’information de localisation dans le cloud dans des formats standard, pour mettre à jour chaque outil afin de pouvoir l’utiliser et pour créer ensemble toute une nouvelle classe d’outils de nouvelle génération qui démontrent la puissance de disposer de pétaoctets d’informations sur le monde en un seul endroit.
Cela signifie qu’il faut une base solide sur laquelle s’appuyer, permettant de superposer des couches et des couches d’innovation. Mais cette base standard doit également être adaptable au paysage technologique global, pour pouvoir suivre les tendances technologiques plus vastes (comme le passage de XML à JSON et à tout ce qui suivra). La clé pour cela est de construire de petites pièces qui sont faiblement couplées, avec peu de pièces mobiles, et de se concentrer vraiment sur les composants véritablement géospatiaux. Cette approche est d’une simplicité radicale, en mettant en place les unités atomiques de base pour permettre une innovation inimaginable.
Je vais me plonger dans un plan pratique pour parvenir à une base de référence minimale viable pour les données géospatiales natives du cloud, en tirant parti de tout le travail formidable accompli par l'OGC et la communauté géospatiale au sens large. Mais mon travail dans le cadre de la bourse au cours des derniers mois montre que nous sommes potentiellement proches de la base de référence, et si nous travaillons ensemble pour y parvenir et construire l'écosystème interopérable d'outils autour de celui-ci, la puissance des informations géospatiales sera accessible à tous. Ceux d'entre nous qui travaillent sur le terrain connaissent cette puissance, et si nous pouvons créer une interopérabilité cloud native simple qui permette à chacun d'accéder facilement à nos données, alors l'impact sur le monde sera incommensurable.
