J'ai pensé qu'il serait utile de partager une mise à jour des activités géospatiales natives du cloud au sein de l'OGC, notamment à la lumière du succès de notre récent événement de sensibilisation au cloud natif. Ce blog fait suite à la vision partagée par la PDG de l'OGC, Nadine Alameh, en avril 2022, et à deux articles de Chris Holmes, chercheur invité à l'OGC : « Vers un OGC natif du cloud » et « Vers un référentiel de normes géospatiales natives du cloud ».
Depuis de nombreuses années, l'OGC travaille sur de nombreux aspects de l'écosystème des données de localisation dans les environnements cloud. Dès le Testbed 10 en 2013, l'OGC a publié des recommandations techniques sur le cloud, comme le document « Performances des services OGC dans le cloud : les cas WMS, WMTS et WPS » . Dès ces premiers travaux, les membres de l'OGC ont reconnu que notre approche pour permettre le déploiement de capacités géospatiales natives du cloud devait englober l'ensemble de cet écosystème : formats, services, architectures et opérations. J'ai résumé ce point de vue lors de l'événement de sensibilisation consacré aux avancées des activités géospatiales natives du cloud de l'OGC et je le développerai davantage dans cet article de blog.
L’écosystème du cloud est bien plus que la simple plateforme sur laquelle les données sont stockées et exploitées. Il comprend également : les algorithmes de traitement des informations, les interfaces entre les humains et les machines, les formats de stockage et de récupération des informations, le régime de sécurité du contenu et de l’accès, les opérations commerciales et les modèles de revenus pour soutenir les environnements, la surveillance réglementaire qui peut avoir un impact sur ce qui entre ou sort du cloud, et bien plus encore. « Écosystème » est vraiment le terme approprié, car vous pouvez imaginer une analogie presque parfaite entre le cloud et un écosystème naturel.
Construire un écosystème
Le reste de ce blog se penche sur les éléments de l’écosystème abordés par l’OGC : interfaces, applications, encodages et opérations.
Pour commencer, il est impossible de parler de géospatial dans le cloud sans évoquer le web : c’est par le biais des ressources web que de nombreux utilisateurs interagissent avec les données et les fonctionnalités hébergées dans le cloud. L’OGC et le World Wide Web Consortium (W3C) ont collaboré en 2017 à la publication des Bonnes pratiques relatives aux données spatiales sur le web, afin d’illustrer comment rendre l’information géospatiale plus accessible au web. Cette accessibilité web rend le cloud plus accessible. Il ne suffit pas de stocker les données dans le cloud dans des formats qui améliorent l’accès et les performances d’analyse : il est également nécessaire de développer des API pour découvrir, traiter et extraire des informations du cloud et guider les utilisateurs afin qu’ils puissent travailler sur des instances cloud hébergées par différents fournisseurs. L’impact de la modernisation des normes centrées sur le web au sein de l’OGC sur le développement de l’écosystème cloud est considérable.
Ces API incluent OGC API – Features, fondamentale pour accéder aux données de caractéristiques (vecteurs) ainsi que pour étayer la Spécification de l'API STAC, utilisé pour la découverte rapide de données de télédétection et d'autres données. Extension du paradigme du catalogue, API OGC – Enregistrements permet la découverte et l’accès à tous types de données géospatiales aussi détaillées que le niveau d’enregistrement. L’architecture de ces API permet aux développeurs d’implémenter « juste assez de géo » pour accéder aux données dont ils ont besoin sans devenir des experts en géospatiale.
De nombreuses personnes considèrent que le principal cas d'utilisation des fonctionnalités cloud natives est la gestion de cubes de données volumineux, qu'il s'agisse de piles d'images ou d'ensembles de données scientifiques multidimensionnelles. Mais ce n'est pas parce que vous pouvez stocker toutes vos données dans le cloud que vous souhaitez nécessairement les utiliser toutes en permanence. OGC API – Environmental Data Retrieval (EDR) permet un sous-ensemble complexe de cubes de données pour renvoyer (ou pointer vers) exactement ce qui est nécessaire.
Avez-vous besoin de fusionner des capteurs IoT avec vos énormes fonds de contenu ? Tirez parti de OGC SensorThings API Normes. Considérez que la combinaison de sources de données disparates et de capteurs dynamiques nécessite généralement un certain degré de traitement pour extraire des informations utiles, alors implémentez OGC API – Processes pour travailler entre et au sein de plusieurs ensembles de données et flux.
Le traitement des données se décline en de nombreux modèles, mais l'intelligence artificielle (IA) joue aujourd'hui un rôle crucial pour extraire des informations exploitables de vastes quantités de données. Le groupe de travail GeoAI (Intelligence Artificielle en Géoinformatique) de l'OGC se penche sur certains cas d'usage et identifie des objectifs d'interopérabilité, voire de normalisation, pour garantir la qualité et la fluidité des informations. Par exemple, la caractérisation des données d'entraînement et de validation utilisées en GeoAI est en cours de normalisation au sein du groupe de travail sur les normes du langage de balisage des données d'entraînement pour l'IA. Dans cet écosystème, le traitement et l'analyse hautement automatisés des données géospatiales natives du cloud offrent des avantages considérables.
Les formats sont également d'une importance cruciale. J'ai fait référence à quelques blogs de Chris Holmes au début de cet article, où il existe d'excellentes descriptions de plusieurs codages natifs du cloud largement utilisés (ou qui le seront bientôt). Comprenez que ce n'est pas seulement la structure de ces codages qui les rend « natifs du cloud », mais aussi le moyen par lequel les données sont accessibles (généralement natifs du Web, c'est-à-dire HTTP). Ainsi, de nombreux codages OGC-Standard, tels que GeoPackage, peut être natif du cloud. Ci-dessous, je mets en évidence plusieurs formats qui sont actuellement en cours de maturation dans OGC.
L'OGC a normalisé le format GeoTIFF en 2019 et travaille depuis à la normalisation du format GeoTIFF optimisé pour le cloud (COG) pour la gestion des données raster. À partir de la bibliothèque COG , l'OGC s'emploie à documenter le format en tant que norme formelle et ce travail est sur le point d'être achevé. Une ébauche de spécification est disponible sous la forme du rapport technique « OGC Testbed-17 : Spécification GeoTIFF optimisé pour le cloud » ; la norme définitive devrait suivre prochainement.
Il a été démontré que des données multidimensionnelles plus complexes peuvent être encodées efficacement dans le cloud grâce à Zarr . Zarr est également en lice pour devenir une norme communautaire OGC . Le banc d'essai le plus récent de l'OGC a évalué la pertinence de Zarr pour la gestion des cubes de données géospatiales dans le rapport d'ingénierie d'évaluation OGC Testbed 17 : COG/Zarr . Zarr a obtenu d'excellents résultats, tout comme COG.
Les données de caractéristiques (vecteurs) sont déjà traitées sur le cloud dans tous les types de bases de données qui s'appuient sur Fonctionnalités simples de l'OGC, la norme la plus largement implémentée par l'OGC, pour encoder la géométrie. Mais cette gestion est-elle vraiment cloud-native, notamment en ce qui concerne la diffusion des données aux utilisateurs ? D'autres encodages sont à l'étude. GéoParquet est actuellement en cours d'incubation dans l'OGC en tant que format vectoriel cloud natif prospectif. D'autres formats, tels que Géobulle plate sont également envisagées comme normes communautaires potentielles, pour rejoindre les normes existantes telles que Couches de scène 3D indexées et 3D Tiles, qui offrent tous deux des capacités cloud natives, notamment en matière de livraison de données.
Mettre tout cela en place dans le monde réel
Vous avez lu jusqu'ici et constaté de nombreuses références à des normes et spécifications individuelles qui traitent de parties spécifiques de l'écosystème géospatial natif du cloud. La mise en œuvre de l'ensemble nécessite l'application pratique et concertée de ces technologies, normes et spécifications. L'exploitation de l'écosystème cloud requiert la coordination de nombreuses disciplines et parfois de nouvelles architectures par rapport à notre utilisation passée de systèmes monolithiques (comme les microservices et les systèmes hautement composables). C'est là que l'autre volet de l'OGC est si crucial. Le programme d'innovation de l'OGC mène chaque année de nombreuses initiatives pour expérimenter ou tester les capacités mentionnées ci-dessus dans des scénarios concrets et fournir une documentation et des exemples réutilisables pour de nombreux cas d'utilisation.
Une recherche du terme « cloud » dans le référentiel de rapports d’ingénierie renvoie 20 documents, chacun illustrant l’application pratique des fonctionnalités mentionnées ci-dessus, et bien plus encore. Ces documents s’inscrivent dans le contexte de l’écosystème cloud-native, comme illustré ci-dessous.
Comme vous pouvez le constater, les initiatives du Programme d'innovation ont abordé de nombreux aspects de l'écosystème du cloud, même si leur lien avec la géolocalisation est parfois indirect. Ces rapports d'ingénierie font référence à d'autres travaux pertinents et identifient des pratiques spécifiques applicables à de nombreux cas d'utilisation. Je recommande également le récent guide de bonnes pratiques de l'OGC pour les applications d'observation de la Terre , qui décrit en détail le packaging et le déploiement des plateformes d'exploitation des données d'observation de la Terre, généralement dans un environnement cloud.
Développement et maturation
En résumé, j'ai abordé de nombreuses normes et ressources, et il en existe bien d'autres au sein de l'OGC et de nos organisations partenaires. Chacune de ces initiatives, sans exception, exige un investissement considérable en temps et en ressources. L'engagement des membres de l'OGC à faire progresser ce travail est de plus en plus visible dans l'écosystème du cloud. Le fait que tant de grands fournisseurs de services cloud (par exemple, AWS , Google , Microsoft , Oracle ) soient membres de l'OGC souligne la pertinence des efforts déployés par l'OGC dans ce domaine.
Les normes sont en cours de maturation et nous disposons de conseils d'experts sur le déploiement et la gestion des fonctionnalités. Attendez-vous à voir des ressources dédiées aux développeurs et aux implémenteurs de l'OGC pour favoriser une utilisation cohérente du contenu géospatial dans les écosystèmes cloud. Nous continuerons à rechercher les meilleures pratiques, à publier des conseils et à identifier les fonctionnalités offertes par nos membres pour soutenir l'ensemble du secteur de la localisation.
