J'ai pensé qu'il serait utile de partager une mise à jour des activités géospatiales cloud-native de l'OGC, en particulier à la lumière de notre récent événement Cloud-Native Outreach très réussi. Ce blog fait suite à l' vision partagé par la PDG de l'OGC, le Dr Nadine Alameh en avril 2022 et deux publications du chercheur invité de l'OGC, Chris Holmes : Vers un OGC natif du Cloud et Vers une base de référence pour les normes géospatiales natives du cloud.
Depuis de nombreuses années, l'OGC travaille sur de nombreux aspects de l'ensemble de l'écosystème des données de localisation dans les environnements cloud. À partir de Testbed 10 en 2013, l'OGC publie des conseils d'ingénierie sur des sujets liés au cloud, tels que Banc d'essai 10 Performances des services OGC dans le cloud : cas WMS, WMTS et WPS. Dès ces premiers efforts, les membres de l'OGC ont reconnu que notre approche visant à permettre des capacités géospatiales natives du cloud doit inclure l'ensemble de cet écosystème : formats, services, architectures et opérations. J'ai résumé cette perspective lors de l'événement de sensibilisation Progrès dans les activités géospatiales natives du cloud de l'OGC et je développerai cela plus en détail dans cet article de blog.
L’écosystème du cloud est bien plus que la simple plateforme sur laquelle les données sont stockées et exploitées. Il comprend également : les algorithmes de traitement des informations, les interfaces entre les humains et les machines, les formats de stockage et de récupération des informations, le régime de sécurité du contenu et de l’accès, les opérations commerciales et les modèles de revenus pour soutenir les environnements, la surveillance réglementaire qui peut avoir un impact sur ce qui entre ou sort du cloud, et bien plus encore. « Écosystème » est vraiment le terme approprié, car vous pouvez imaginer une analogie presque parfaite entre le cloud et un écosystème naturel.
Construire un écosystème
Le reste de ce blog se penche sur les éléments de l’écosystème abordés par l’OGC : interfaces, applications, encodages et opérations.
Pour commencer, nous ne pouvons vraiment pas parler de géospatial dans le cloud sans parler également du Web : c'est via les ressources Web que de nombreux utilisateurs interagissent avec les données et les fonctions hébergées dans le cloud. L'OGC et le World Wide Web Consortium (W3C) collaboré en 2017 pour publier le Bonnes pratiques en matière de données spatiales sur le Web comme un moyen d'illustrer comment rendre les informations géospatiales plus natives du Web. Le Web natif rend le cloud natif plus accessible. Il ne suffit pas de stocker des données dans le cloud dans des formats qui améliorent l'accès et les performances d'analyse : nous devons également développer des API pour découvrir, traiter et extraire des informations du cloud et guider les utilisateurs pour qu'ils puissent travailler sur des instances cloud hébergées par plusieurs fournisseurs. L'impact de la modernisation des normes centrées sur le Web dans l'OGC sur l'activation de l'écosystème cloud ne peut être surestimé.
Ces API incluent OGC API – Features, fondamentale pour accéder aux données de caractéristiques (vecteurs) ainsi que pour étayer la Spécification de l'API STAC, utilisé pour la découverte rapide de données de télédétection et d'autres données. Extension du paradigme du catalogue, API OGC – Enregistrements permet la découverte et l’accès à tous types de données géospatiales aussi détaillées que le niveau d’enregistrement. L’architecture de ces API permet aux développeurs d’implémenter « juste assez de géo » pour accéder aux données dont ils ont besoin sans devenir des experts en géospatiale.
De nombreuses personnes considèrent que le principal cas d'utilisation des fonctionnalités cloud natives est la gestion de cubes de données volumineux, qu'il s'agisse de piles d'images ou d'ensembles de données scientifiques multidimensionnelles. Mais ce n'est pas parce que vous pouvez stocker toutes vos données dans le cloud que vous souhaitez nécessairement les utiliser toutes en permanence. OGC API – Environmental Data Retrieval (EDR) permet un sous-ensemble complexe de cubes de données pour renvoyer (ou pointer vers) exactement ce qui est nécessaire.
Avez-vous besoin de fusionner des capteurs IoT avec vos énormes fonds de contenu ? Tirez parti de OGC SensorThings API Normes. Considérez que la combinaison de sources de données disparates et de capteurs dynamiques nécessite généralement un certain degré de traitement pour extraire des informations utiles, alors implémentez OGC API – Processes pour travailler entre et au sein de plusieurs ensembles de données et flux.
Le traitement se décline en de nombreux modèles, mais l'utilisation de l'intelligence artificielle est aujourd'hui très importante pour distiller de vastes quantités de données en informations utiles. Groupe de travail sur le domaine de l'intelligence artificielle en géoinformatique (GeoAI) s'attaque à certains cas d'utilisation et identifie des cibles d'interopérabilité et même de normalisation pour le flux et la qualité des informations. Par exemple, la caractérisation des données de formation et de validation utilisées dans GeoAI est désormais normalisée dans le Groupe de travail sur les normes du langage de balisage des données de formation pour l'IA. Dans le cadre de cet écosystème, le traitement et l’analyse hautement automatisés des données apportent des avantages extraordinaires à partir des données géospatiales natives du cloud.
Les formats sont également d'une importance cruciale. J'ai fait référence à quelques blogs de Chris Holmes au début de cet article, où il existe d'excellentes descriptions de plusieurs codages natifs du cloud largement utilisés (ou qui le seront bientôt). Comprenez que ce n'est pas seulement la structure de ces codages qui les rend « natifs du cloud », mais aussi le moyen par lequel les données sont accessibles (généralement natifs du Web, c'est-à-dire HTTP). Ainsi, de nombreux codages OGC-Standard, tels que GeoPackage, peut être natif du cloud. Ci-dessous, je mets en évidence plusieurs formats qui sont actuellement en cours de maturation dans OGC.
OGC normalisé GeoTIFF en 2019 et depuis lors, travaille à la normalisation du Cloud Optimized GeoTIFF (COG) pour la gestion des données raster. En commençant par le COG bibliothèque, l'OGC a travaillé à la documentation du format en tant que norme formelle et est sur le point d'achever ce travail. Un projet de spécification est disponible sous la forme OGC Testbed-17 : rapport d'ingénierie sur les spécifications GeoTIFF optimisées pour le cloud; le Standard ne sera pas trop loin derrière.
Il a été prouvé que des données multidimensionnelles plus complexes peuvent être efficacement codées dans le cloud à l'aide de zarr. Zarr est également dans le vote final pour l'approbation en tant que Norme communautaire OGCLe banc d'essai le plus récemment achevé par l'OGC a évalué l'adéquation de Zarr pour la gestion des cubes de données géospatiales dans le OGC Testbed 17 : Rapport d'ingénierie d'évaluation COG/Zarr et Zarr s'en est très bien sorti... tout comme COG.
Les données de caractéristiques (vecteurs) sont déjà traitées sur le cloud dans tous les types de bases de données qui s'appuient sur Fonctionnalités simples de l'OGC, la norme la plus largement implémentée par l'OGC, pour encoder la géométrie. Mais cette gestion est-elle vraiment cloud-native, notamment en ce qui concerne la diffusion des données aux utilisateurs ? D'autres encodages sont à l'étude. GéoParquet est actuellement en cours d'incubation dans l'OGC en tant que format vectoriel cloud natif prospectif. D'autres formats, tels que Géobulle plate sont également envisagées comme normes communautaires potentielles, pour rejoindre les normes existantes telles que Couches de scène 3D indexées et 3D Tiles, qui offrent tous deux des capacités cloud natives, notamment en matière de livraison de données.
Mettre tout cela en place dans le monde réel
Vous avez lu jusqu'ici et vous voyez tout un tas de références à des normes et spécifications individuelles qui traitent de parties spécifiques de l'écosystème géospatial natif du cloud. Mettre tout cela ensemble nécessite une application pratique de ces technologies, normes et spécifications de concert. Le fonctionnement de l'écosystème cloud nécessite la coordination de nombreuses disciplines et parfois de nouvelles conceptions d'architecture par rapport à notre utilisation passée de systèmes monolithiques (tels que les microservices et les systèmes hautement composables). C'est là que l'autre moitié de l'OGC est si essentielle. Programme d'innovation de l'OGC mène chaque année de nombreuses initiatives pour expérimenter ou piloter les capacités énumérées ci-dessus dans des scénarios réels et fournir de la documentation et des exemples qui peuvent être réutilisés pour de nombreux cas d'utilisation.
Une recherche de « cloud » dans le Dépôt de rapports d'ingénierie renvoie une référence à 20 documents, chacun mettant en évidence l'application pratique des fonctionnalités mises en évidence ci-dessus et plus encore. Ces documents peuvent être placés dans le contexte de l'écosystème cloud natif comme illustré ci-dessous.
Comme vous pouvez le constater, les initiatives du programme d'innovation ont abordé de nombreux aspects de l'écosystème du cloud, même s'ils ne sont que marginalement liés à la technologie de localisation. Ces rapports d'ingénierie font référence à encore plus de travaux pertinents et identifient des pratiques spécifiques qui sont transférables dans de nombreux cas d'utilisation. Je recommande également le récent Bonnes pratiques de l'OGC pour le package d'application d'observation de la Terre, qui détaille le packaging et le déploiement des plates-formes d'exploitation d'observation de la Terre, généralement dans un environnement cloud.
Développement et maturation
En résumé, j'ai abordé de nombreuses normes et ressources et il en existe bien d'autres au sein de l'OGC et de nos organisations partenaires. Chacun de ces efforts, littéralement CHACUN, nécessite un investissement considérable en temps et en ressources. Le dévouement des membres de l'OGC pour faire avancer ce travail est de plus en plus représenté dans l'écosystème du cloud. Le fait que tant de grands fournisseurs de services cloud (par exemple, AWS, Google, Microsoft, Oracle) sont membres de l'OGC, ce qui souligne la pertinence des efforts de l'OGC dans ce domaine.
Les normes sont en cours de maturation et nous disposons de conseils d'experts sur le déploiement et la gestion des fonctionnalités. Attendez-vous à voir des ressources dédiées aux développeurs et aux implémenteurs de l'OGC pour favoriser une utilisation cohérente du contenu géospatial dans les écosystèmes cloud. Nous continuerons à rechercher les meilleures pratiques, à publier des conseils et à identifier les fonctionnalités offertes par nos membres pour soutenir l'ensemble du secteur de la localisation.
