OGC, Khronos et les leaders géospatiaux ajoutent des splats gaussiens 3D à la norme d'actifs glTF

Les splats gaussiens 3D sont une technologie de représentation 3D innovante, en plein essor dans le domaine de la capture de la réalité. Contrairement aux géométries solides traditionnelles, les splats gaussiens 3D utilisent des champs de radiance pour représenter la complexité des environnements réels avec un niveau de détail photoréaliste sans précédent. Cette méthode sophistiquée capture des caractéristiques subtiles telles que des structures fines, des matériaux semi-transparents, des reflets et des textures complexes, auparavant difficiles à appréhender pour les techniques de capture 3D conventionnelles et les mécanismes de stockage popularisés dans les maillages photogrammétriques. Leur capacité unique à représenter un contenu spatial haute fidélité avec un rendu performant a suscité un vif intérêt au sein des communautés géospatiales, graphiques et de normalisation.

Reconnaissant le potentiel transformateur des éclaboussures gaussiennes 3D, des organisations de premier plan dans les domaines géospatial, graphique et des normes, notamment Consortium géospatial ouvert (OGC), Groupe Khronos®, Niantic Spatial, Césium (Bentley), ainsi Esri— se sont réunis pour intégrer les splats gaussiens géospatiaux 3D dans Khronos, largement adopté glTF™ Norme de format de ressources 3D. Cette initiative collaborative vise à créer un cadre standardisé et interopérable pour l'encodage et le partage de splats gaussiens 3D, garantissant une large interopérabilité et une mise en œuvre aisée sur toutes les plateformes et applications.

SPZ et glTF : efficacité, simplicité et flexibilité

Au cœur de cette initiative se trouve l’adoption de la Format SPZ, un format de fichier open source fourni par Niantic Spatial sous licence MIT, qui compresse les éclaboussures gaussiennes 3D jusqu'à 90 % par rapport au PLY, tout en préservant la fidélité visuelle et les performances. La simplicité et l'efficacité du SPZ en font un format idéal pour une adoption généralisée, car il offre un équilibre parfait entre performances de calcul et visualisation de haute qualité. 

La combinaison des atouts de SPZ avec la structure flexible de glTF permettra une mise en œuvre interopérable et simple qui permet une extensibilité future via l'inclusion potentielle de champs de données supplémentaires pour répondre aux diverses exigences des utilisateurs et aux flux de travail personnalisés. 

Nouvelles extensions glTF pour l'éclaboussure gaussienne en développement

Le groupe de travail Khronos 3D Formats développe actuellement deux nouvelles extensions, visant à standardiser la diffusion de Splats gaussiens dans les ressources glTF :

• KHR_gaussian_splatting, qui définit la structure de stockage des éclaboussures gaussiennes 3D dans glTF, les traitant comme des primitives ponctuelles avec des attributs tels que la position, la rotation, l'échelle, la transparence et les harmoniques sphériques (prenant en charge les composantes diffuses et spéculaires). Cette structure permet également un retour élégant au rendu en nuage de points clairsemé. 
• KHR_gaussian_splatting_compression_spz, qui permet un stockage et une diffusion efficaces grâce au format SPZ. Les blobs SPZ sont stockés sous forme de tampons dans les primitives glTF et peuvent être décompressés en attributs ou transmis directement aux pipelines de rendu. Il prend en charge un codage flexible des harmoniques sphériques, allant de zéro à trois degrés, en fonction des besoins du contenu.

Ces extensions sont tournées vers l'avenir et visent à servir de base à la prise en charge à long terme du rendu spatial 3D gaussien dans glTF. Elles visent à fournir une couche de base extensible et performante pour un rendu spatial haute fidélité, avec la possibilité d'évoluer vers des fonctionnalités plus complexes à mesure que la technologie mûrit.

Pour valider l'approche, le groupe collaboratif a mené des évaluations exhaustives sur divers jeux de données géospatiales. Un défi récurrent est apparu dans les scénarios impliquant des éléments longs et linéaires courants dans les contextes géospatiaux – tels que les antennes, les clôtures, les lignes électriques et les voies ferrées – qui présentaient des artefacts visuels inadaptés à une visualisation et une analyse précises. Capturer ces éclaboussures allongées sans augmenter significativement la taille de la charge utile s'est avéré difficile.  

Pour remédier à cela, le groupe a introduit une amélioration minimale mais essentielle précision de rotation au format SPZ. qui a récemment été publié sous le nom Version 2.0.0 de la bibliothèque SPZ. Grâce à cette modification, les rotations dans SPZ sont désormais codées à l'aide des trois plus petites composantes d'un quaternion normalisé, chacune stockée sous forme d'entier signé de 10 bits. La plus grande composante est dérivée et son index est stocké sur 2 bits, optimisant ainsi la précision. En revanche, les versions précédentes de SPZ utilisaient le format fixe. (X y Z) composants du quaternion, en omettant également les dérivés w composant, mais avec un codage moins précis.

Les évaluations de suivi ont démontré des améliorations substantielles de la qualité des données, renforçant ainsi le caractère pratique et l’adaptabilité de la solution pour les applications géospatiales du monde réel.

S'IMPLIQUER

À mesure que ce travail évolue, nous accueillons avec intérêt les commentaires et contributions de la communauté au sens large afin de contribuer à l'élaboration des nouvelles extensions glTF proposées. Que vous soyez chercheur, développeur, contributeur aux normes ou praticien 3D, vos contributions sont essentielles à l'élaboration d'une spécification robuste répondant aux besoins réels. Tous sont les bienvenus. devenir membre du groupe Khronos et jouer un rôle direct dans le développement des extensions en participant à la Groupe de travail sur les formats Khronos 3D. Vous pouvez également contribuer en participant à des discussions sur Normes OGC, et une collaboration ouverte sur GitHub :

• OGC 3D Tiles GitHub
• KHR_gaussian_splatting et KHR_spz_gaussian_splats_compression Github PR

À propos Khronos

Le groupe Khronos est un consortium ouvert, à but non lucratif et dirigé par ses membres, composé de plus de 150 entreprises leaders du secteur qui créent des normes d'interopérabilité libres de droits pour les graphiques 3D, la réalité augmentée et virtuelle, le calcul parallèle, le traitement de la vision et l'apprentissage automatique. Les activités de Khronos comprennent 3D Commerce™, ANARI™, glTF™, NNEF™, OpenCL™, OpenGL®, OpenGL® ES, OpenVG™, OpenVX™, OpenXR™, SPIR-V™, SYCL™, Vulkan® et WebGL™. Les membres de Khronos pilotent le développement et l'évolution des spécifications Khronos et sont en mesure d'accélérer la livraison de plates-formes et d'applications de pointe grâce à un accès anticipé aux projets de spécifications et aux tests de conformité.

À propos du Open Geospatial Consortium ((OGC)

L'Open Geospatial Consortium (OGC) est une communauté mondiale et intersectorielle regroupant plus de 500 organisations qui œuvrent pour la promotion des normes ouvertes et de l'innovation dans le domaine des technologies géospatiales. Depuis plus de 30 ans, l'OGC fédère l'industrie, les gouvernements, le monde universitaire et la recherche afin de relever des défis complexes grâce à l'interopérabilité, la collaboration et les tests en conditions réelles. De la résilience climatique à la gestion des catastrophes, en passant par les villes intelligentes, les jumeaux numériques, les systèmes autonomes et la visualisation 3D avancée, les normes et les initiatives d'innovation de l'OGC permettent un partage et une utilisation fluides des informations géospatiales sur différentes plateformes et dans différents domaines. En connectant des expertises et des technologies diverses, l'OGC aide les organisations à prendre de meilleures décisions, à améliorer la qualité de vie et à bâtir un avenir plus résilient et durable. Apprendre encore plus

À propos Esri

Esri, membre influent de l'OGC et leader mondial des solutions géospatiales depuis plus de cinq décennies, bénéficie d'une expertise approfondie dans la résolution de défis géospatiaux complexes. Forte d'une solide expertise, Esri continue d'innover pour faciliter l'accès à des ensembles de données géospatiales massifs sur diverses plateformes, notamment les navigateurs web, les appareils mobiles et les applications de bureau. Cette avancée collaborative souligne l'engagement durable d'Esri à améliorer l'interopérabilité et l'accessibilité géospatiales, établissant ainsi de nouvelles références en matière de représentation et d'utilisation des données géospatiales.

À propos Bentley Systems (Césium)

Cesium est la plateforme de géospatiale 3D. Nous avons créé 3D Tiles, la norme communautaire OGC pour le streaming de données géospatiales 3D massives. Les créateurs utilisent Cesium pour créer à grande échelle avec des données réelles, dans tous les secteurs, notamment l'AEC, l'aérospatiale, la défense, l'environnement, les télécommunications, et bien d'autres. Bentley Systems a acquis Cesium en septembre 2024. Fondée en 1984 par des ingénieurs pour des ingénieurs, Bentley est le partenaire de choix des sociétés d'ingénierie et des propriétaires-exploitants du monde entier, avec des logiciels couvrant toutes les disciplines d'ingénierie, tous les secteurs d'activité et toutes les phases du cycle de vie des infrastructures.

À propos Niantic Spatial

Niantic Spatial est un pionnier de l'IA géospatiale, développant une technologie permettant aux humains et aux machines de percevoir et de comprendre les espaces physiques de manière totalement inédite. Notre technologie de base repose sur une carte numérique de troisième génération, et le système de positionnement visuel (VPS) offre une précision centimétrique pour la localisation en conditions réelles. Nous développons actuellement un grand modèle géospatial (LGM) pour offrir une compréhension sémantiquement riche et spatialement ancrée des lieux réels.

Marques enregistrées:

Khronos® et Vulkan® sont des marques déposées, et ANARI™, WebGL™, glTF™, KTX™, NNEF™, OpenVX™, SPIR™, SPIR-V™, SYCL™, OpenVG™, Karamos™ et 3D Commerce™ sont des marques commerciales de The Khronos Group Inc. OpenXR™ est une marque déposée appartenant à The Khronos Group Inc. en Chine, dans l'Union européenne, au Japon et au Royaume-Uni. OpenCL™ est une marque commerciale d'Apple Inc. et OpenGL® est une marque déposée, tandis que les logos OpenGL ES™ et OpenGL SC™ sont des marques commerciales de Hewlett Packard Enterprise utilisées sous licence par Khronos. Tous les autres noms de produits, marques commerciales et/ou noms de sociétés sont utilisés uniquement à des fins d'identification et appartiennent à leurs propriétaires respectifs.