By Tamrat Belayneh (Tecnologo capo, Esri), Konrad Wenzel (Direttore, Esri R&D Center Stuttgart GmbH), Amanda Morgan (Direttore senior, standard aperti, Bentley Systems/Cesium), Adam Morris (Ingegnere capo, Piattaforma Cesio, Bentley Systems/Cesio), Azad Balabanese (Responsabile prodotti senior Niantic Spatial, Inc)
Gli Splat gaussiani 3D sono un'innovativa tecnologia di rappresentazione 3D che sta emergendo nel campo della cattura della realtà. A differenza delle geometrie solide tradizionali, gli Splat gaussiani 3D utilizzano campi di radianza per rappresentare la complessità degli ambienti reali con un livello di dettaglio fotorealistico senza precedenti. Questo metodo sofisticato cattura caratteristiche sottili come strutture sottili, materiali semitrasparenti, riflessi e texture complesse, aspetti che in precedenza rappresentavano una sfida per le tecniche di cattura 3D convenzionali e i meccanismi di archiviazione diffusi nelle mesh fotogrammetriche. La loro capacità unica di rappresentare contenuti spaziali ad alta fedeltà con un rendering efficiente ha suscitato un ampio interesse nelle comunità geospaziale, grafica e degli standard.
Riconoscendo il potenziale trasformativo degli Splat Gaussiani 3D, importanti organizzazioni nei settori geospaziale, grafico e degli standard, tra cui Open Geospatial Consortium (OGC) , Khronos Group® , Niantic Spatial , Cesium (Bentley) ed Esri , si sono unite per integrare gli Splat Gaussiani Geospaziali 3D nello standard glTF™ di Khronos, ampiamente adottato per la creazione di risorse 3D. Questa iniziativa collaborativa mira a creare un framework standardizzato e interoperabile per la codifica e la condivisione degli Splat Gaussiani 3D, garantendo un'ampia interoperabilità e una facile implementazione su diverse piattaforme e applicazioni.
SPZ e glTF: efficienza, semplicità e flessibilità
Elemento centrale di questa iniziativa è l'adozione del formato SPZ , un formato di file open-source fornito da Niantic Spatial con licenza MIT, che comprime le mappe gaussiane 3D fino al 90% rispetto a PLY, preservando al contempo la fedeltà visiva e le prestazioni. La semplicità e l'efficienza di SPZ lo rendono ideale per un'ampia diffusione, in quanto raggiunge un equilibrio tra prestazioni computazionali e visualizzazione di alta qualità.
Combinando i punti di forza di SPZ con la struttura flessibile di glTF sarà possibile ottenere un'implementazione interoperabile e semplice che consentirà un'estendibilità futura tramite la potenziale inclusione di campi dati aggiuntivi per soddisfare diversi requisiti degli utenti e flussi di lavoro personalizzati.
Nuove estensioni glTF di Gaussian Splatting in fase di sviluppo
Il gruppo di lavoro Khronos 3D Formats sta sviluppando due nuove estensioni, volte a standardizzare la distribuzione di Gaussian Splats all'interno delle risorse glTF:
- KHR_splatting_gaussiano, che definisce la struttura per l'archiviazione di splat gaussiani 3D in glTF, trattandoli come primitive di punti con attributi quali posizione, rotazione, scala, trasparenza e armoniche sferiche (supportando sia componenti diffuse che speculari). Questa struttura consente anche un fallback graduale al rendering di nuvole di punti sparse.
- KHR_gaussian_splatting_compression_spz, che consente un'archiviazione e uno streaming efficienti utilizzando il formato SPZ. I blob SPZ vengono memorizzati come buffer all'interno di primitive glTF e possono essere decompressi in attributi o passati direttamente alle pipeline di rendering. Supporta la codifica flessibile delle armoniche sferiche, da zero a tre gradi, in base alle esigenze del contenuto.
Queste estensioni sono lungimiranti e intendono fungere da percorso fondamentale per il supporto a lungo termine dello splatting gaussiano 3D in glTF. Mirano a fornire un livello di base estensibile e performante per il rendering spaziale ad alta fedeltà, con spazio per l'espansione verso funzionalità più complesse man mano che la tecnologia matura.
Per convalidare l'approccio, il gruppo collaborativo ha condotto valutazioni approfondite su una varietà di set di dati geospaziali. Una sfida ricorrente è emersa negli scenari che coinvolgono elementi lineari e lunghi, comuni nei contesti geospaziali, come antenne, recinzioni, linee elettriche e binari ferroviari, che presentavano artefatti visivi inadatti a una visualizzazione e un'analisi accurate. Catturare queste macchie allungate senza aumentare significativamente le dimensioni del carico utile si è rivelato difficile.
Per ovviare a questo problema, il gruppo ha introdotto un miglioramento minimo ma fondamentale per la precisione rotazionale nel formato SPZ, recentemente rilasciato come versione 2.0.0 della libreria SPZ. Con questa modifica, le rotazioni in SPZ vengono ora codificate utilizzando le tre componenti più piccole di un quaternione normalizzato, ciascuna memorizzata come un intero con segno a 10 bit, mentre la componente più grande viene derivata e il suo indice memorizzato utilizzando 2 bit, ottimizzando così la precisione. Al contrario, le versioni precedenti di SPZ utilizzavano le componenti fisse (x, y, z) del quaternione, omettendo anche la componente w derivata , ma con una codifica meno precisa.
Le valutazioni successive hanno dimostrato miglioramenti sostanziali nella qualità dei dati, rafforzando la praticità e l'adattabilità della soluzione per applicazioni geospaziali reali.
Come sostenerci
Man mano che questo lavoro si evolve, accogliamo con favore feedback e contributi dalla comunità più ampia per contribuire a plasmare le nuove estensioni glTF proposte. Che siate ricercatori, sviluppatori, contributori agli standard o professionisti del 3D, le vostre intuizioni sono essenziali per costruire una specifica solida che risponda alle esigenze del mondo reale. Tutti sono invitati a diventare membri del Khronos Group e a svolgere un ruolo diretto nello sviluppo delle estensioni partecipando al Khronos 3D Formats Working Group. Potete anche contribuire partecipando alle discussioni sugli standard OGC e collaborando apertamente su GitHub:
Chi siamo Khronos
Il Khronos Group è un consorzio aperto, senza scopo di lucro e guidato dai suoi membri, composto da oltre 150 aziende leader del settore che creano standard di interoperabilità esenti da royalty per la grafica 3D, la realtà aumentata e virtuale, il calcolo parallelo, l'elaborazione della visione e l'apprendimento automatico. Le attività di Khronos includono 3D Commerce™, ANARI™, glTF™, NNEF™, OpenCL™, OpenGL®, OpenGL® ES, OpenVG™, OpenVX™, OpenXR™, SPIR-V™, SYCL™, Vulkan® e WebGL™. I membri di Khronos guidano lo sviluppo e l'evoluzione delle specifiche Khronos e sono in grado di accelerare la distribuzione di piattaforme e applicazioni all'avanguardia attraverso l'accesso anticipato alle bozze delle specifiche e ai test di conformità.
Informazioni sul Open Geospatial Consortium ((OGC)
L'Open Geospatial Consortium (OGC) è una comunità globale e intersettoriale di oltre 500 organizzazioni che lavorano per promuovere standard aperti e innovazione nella tecnologia geospaziale. Da oltre 30 anni, l'OGC unisce industria, governo, università e ricerca per risolvere sfide complesse attraverso l'interoperabilità, la collaborazione e la sperimentazione sul campo. Dalla resilienza climatica e la risposta alle catastrofi alle città intelligenti, ai gemelli digitali, ai sistemi autonomi e alla visualizzazione 3D avanzata, gli standard e le iniziative di innovazione dell'OGC consentono la condivisione e l'utilizzo senza soluzione di continuità delle informazioni geospaziali tra piattaforme e ambiti diversi. Collegando competenze e tecnologie eterogenee, l'OGC aiuta le organizzazioni a prendere decisioni migliori, a migliorare la qualità della vita e a creare un futuro più resiliente e sostenibile. Scopri di più
Informazioni su Esri
Esri, membro autorevole dell'OGC e leader globale nelle soluzioni geospaziali da oltre cinquant'anni, vanta una vasta esperienza nell'affrontare complesse sfide geospaziali. Grazie alla sua esperienza nell'affrontare sfide geospaziali complesse, Esri continua a promuovere l'innovazione volta a facilitare l'accesso senza interruzioni a enormi set di dati geospaziali su diverse piattaforme, tra cui browser web, dispositivi mobili e applicazioni desktop. Questo progresso collaborativo sottolinea ulteriormente il costante impegno di Esri nel migliorare l'interoperabilità e l'accessibilità geospaziale, stabilendo nuovi standard nella rappresentazione e nell'utilizzo dei dati geospaziali.
Chi siamo Bentley Systems (Cesio)
Cesium è la piattaforma per la geospazialità 3D. Abbiamo creato 3D Tiles, lo standard della community OGC per lo streaming di enormi quantità di dati geospaziali 3D. I creatori utilizzano Cesium per creare con dati reali su larga scala, in diversi settori, tra cui AEC, aerospaziale, difesa, ambiente, telecomunicazioni e altro ancora. Bentley Systems ha acquisito Cesium nel settembre 2024. Fondata nel 1984 da ingegneri per ingegneri, Bentley è il partner di riferimento per studi di ingegneria e proprietari-operatori in tutto il mondo, con software che abbraccia discipline ingegneristiche, settori industriali e tutte le fasi del ciclo di vita delle infrastrutture.
Chi siamo Niantic Spatial
Niantic Spatial è un'azienda pioniera nell'intelligenza artificiale geospaziale, che sviluppa tecnologie che consentono sia alle persone che alle macchine di percepire e comprendere gli spazi fisici in modi completamente nuovi. La nostra tecnologia di base si basa su una mappa digitale di terza generazione e il Visual Positioning System (VPS) offre una precisione centimetrica nella localizzazione nel mondo reale. Stiamo sviluppando un Large Geospatial Model (LGM) per fornire una comprensione semanticamente ricca e spazialmente fondata dei luoghi del mondo reale.
Marchi registrati :
Khronos® e Vulkan® sono marchi registrati, e ANARI™, WebGL™, glTF™, KTX™, NNEF™, OpenVX™, SPIR™, SPIR-V™, SYCL™, OpenVG™, Karamos™ e 3D Commerce™ sono marchi di The Khronos Group Inc. OpenXR™ è un marchio di proprietà di The Khronos Group Inc. ed è registrato come marchio in Cina, Unione Europea, Giappone e Regno Unito. OpenCL™ è un marchio di Apple Inc. e OpenGL® è un marchio registrato; i loghi OpenGL ES™ e OpenGL SC™ sono marchi di Hewlett Packard Enterprise utilizzati su licenza da Khronos. Tutti gli altri nomi di prodotti, marchi e/o nomi aziendali sono utilizzati esclusivamente a scopo identificativo e appartengono ai rispettivi proprietari.
