By Tamrat Belayneh (Hoofdtechnicus, Esri), Konrad Wenzel (directeur, Esri R&D Center Stuttgart GmbH), Amanda Morgan (Senior Directeur, Open Standaarden, Bentley Systems/Cesium), Adam Morris (Hoofdingenieur, Platform Cesium, Bentley Systems/Cesium), Azad Balabanian (Senior Productmanager Niantic Spatial, Inc)
3D Gaussian Splats zijn een innovatieve 3D-representatietechnologie die zich ontwikkelt in het domein van realiteitsregistratie. In tegenstelling tot traditionele vaste geometrieën maken 3D Gaussian Splats gebruik van stralingsvelden om de complexiteit van realistische omgevingen met ongekende fotorealistische details weer te geven. Deze geavanceerde methode legt subtiele kenmerken vast, zoals dunne structuren, semi-transparante materialen, reflecties en complexe texturen – voorheen uitdagende aspecten voor conventionele 3D-registratietechnieken en opslagmechanismen die populair zijn geworden in fotogrammetrische meshes. Hun unieke vermogen om ruimtelijke content met hoge getrouwheid weer te geven met efficiënte rendering heeft brede interesse gewekt in de geospatial, grafische en standaardisatiegemeenschap.
Toonaangevende organisaties in de geospatiale, grafische en standaardiseringssector – waaronder het Open Geospatial Consortium (OGC) , Khronos Group® , Niantic Spatial , Cesium (Bentley) en Esri – erkennen het transformatieve potentieel van 3D Gaussian Splats en hebben de handen ineengeslagen om 3D Geospatial Gaussian Splats te integreren in de door Khronos breed geaccepteerde glTF™ 3D-assetstandaard. Dit gezamenlijke initiatief heeft als doel een gestandaardiseerd, interoperabel raamwerk te creëren voor het coderen en delen van 3D Gaussian Splats, waardoor brede interoperabiliteit en eenvoudige implementatie op verschillende platforms en applicaties worden gewaarborgd.
SPZ en glTF: efficiëntie, eenvoud en flexibiliteit
Centraal in dit initiatief staat de adoptie van het SPZ-formaat , een open-source bestandsformaat van Niantic Spatial onder de MIT-licentie. Dit formaat comprimeert 3D Gaussische splats tot wel 90% ten opzichte van PLY, terwijl de visuele kwaliteit en prestaties behouden blijven. De eenvoud en efficiëntie van SPZ maken het bij uitstek geschikt voor wijdverspreide toepassing, omdat het een goede balans biedt tussen rekenkracht en hoogwaardige visualisatie.
Door de sterke punten van SPZ te combineren met de flexibele structuur van glTF, ontstaat een interoperabele en eenvoudige implementatie die in de toekomst kan worden uitgebreid via de mogelijke toevoeging van extra gegevensvelden om te kunnen voldoen aan uiteenlopende gebruikersvereisten en aangepaste workflows.
Nieuwe Gaussian Splatting glTF-extensies in ontwikkeling
De Khronos 3D Formats Working Group ontwikkelt momenteel twee nieuwe extensies, gericht op het standaardiseren van de levering van Gaussian Splats binnen glTF-assets:
- KHR_gaussiaanse_splatting, die de structuur definieert voor het opslaan van 3D Gaussische splats in glTF, en deze behandelt als puntprimitieven met kenmerken zoals positie, rotatie, schaal, transparantie en sferische harmonischen (met ondersteuning voor zowel diffuse als spiegelende componenten). Deze structuur maakt ook een soepele terugval naar spaarzame puntwolkrendering mogelijk.
- KHR_gaussiaanse_splatting_compressie_spz, wat efficiënte opslag en streaming mogelijk maakt met behulp van het SPZ-formaat. SPZ-blobs worden opgeslagen als buffers in glTF-primitieven en kunnen worden gedecomprimeerd tot attributen of direct worden doorgegeven aan renderingpipelines. Het ondersteunt flexibele codering van sferische harmonischen – variërend van nul tot drie graden – op basis van de contentbehoeften.
Deze uitbreidingen zijn toekomstgericht en bedoeld als basis voor de langetermijnondersteuning van 3D Gaussian splatting in glTF. Ze beogen een uitbreidbare, performante basislaag te bieden voor high-fidelity ruimtelijke rendering, met ruimte voor uitbreiding naar complexere mogelijkheden naarmate de technologie zich verder ontwikkelt.
Om de aanpak te valideren, voerde de samenwerkingsgroep uitgebreide evaluaties uit van diverse geospatiale datasets. Een terugkerende uitdaging deed zich voor in scenario's met lange, lineaire objecten die veel voorkomen in geospatiale contexten – zoals antennes, hekken, elektriciteitsleidingen en spoorrails – die visuele artefacten vertoonden die ongeschikt waren voor nauwkeurige visualisatie en analyse. Het vastleggen van deze langgerekte splats zonder de omvang van de lading significant te vergroten, bleek lastig.
Om dit probleem aan te pakken, introduceerde de groep een minimale maar cruciale verbetering van de rotatienauwkeurigheid in het SPZ-formaat, die onlangs is uitgebracht als versie 2.0.0 van de SPZ-bibliotheek. Met deze wijziging worden rotaties in SPZ nu gecodeerd met behulp van de drie kleinste componenten van een genormaliseerde quaternion, die elk worden opgeslagen als een 10-bits integer met teken, terwijl de grootste component wordt afgeleid en de index ervan wordt opgeslagen met behulp van 2 bits – wat de nauwkeurigheid optimaliseert. In tegenstelling hiermee gebruikten eerdere versies van SPZ de vaste (x, y, z) componenten van de quaternion, waarbij ook de afgeleide w- component werd weggelaten, maar met een minder precieze codering.
Uit vervolgbeoordelingen bleek dat de datakwaliteit aanzienlijk was verbeterd, wat de bruikbaarheid en aanpasbaarheid van de oplossing voor echte georuimtelijke toepassingen bevestigde.
Doe mee
Naarmate dit werk zich ontwikkelt, verwelkomen we actief feedback en bijdragen van de bredere gemeenschap om de nieuw voorgestelde glTF-extensies vorm te geven. Of u nu onderzoeker, ontwikkelaar, standaardbijdrager of 3D-expert bent, uw inzichten zijn essentieel voor het bouwen van een robuuste specificatie die aansluit op de behoeften van de praktijk. Iedereen is welkom om lid te worden van de Khronos Group en een directe rol te spelen in de ontwikkeling van extensies door deel te nemen aan de Khronos 3D Formats Working Group. U kunt ook bijdragen door deel te nemen aan discussies over OGC-standaarden en open samenwerking op GitHub:
Over ons Khronos
De Khronos Group is een open, non-profit, door leden aangestuurd consortium van meer dan 150 toonaangevende bedrijven die royaltyvrije interoperabiliteitsstandaarden ontwikkelen voor 3D-graphics, augmented en virtual reality, parallelle berekeningen, beeldverwerking en machine learning. De activiteiten van Khronos omvatten 3D Commerce™, ANARI™, glTF™, NNEF™, OpenCL™, OpenGL®, OpenGL® ES, OpenVG™, OpenVX™, OpenXR™, SPIR-V™, SYCL™, Vulkan® en WebGL™. Leden van Khronos stimuleren de ontwikkeling en evolutie van Khronos-specificaties en kunnen de levering van geavanceerde platforms en applicaties versnellen door vroege toegang tot specificatieontwerpen en conformiteitstests.
Over de Open Geospatial Consortium ((OGC)
Het Open Geospatial Consortium (OGC) is een wereldwijde, sectoroverschrijdende gemeenschap van meer dan 500 organisaties die zich inzetten voor open standaarden en innovatie in geospatiale technologie. Al meer dan 30 jaar verenigt OGC het bedrijfsleven, de overheid, de academische wereld en onderzoekers om complexe uitdagingen op te lossen door middel van interoperabiliteit, samenwerking en praktijktesten. Van klimaatbestendigheid en rampenbestrijding tot slimme steden, digitale tweelingen, autonome systemen en geavanceerde 3D-visualisatie: de standaarden en innovatie-initiatieven van OGC maken het naadloos delen en gebruiken van geospatiale informatie mogelijk over verschillende platforms en domeinen. Door diverse expertise en technologieën met elkaar te verbinden, helpt OGC organisaties betere beslissingen te nemen, de levenskwaliteit te verbeteren en een veerkrachtigere, duurzamere toekomst te creëren. Lees meer
Over Esri
Esri is al meer dan vijf decennia een invloedrijk lid van de OGC en een wereldleider in geospatiale oplossingen. Met uitgebreide expertise in het aanpakken van complexe geospatiale uitdagingen blijft Esri innovatie stimuleren om naadloze toegang tot enorme geospatiale datasets op diverse platforms te faciliteren, waaronder webbrowsers, mobiele apparaten en desktopapplicaties. Deze gezamenlijke ontwikkeling onderstreept Esri's blijvende toewijding aan het verbeteren van geospatiale interoperabiliteit en toegankelijkheid en zet nieuwe maatstaven in de representatie en het gebruik van geospatiale data.
Over ons Bentley Systems (Cesium)
Cesium is het platform voor 3D-geospatiale data. Wij hebben 3D Tiles, de OGC-communitystandaard voor het streamen van enorme hoeveelheden 3D-geospatiale data. Ontwikkelaars gebruiken Cesium om op grote schaal te bouwen met echte data, in verschillende sectoren, waaronder bouwkunde, lucht- en ruimtevaart, defensie, milieu, telecommunicatie en meer. Bentley Systems nam Cesium over in september 2024. Bentley, opgericht in 1984 door ingenieurs voor ingenieurs, is de partner bij uitstek voor ingenieursbureaus en eigenaren-exploitanten wereldwijd, met software die technische disciplines, industriële sectoren en alle fasen van de infrastructuurlevenscyclus bestrijkt.
Over ons Niantic Spatial
Niantic Spatial is een pionier op het gebied van geospatiale AI en ontwikkelt technologie waarmee zowel mensen als machines fysieke ruimtes op geheel nieuwe manieren kunnen waarnemen en begrijpen. Onze kerntechnologie is gebaseerd op een digitale kaart van de derde generatie, en het Visual Positioning System (VPS) levert tot op de centimeter nauwkeurige lokalisatie in de echte wereld. We ontwikkelen een Large Geospatial Model (LGM) om een semantisch rijk, ruimtelijk onderbouwd inzicht te bieden in locaties in de echte wereld.
Geregistreerde handelsmerken :
Khronos® en Vulkan® zijn geregistreerde handelsmerken en ANARI™, WebGL™, glTF™, KTX™, NNEF™, OpenVX™, SPIR™, SPIR-V™, SYCL™, OpenVG™, Karamos™ en 3D Commerce™ zijn handelsmerken van The Khronos Group Inc. OpenXR™ is een handelsmerk van The Khronos Group Inc. en is geregistreerd als handelsmerk in China, de Europese Unie, Japan en het Verenigd Koninkrijk. OpenCL™ is een handelsmerk van Apple Inc. en OpenGL® is een geregistreerd handelsmerk en de OpenGL ES™ en OpenGL SC™ logo's zijn handelsmerken van Hewlett Packard Enterprise en worden onder licentie gebruikt door Khronos. Alle andere productnamen, handelsmerken en/of bedrijfsnamen worden uitsluitend gebruikt ter identificatie en zijn eigendom van hun respectievelijke eigenaren.
