OGC, Khronos und führende Geodatenexperten fügen dem glTF-Asset-Standard 3D-Gauß-Splats hinzu

3D-Gaussian-Splats sind eine innovative 3D-Darstellungstechnologie im Bereich der Realitätserfassung. Im Gegensatz zu herkömmlichen Festkörpergeometrien nutzen 3D-Gaussian-Splats Strahlungsfelder, um die Komplexität realer Umgebungen mit beispielloser fotorealistischer Detailgenauigkeit darzustellen. Diese ausgeklügelte Methode erfasst subtile Merkmale wie dünne Strukturen, halbtransparente Materialien, Reflexionen und komplexe Texturen – Aspekte, die für herkömmliche 3D-Erfassungstechniken und Speichermechanismen, wie sie in photogrammetrischen Netzen verwendet werden, bisher eine Herausforderung darstellten. Ihre einzigartige Fähigkeit, räumliche Inhalte mit hoher Genauigkeit und effizientem Rendering darzustellen, hat in der Geodaten-, Grafik- und Standardisierungs-Community großes Interesse geweckt.

Führende Organisationen aus den Bereichen Geodaten, Grafik und Standards – darunter Offenes Geospatial-Konsortium (OGC), Khronos Group®, Niantic Spatial, Cäsium (Bentley) und Esri– haben sich zusammengeschlossen, um 3D Geospatial Gaussian Splats in Khronos‘ weit verbreitete glTF™ Standard für 3D-Asset-Formate. Diese kollaborative Initiative zielt darauf ab, ein standardisiertes, interoperables Framework für die Kodierung und Freigabe von 3D-Gaussian Splats zu erstellen und so eine breite Interoperabilität und einfache Implementierung über Plattformen und Anwendungen hinweg sicherzustellen.

SPZ und glTF: Effizienz, Einfachheit und Flexibilität

Im Mittelpunkt dieser Initiative steht die Annahme des SPZ-Format, ein Open-Source-Dateiformat von Niantic Spatial unter der MIT-Lizenz, das 3D-Gauß-Splats im Vergleich zu PLY um bis zu 90 % komprimiert und dabei die visuelle Wiedergabetreue und Leistung beibehält. Die Einfachheit und Effizienz von SPZ machen es ideal für eine breite Einführung, da es ein Gleichgewicht zwischen Rechenleistung und hochwertiger Visualisierung herstellt. 

Durch die Kombination der Stärken von SPZ mit der flexiblen Struktur von glTF wird eine interoperable und unkomplizierte Implementierung ermöglicht, die eine zukünftige Erweiterbarkeit durch die potenzielle Einbeziehung zusätzlicher Datenfelder ermöglicht, um unterschiedlichen Benutzeranforderungen und benutzerdefinierten Arbeitsabläufen gerecht zu werden. 

Neue Gaussian Splatting glTF-Erweiterungen in Entwicklung

Die Khronos 3D Formats Working Group entwickelt derzeit zwei neue Erweiterungen, die darauf abzielen, die Bereitstellung von Gaussian Splats innerhalb von glTF-Assets zu standardisieren:

• KHR_gaussian_splatting, das die Struktur zum Speichern von 3D-Gauß-Splats in glTF definiert und diese als Punktprimitive mit Attributen wie Position, Rotation, Skalierung, Transparenz und Kugelflächenfunktionen behandelt (unterstützt sowohl diffuse als auch spiegelnde Komponenten). Diese Struktur ermöglicht auch einen reibungslosen Fallback auf die Darstellung spärlicher Punktwolken. 
• KHR_gaussian_splatting_compression_spz, das effiziente Speicherung und Streaming im SPZ-Format ermöglicht. SPZ-Blobs werden als Puffer in glTF-Primitiven gespeichert und können in Attribute dekomprimiert oder direkt an Rendering-Pipelines übergeben werden. Es unterstützt die flexible Kodierung von Kugelflächenfunktionen – von null bis drei Grad – je nach Inhaltsanforderungen.

Diese Erweiterungen sind zukunftsweisend und sollen als Grundlage für die langfristige Unterstützung des 3D-Gauß-Splattings in glTF dienen. Sie zielen darauf ab, eine erweiterbare, leistungsstarke Basisschicht für hochpräzises räumliches Rendering bereitzustellen, die mit fortschreitender Technologie die Möglichkeit bietet, komplexere Funktionen zu entwickeln.

Um den Ansatz zu validieren, führte die Gruppe umfassende Auswertungen verschiedener Geodatensätze durch. Eine wiederkehrende Herausforderung ergab sich in Szenarien mit langen, linearen Merkmalen, die in Geodatenkontexten häufig vorkommen – wie Antennen, Zäune, Stromleitungen und Gleise –, die visuelle Artefakte aufwiesen, die für eine genaue Visualisierung und Analyse ungeeignet waren. Die Erfassung dieser länglichen „Splats“ ohne signifikante Vergrößerung der Nutzlast erwies sich als schwierig.  

Um dieses Problem zu lösen, führte die Gruppe eine minimale, aber entscheidende Verbesserung ein: Rotationsgenauigkeit im SPZ-Format. Das kürzlich veröffentlichte Version 2.0.0 der SPZ-Bibliothek. Mit dieser Änderung werden Rotationen in SPZ nun mit den drei kleinsten Komponenten eines normalisierten Quaternions kodiert, die jeweils als 10-Bit-Integer mit Vorzeichen gespeichert werden, während die größte Komponente abgeleitet und ihr Index mit 2 Bit gespeichert wird – zur Optimierung der Genauigkeit. Im Gegensatz dazu verwendeten frühere Versionen von SPZ die feste (x, y, z) Komponenten des Quaternions, wobei auch die abgeleiteten w Komponente, jedoch mit weniger präziser Kodierung.

Nachfolgende Auswertungen zeigten erhebliche Verbesserungen der Datenqualität und untermauerten die Praktikabilität und Anpassungsfähigkeit der Lösung für reale Geodatenanwendungen.

Beteiligen

Im Zuge der Weiterentwicklung dieser Arbeit freuen wir uns über Feedback und Beiträge aus der Community, um die neuen glTF-Erweiterungen mitzugestalten. Ob Forscher, Entwickler, Standardgeber oder 3D-Praktiker – Ihre Erkenntnisse sind entscheidend für die Entwicklung einer robusten Spezifikation, die den Anforderungen der Praxis gerecht wird. Alle sind herzlich eingeladen, Werden Sie Mitglied der Khronos Group und nehmen Sie direkt an der Entwicklung von Erweiterungen teil, indem Sie an der Khronos 3D-Formate-Arbeitsgruppe. Sie können auch dazu beitragen, indem Sie an Diskussionen teilnehmen über OGC-Standardsund offene Zusammenarbeit auf GitHub:

• OGC 3D Tiles GitHub
• KHR_gaussian_splatting und KHR_spz_gaussian_splats_compression Github PR

Über Khronos

Die Khronos Group ist ein offenes, gemeinnütziges, mitgliedergesteuertes Konsortium aus über 150 branchenführenden Unternehmen, die lizenzfreie Interoperabilitätsstandards für 3D-Grafiken, erweiterte und virtuelle Realität, parallele Berechnungen, Bildverarbeitung und maschinelles Lernen erstellen. Zu den Aktivitäten von Khronos gehören 3D Commerce™, ANARI™, glTF™, NNEF™, OpenCL™, OpenGL®, OpenGL® ES, OpenVG™, OpenVX™, OpenXR™, SPIR-V™, SYCL™, Vulkan® und WebGL™. Khronos-Mitglieder treiben die Entwicklung und Weiterentwicklung der Khronos-Spezifikationen voran und können die Bereitstellung hochmoderner Plattformen und Anwendungen durch frühen Zugriff auf Spezifikationsentwürfe und Konformitätstests beschleunigen.

Über die Geöffnetes Geospatial-Konsortium (OGC)

Das Open Geospatial Consortium (OGC) ist ein globales, branchenübergreifendes Netzwerk von über 500 Organisationen, die sich für offene Standards und Innovationen in der Geodaten-Technologie einsetzen. Seit über 30 Jahren vereint das OGC Industrie, Regierung, Wissenschaft und Forschung, um komplexe Herausforderungen durch Interoperabilität, Zusammenarbeit und Praxiserprobung zu lösen. Von Klimaresilienz und Katastrophenschutz über Smart Cities, digitale Zwillinge und autonome Systeme bis hin zu fortschrittlicher 3D-Visualisierung ermöglichen die Standards und Innovationsinitiativen des OGC die nahtlose gemeinsame Nutzung von Geodaten über verschiedene Plattformen und Anwendungsbereiche hinweg. Durch die Vernetzung vielfältiger Expertise und Technologien unterstützt das OGC Organisationen dabei, bessere Entscheidungen zu treffen, die Lebensqualität zu verbessern und eine resilientere, nachhaltigere Zukunft zu gestalten. Mehr erfahren

Über Esri

Esri ist ein einflussreiches Mitglied des OGC und seit mehr als fünf Jahrzehnten ein weltweit führender Anbieter von Geodatenlösungen. Mit umfassender Expertise in der Bewältigung komplexer raumbezogener Herausforderungen treibt Esri kontinuierlich Innovationen voran, die einen nahtlosen Zugriff auf riesige Geodatensätze über verschiedene Plattformen hinweg ermöglichen – darunter Webbrowser, Mobilgeräte und Desktop-Anwendungen. Diese gemeinsame Weiterentwicklung unterstreicht Esris anhaltendes Engagement für die Verbesserung der Interoperabilität und Zugänglichkeit von Geodaten und setzt neue Maßstäbe in der Darstellung und Nutzung von Geodaten.

Über Bentley Systems (Cäsium)

Cesium ist die Plattform für 3D-Geodaten. Wir haben 3D Tiles, der OGC-Community-Standard für das Streaming massiver 3D-Geodaten. Entwickler verwenden Cesium, um branchenübergreifend, darunter AEC, Luft- und Raumfahrt, Verteidigung, Umwelt, Telekommunikation und mehr, in großem Maßstab mit realen Daten zu bauen. Bentley Systems hat Cesium im September 2024 übernommen. Bentley wurde 1984 von Ingenieuren für Ingenieure gegründet und ist der bevorzugte Partner für Ingenieurbüros und Eigentümer/Betreiber weltweit mit Software, die Ingenieurdisziplinen, Branchen und alle Phasen des Infrastrukturlebenszyklus abdeckt.

Über Niantic Spatial

Niantic Spatial ist ein Pionier der georäumlichen KI und entwickelt Technologien, die es Menschen und Maschinen ermöglichen, physische Räume auf völlig neue Weise wahrzunehmen und zu verstehen. Unsere Kerntechnologie basiert auf einer digitalen Karte der dritten Generation, und das Visual Positioning System (VPS) ermöglicht zentimetergenaue Lokalisierung in der realen Welt. Wir entwickeln ein Large Geospatial Model (LGM), um ein semantisch umfassendes, räumlich fundiertes Verständnis realer Orte zu ermöglichen.

Eingetragene Marken:

Khronos® und Vulkan® sind eingetragene Marken, und ANARI™, WebGL™, glTF™, KTX™, NNEF™, OpenVX™, SPIR™, SPIR-V™, SYCL™, OpenVG™, Karamos™ und 3D Commerce™ sind Marken der The Khronos Group Inc. OpenXR™ ist eine Marke der The Khronos Group Inc. und in China, der Europäischen Union, Japan und Großbritannien als Marke eingetragen. OpenCL™ ist eine Marke der Apple Inc. und OpenGL® ist eine eingetragene Marke, und die Logos OpenGL ES™ und OpenGL SC™ sind Marken von Hewlett Packard Enterprise, die von Khronos unter Lizenz verwendet werden. Alle anderen Produktnamen, Marken und/oder Firmennamen dienen ausschließlich der Identifikation und sind Eigentum ihrer jeweiligen Inhaber.