Eerder in deze serie heb ik drie veelvoorkomende uitdagingen besproken die ik regelmatig tegenkom bij projecten voor geospatiale integratie. In de vorige twee berichten heb ik het belang van kennis van je data en het creëren van op standaarden gebaseerde metadata onderzocht . In dit laatste bericht richt ik me op de data zelf en ga ik in op het belang van gestructureerde, op standaarden gebaseerde data, hoewel ik erken dat dit niet altijd de realiteit is.
Wanneer we vectorgegevens (bijvoorbeeld punten, polygonen of lijnen) uit een ongestructureerd formaat zoals een PDF, video of afbeelding willen integreren, is enige voorbewerking nodig. Dit compliceert het Extract-Transform-Load (ETL)-proces en kan leiden tot gegevensverlies tijdens dit proces.
Ik ben echter gevallen tegengekomen waarin er geen alternatief was, omdat de data-aanbieders de informatie alleen in die formaten konden aanleveren. In dergelijke gevallen kan kunstmatige intelligentie (AI) een waardevolle rol spelen door te helpen bij het extraheren van gestructureerde elementen uit ongestructureerde informatie, met behulp van algoritmen zoals convolutionele neurale netwerken (CNN's) voor beeldsegmentatie.
Maar zelfs als we het over gestructureerde formaten hebben, zijn niet alle formaten gelijkwaardig.
In de onderstaande afbeelding toon ik een rangschikking van dataformaten op basis van hun interoperabiliteitspotentieel. Het is belangrijk om te benadrukken dat dit slechts illustratieve voorbeelden zijn en geen complete lijst van alle bestaande vectordataformaten.
CSV is het minst aanbevolen formaat, ondanks dat het een standaard is ( RFC 4180 ). Het feit dat er geen vast schema is, maakt het lastig om de informatie te valideren. Dit is met name problematisch voor geometrieën, die op verschillende manieren gecodeerd kunnen worden zonder informatie te verstrekken over de coördinatenreferentiesystemen (CRS'en).
Shapefile is een gestructureerd, open formaat; in 1998 werd een whitepaper gepubliceerd waarin het formaat gedetailleerd wordt beschreven, waardoor iedereen het kan implementeren (en het wordt in feite ondersteund door de meeste geospatiale tools). De specificatie is echter geen standaard, omdat deze niet is ontwikkeld en onderhouden door een onafhankelijke standaardisatieorganisatie. Daardoor biedt het niet dezelfde mate van zekerheid als formele standaarden.
De overige drie formaten aan de bovenkant van de schaal zijn standaarden en worden daarom aanbevolen. GeoJSON en JSON-FG scoren hoger op het gebied van interoperabiliteit, omdat ze semantische validatie via JSON Schema ondersteunen . JSON-FG ondersteunt met name de definitie van FeatureTypes, gedefinieerd door FeatureSchemas.
Bij het selecteren van standaarden aan de hand van dit diagram moet rekening worden gehouden met een aantal kanttekeningen. JSON-FG is een relatief nieuwe standaard en wordt mogelijk nog niet algemeen geaccepteerd, terwijl GeoJSON altijd uitgaat van het standaard CRS (WGS84).
Hoewel het waardevol is om meer interoperabele formaten aan te bevelen, erken ik dat gebruikers vaak met andere formaten zullen komen. Het goede nieuws is dat als we met gestructureerde formaten werken, het meestal eenvoudig is om ze te converteren met behulp van tools zoals GDAL.
Deze aanbevelingen in de praktijk brengen
Raadpleeg voor praktische tips deze richtlijnen voor gegevensformaten, bestandsnamen en veldnamen. Deze handleiding biedt een stapsgewijze aanpak voor het omzetten van tabelgegevens naar een geospatiaal gegevensformaat.
