Eerder in deze serie besprak ik vier veelvoorkomende uitdagingen die ik regelmatig tegenkom bij projecten voor geospatiale integratie. In dit artikel ga ik dieper in op de eerste van die uitdagingen: je data kennen.
Voordat we datasets kunnen integreren, publiceren of analyseren, moeten we begrijpen waarmee we werken. Dit houdt in dat we vragen moeten beantwoorden zoals:
- Bevat de dataset persoonsgegevens?
- Hoe groot is het bestand op de schijf?
- Is het ruimtelijk ingeschakeld?
- Welk coördinatenreferentiesysteem (CRS) wordt er gebruikt?
- Hoe vaak wordt er geüpdatet?
- Wat zijn de ruimtelijke en temporele resoluties?
- In welk bestandsformaat is het opgeslagen?
- Wie is verantwoordelijk voor de dataset?
Idealiter zouden we deze informatie uit een bijbehorend metadata -record moeten kunnen halen . Helaas wordt metadata vaak als een bijzaak beschouwd. Ik heb regelmatig meegewerkt aan projecten waarbij datasets werden aangeleverd met weinig tot geen metadata.
Ik laat de bredere discussie over het aanmaken van metadata voor een toekomstige blogpost en focus me in plaats daarvan op hoe we een data-integratieproject opstarten wanneer metadata ontbreekt.
Als we al toegang hebben tot de datasets voordat we de ruimtelijke data-infrastructuur ontwerpen, kunnen sommige vragen worden beantwoord door de data zelf te onderzoeken. Bestandsgrootte, bestandsindeling en, in sommige gestructureerde formaten, het CRS kunnen direct worden vastgesteld.
Maar het wordt ingewikkelder bij het werken met formaten zoals CSV of spreadsheets met lijsten van coördinaten. In deze gevallen kan het bepalen van het coördinatensysteem een kwestie van uitproberen zijn. Dit kan relatief eenvoudig zijn bij veelgebruikte systemen zoals WGS84 of WebMercator, maar het kan snel moeilijk, of zelfs onmogelijk, worden bij minder bekende coördinatensystemen.
Andere vragen zijn wellicht nog lastiger te beantwoorden. Het kan bijvoorbeeld onmogelijk zijn om de contactpersoon voor een dataset te achterhalen als er geen documentatie beschikbaar is. Ironisch genoeg is dit misschien wel de belangrijkste informatie, omdat de juiste contactpersoon vaak antwoord kan geven op veel andere vragen.
Wat moeten we doen als de data zelf ons niet alles vertellen wat we moeten weten?
Mijn ervaring is dat het vaak het beste is om een mens bij het proces te betrekken. In de meeste gevallen hebben we wel een contactpersoon voor het project, en deze persoon kan fungeren als contactpersoon voor de datasets of ons in contact brengen met iemand die die rol kan vervullen.
Om dit proces te ondersteunen, maak ik doorgaans een 'gegevensenquête' die de informatie vastlegt die nodig is om elke dataset te begrijpen. Deze enquête omvat onderwerpen zoals technische metadata (bijvoorbeeld grootte en formaat) en informatie die we normaal gesproken in een metadata-record zouden aantreffen, zoals de contactgegevens.
Deze gegevensverzameling kan de vorm aannemen van een online vragenlijst. In de loop der tijd ben ik tot de conclusie gekomen dat ik er niet van uit moet gaan dat deelnemers de enquêtevelden interpreteren zoals ik ze heb ontworpen. Tenzij semantische annotaties een optie zijn, probeer ik daarom bij elke vraag een duidelijke uitleg te geven, of, nog beter, de deelnemers tijdens een telefoongesprek door de enquête te leiden.
Het ontwerpen van een ruimtelijke data-infrastructuur (SDI) vereist kennis van de data die we gaan integreren en publiceren. Wanneer metadata onvolledig of afwezig is, is het betrekken van stakeholders essentieel. Het proces kan begeleiding, verduidelijking en een zekere mate van ondersteuning vergen, maar de verkregen inzichten zijn vaak cruciaal voor het succes van het project.
In de volgende blogpost ga ik dieper in op een van de grootste uitdagingen bij het bouwen van een SDI: het betrekken van stakeholders bij het creëren van op standaarden gebaseerde metadata. Blijf op de hoogte voor het volgende deel in deze serie.
