fredag 15. oktober 2010

Smidig synkronisering av geodata - GeoSynkronisering

GIS-analytikere bruker mye tid på import, eksport, filkopiering, FTP, og diverse formatkonverteringer, i tillegg til andre trivielle oppgaver ifm ajour-rutiner. Folk med dyp GIS-kompetanse er en knapp gode, og dette er helt unødvendig.

Norge digitalt har ettertraktet gull 

Norge digitalt består av 602 parter som har etablert et nasjonalt datagrunnlag. I perioden 1992 -2002 ble det brukt over 2,4 milliard kr på etablering av basis geodata i Norge (Stortingsmeld 30, 2002), og samlede kostnader for 2009 kom på 38 mill (årsrapporten for ND). Bruken av geodata i den offentlige forvaltningen har hatt en betydelig økning de siste årene. Datasettene er under kontinuerlig utvidelse. Disse dataene er gull verd, og mange vil ha dem.

Lokale data

I det store forvaltes data nær kilden til der endringene oppstår, noe som er med på å sikre kvaliteten. I svært mange oppgaver er det viktig at data er oppdaterte. Mye av bruken krever avanserte verktøy som overlay, buffer og avanserte søk. Disse verktøyene brukes på datasett som dekker store områder, og ofte kan være krevende å utføre. Dette er noen grunner til at det ikke er mulig å basere seg på ett sentralt datasett, og å bruke teknologier som WFS for å gi distribuert tilgang. Geodata representerer en betydelig datamengde og effektiv bruk av datagrunnlaget tilsier derfor at det må benytte kopibaser i det daglige arbeidet. Norge bruker i dag store ressurser på å etablere slike lokale kopier. Vi trenger derfor at stedfestet informasjon må flyte lett mellom ulike programvareplattformer, forvaltningsnivåer, fagmiljøer og landegrenser.

Løsning

I Kartverkets matrikkelsystem finnes et grensesnitt (EndringsloggAPI) som gjør det mulig å etablere lokale matrikkelkopier. Dette er etablert i de aller fleste kommuner i dag. La oss bygge videre på denne ideen, og tenker seg den samme tekniske løsningen:



  1. Kopi spør original om data (bruker, passord, oppgave, siste transaksjon)
  2. Originalen lager datasettet som etterspørres
  3. Datasettet overføres til kommune
  4. Data legges inn i kopiarkiv
  5. Kopi tar vare på siste vellykkede transaksjonsnummer 

En får dermed et system som automatisk sikrer at når nye data kommer til, data endres, eller data slettes, oppdaterer kopidatasettet.

Matrikkelen har kun en original, og alt annet er bare kopier. Men i det generelle tilfellet med kartdata, har vi et mye mer komplisert miljø med ulike originaler ulike plasser. Noe data ligger originalt i landets kommuner, noe hos Kartverket og noe hos de andre norge digitalt partene. Og noen ønsker tilgang til alle andres data.

Bruk

En kan dele opp bruken av geosynkronisering i noen forskjellige bruksegenskaper. Lokal kopiering: Kopiering til andre baser i samme organisasjon. En får da automatisert to identiske arkiver som er ajour. Eksempel: Kopiere data til DMZ for å gjøre dem tilgjengelig i en web-innsynløsning. Subset: Kopibase er et geografisk subset av originalbase. Det muliggjør synkronisering av data innenfor polygon. Eksempel: Landsdekkende originaldata kopieres til kommunedekkende kopidata. Geografisk union: Kopibase henter data fra flere kilder. Dette krever at to objekter aldri må aldri ha lik ID. Denne utfordringen kan løses med en global ID. Eksempel: kommunedekkende originaldatakilder kopieres til Landsdekkende kopidata. Tematisk union: Kopibase henter data fra flere tematiske kilder. Eksempel: Bygg og tiltak samles i samme arkiv. Konvertering: Data konverteres fra et dataformat til et annet. Utløser: Behandlende sak-systemer lytter etter spesielle endringer i geodata. Eksempel: Midlertidig brukstillatelse / Brukstillatelse skal utløse en handling på VA (Betale vannavgift). Et annet eks er oppdatering av cachede data (tiles).

Disse bruksegenskapene kan selvfølgelig kombineres. Eksempel: To kommuner forvalter plandata for hver sin kommune i hvert sitt GIS-system. Fylkeskommunen har et tredje system som lytter på endringene fra kommunene og har et kopidatasett som inneholder t oppdaterte data fra kommunene helt uten manuelle operasjoner.

Standarder

Den kanskje viktigste forutsetningen for å få til dette er en felles standard for kartdata. Her er Norge heldige med SOSI. Men vi savner en form for digital utveksling av denne standarden, altså et format for objektkatalogen. Men når denne er laget, kan en også tenke seg funksjonalitet for å synkronisere objektkataloger. Denne problemstillingen utløser flere interessante problemstillinger, som for eksempel en meldingstjeneste som sier fra når formatet er så forandret at en ny full etablering er nødvendig.

En smidig automatisk synkronisering av geografiske data vil bidra til at brukere skal få enkel og hurtig tilgang til de beste geodataene, at samarbeid om dataetablering og datadeling kan gjøres på en standardisert form, redusere manuell forvaltning av kopidata og realisere visjonen Norge digitalt!

Ingen kommentarer:

Legg inn en kommentar