Onderhoud Wegens onderhoudswerkzaamheden zal Confluence donderdag 13 oktober 2022 van 06u00 tot 09u00 onbeschikbaar zijn.
1. Project management
1.1 Stuurgroep
De stuurgroep kwam in 2017 5 keer samen. Dit overleg werd georganiseerd op:
Stuurgroep samenstelling:
De stuurgroep bestaat uit leden van de 4 deelnemende beleidsdomeinen. Vanaf 1 april 2017 zijn de beleidsdomeinen LNE en RWO samen gevoegd tot beleidsdomein Omgeving:
- Beleidsdomeing RWO
- Peter Willems (voorzitter)
- Koen Van Daele
- Beleidsdomein LNE
- Tom Van Gulck
- Erwin Sevens
- Beleidsdomein MOW
- Silke Broidioi
- Natasha Blommaert
- Beleidsdomeing IV
- Dirk De Baere
- Tom Callens
1.2. Kernteam
- wekelijks status overleg op dinsdag:
- de deelname aan vergaderingen van het kernteam in 2017 zijn:
- Monique Vanvinckenroye (onroerend erfgoed)
- Severien gouwy (departement MOW)
- Veerle Van Lerbeirghe (departement Omgeving)
- Wouter Brems (departement Omgeving)
- Kelly Scholten (departement Omgeving)
- Greet mendonck (department MOW)
- Elien Desnerck (ANB)
- Torkild verschelde (ANB)
- Grietje Matthys (departement Omgeving)
2. Ontsloten gegevens
Het overzicht van de gegevens die in 2017 ontsloten werden via GDI MercatorNet is te vinden op deze pagina: Overzicht gepubliceerde datasets
3. Technische infrastructuur componenten
ArcSDE databanken afgezet op 01/07/2017
Omgeving op DIDM
Concept ontwikkel/ oefen / productie zone
Concept onthaal / intern (+ RO) / publiek (+Inspire)
Lijstje met aantal servers per zone en per …
Wat is nieuw in:
- Ariadne
- Geosever
- Geonetwerk
4. Communicatie en ondersteuning
website gemigreerd naar confluence met behoud van url en layout. Na de migratie is de website ook publiek toegangkelijk ander de URl http://www.mercator.vlaanderen.be/
2 nieuwsbrieven met volgende onderwerpen (Archief nieuwsbrieven)
Nieuwsbrief | Onderwerpen |
---|---|
mei 2017 |
|
juni 2017 |
|
testsessie / infosessies RO databank (19/01 - 07/03 )
infosessie RO databank (datum + link naar presentaties)
infosessie Ariadne
5. Read-Only Databank
De bestaande AcSDE databanken in beheer bij HB, werden in 2017 vervangen door de Read-Only PostGIS databank, gehost bij DIDM. Deze databank is sinds 1 juni operationeel; de ArcSDE databanken werden uitgeschakeld.
De nieuwe Read-Only databank bevat geodata waarvoor een behoefte werd vastgesteld voor gebruik in desktop GIS-toepassingen (QGIS, ArcGIS); het gaat om:
- datasets van de partners van GDI MercatorNet: ANB – INBO – dep OMG (ex-dLNE+dRV) – OVAM – MOW – Erfgoed – VMM
- datasets van AIV, zoals bv cadmap, administratieve grenzen
- datasets van andere organisaties zoals bedrijventerreinen (VLAIO), statistische sectoren (NIS)
Voor de initiële opvulling van deze databank werden in eerste instantie alle vector datasets opgenomen die reeds ontsloten zijn via de web services op de interne omgeving. Deze set werd aangevuld met bijomende datasets die toegevoegd werden via het reguliere ontslutiingsproces van GDI MercatorNet (via Ariadne). Ook raster bestanden werden toegevoegd. Om het gebruiksgemak te verhogen werden voor alle opgenomen datasets de bijhorende legendebestanden aangemaakt (layerfiles voor ArcGIS en QLR's voor QGIS). Via deze bestanden kunnen de gebruikers de gegevens eenvoudig toevoegen aan de eigen GIS-projecten in de eigen GIS-toepassing.
Het overzicht van de opgenomen datasets samen met de bijhorende LYR's en QLR's is te vinden op de algemene MercatorNet Confluence space: Intern ontsloten data (lyr & qlr)
Uit veiligheidsoverwegingen werd er beslist dat de gebruikers op de databank moeten aanloggen met hun milieuinfo ldap account. Hiervoor werden door het MercatorNet team ism de DIDM helpdesk de nodige analyse, configuraties en testen uitgevoerd.
De gebruikers werden tijdens het migratietraject betrokken via:
- een eerste testsessie op 19-01-017
- een tweede testsessie op 07-03-2017
- een algemene infosessie op 02-05-2017
6. INSPIRE Platform ontsluiting geharmoniseerde data
6.1 Context
Om ervoor te zorgen dat binnen de Europese Unie geografische data gemakkelijk kan gevonden en uitgewisseld worden, werd op Europees niveau de INSPIRE-richtlijn in het leven geroepen. De richtlijn werd op 15 mei 2007 van kracht. INSPIRE staat voor INfrastructure for Spatial InfoRmation in the European Community. Met deze kaderrichtlijn schept de Europese Commissie een kader waarbij een Europese geografische data-infrastructuur (GDI) wordt opgericht ten behoeve van het gemeenschappelijk milieubeleid, of het beleid met een directe of indirecte impact op het milieu.
Onder INSPIRE vallen datasets die betrekking hebben op het milieubeleid in de breedste zin van het woord. Alle datasets, waarvan geoordeeld werd dat zij nodig zijn voor een gedegen milieugerelateerd beleid, werden ondergebracht in 34 thema's. Deze thema's zijn op hun beurt onderverdeeld in drie categorieën, die als drie bijlagen bij de richtlijn zijn gevoegd.
Bij de uitvoering van alle bepalingen in de richtlijn wordt rekening gehouden met deze bijlagen. Er is geopteerd voor een gefaseerde aanpak. Alle datasets die onder de INSPIRE richtlijn vallen moet tegen eind 2020 geharmoniseerd ontsloten zijn als conforme zoekdiensten, raadpleegdiensten en downloaddiensten
MercatorNet fungeert als GDI knooppunt voor Vlaanderen en ontsluit begin 2017 de niet geharmoniseerde data van de partners van MercatorNet volgens de vereiste diensten.
Tegen 23 november 2017 moesten de data die onder Annex I gecatalogiseerd zijn ook als diensten op de geharmoniseerde data ontsloten zijn.
Tegen deze datum werden volgende datasets die onder Annex I vallen geharmoniseerd ontsloten als service door MercatorNet:
Titel | Eigenaar |
---|---|
Aanduidingsobjecten | Erfgoed |
Habitatrichtlijngebieden | Agentschap Natuur en Bos |
Ramsar-gebieden | Agentschap Natuur en Bos |
Vogelrichtlijngebieden | Agentschap Natuur en Bos |
RIS data | NV De Vlaamse Waterweg |
Om dit te realiseren moest
- de data geharmoniseerd worden (buiten scope van MercatorNet opdracht)
- de data aangeboden worden als
- INSPIRE CSW zoekdienst
- INSPIRE conforme Raadpleegdienst
- INSPIRE conforme Downloaddienst
Eerst werd een analyse uitgevoerd (juli-september 2017) om na te gaan welke technische architectuur er opgezet zou worden voor het aanbieden van deze verschillende INSPIRE webdiensten en bijhorende metadata. Daarna werd een implementatietraject doorlopen (oktober-vovemeber 2017) waarin de gekozen technische oplossing uitgewerkt werd tegen de door INSPIRe opgelegde deadline.
6.2 Analyse
Analyse
Een analyse werd uitgevoerd om na te gaan hoe de bestaande infrastructuur aangewend kan worden en waar nodig uitgebreid moet worden voor het aanbieden van INSPIRE-conforme diensten, en dit voor de volgende componenten:
- Metadata en zoekdiensten
- Raadpleegdiensten
- Downloaddiensten
- Dataharmonisatie
- Monitoring
Het resultaat van deze analyse is te lezen op Confluence in sectie 2 van volgende pagina: https://www.milieuinfo.be/confluence/display/merc/Rapport+-+Architectuurstudie+voor+het+MercatorNet+platform+INSPIRE+geharmoniseerde+data
Daarnaast werden 4 experimenten uitgevoerd als concrete tests bij de uitegwerkte analyse en voorgestelde opties https://www.milieuinfo.be/confluence/display/merc/Uitwerking+experimenten
Conclusie
Op basis van de analyseresultaten werden volgende voorstellen voor de uitwerking gepresenteerd en aanvaard door de stuurgroep:
Voorstel voor uitwerking op korte termijn - in functie van de deadline op 23/11/2017:
- Brondata: zowel een INSPIRE als een niet-INSPIRE (= bestaande) dataproduct publiceren
- Dataharmonisatie: gebeurd door de data-eigenaar
- Bestaande componenten ontdubbelen en toevoeging van:
- GeoNetwork 3.2 incl ATOM Feeds > voor downloaddienst
- Validatiedienst ETF-webapp
- Gemeenschappelijke componenten (INSPIRE/niet-INSPIRE):
- Database server met aparte DB(schema’s) voor INSPIRE
- Bestaande GeoServer gebruiken voor INSPIRE WMS
- MINIO server (tvv van Alfresco)
- Configuratie publicatie obv Ariadne (as-is) voor WMS
- Alternatief: organisatie implementeert zelf een systeem
Voorstel voor uitwerking op langere termijn - na 23/11/2017:
- Uitbreiding met direct access downloaddiensten (WFS), indien hier behoefte aan zou zijn
- Verdere automatisatie publicatieworkflow
Gedetailleerde documentatie hieorver is terug te vinden in sectie 4 van het analyserapport: https://www.milieuinfo.be/confluence/display/merc/Rapport+-+Architectuurstudie+voor+het+MercatorNet+platform+INSPIRE+geharmoniseerde+data
6.3 Implementatie
Plan van aanpak implementatie
Rekening houdend met de deadline van 23/11 werd voorgesteld om in 2 stappen te werken:
- STAP 1: uitwerken van de basis INSPIRE architectuur en ontsluiten van de geharmoniseerde datasets > uitgevoerd voor 23/11
- STAP 2: uitwerken van een geautomatiseerde publicatieworkflow en eventueel uitbreiding downloaddiensten met direct access (WFS) > uit te voeren na 23/11, zal pas starten in 2018
Implementatietraject STAP 1
Overzicht uitgevoerde taken:
Implementatie van de INSPIRE architectuur
- Implementatie en installatie nieuwe instantie GeoNetwork 3.2 inclusief ATOM Feeds
- Configuratie bestaande Databank voor INSPIRE data
- Configuratie bestaande GeoServer voor INSPIRE WMS
Publiceren van de geharmoniseerde datasets
- Configureren van de interoperabele INSPIRE raadpleegdienst (WMS)
- Configureren van de interoperabele INSPIRE download services
- Aanmaken en updaten van de metadata records voor datasets en diensten (view, download, discovery services)
- Testen van de conformiteit
Om de door INSPIRE opgelegde deadline van 23/11/2017 te halen werd voor het publicatieproces gekozen voor een pragmatische aanpak en werd deze uitgevoerd met behulp van FME.
Een overzicht van de gepubliceerde geharmoniseerde datasets en alle ontsluitingsURL's voor de verschillende webdiensten en metadata is hier te vinden: Publiceren geharmoniseerde data
De metadata van deze datasets en services wordt, net zoals de andere MercatorNet metadata, geharvest door geopunt en van daaruit door het Europese INSPIRE geoportaal. Deze 5 datasets zijn de eerste datasets voor Vlaanderen die op geharmoniseerde wijze en INSPIRE conform op dit geoportaal terug te vinden zijn.
Documentatie
De manier waarop de publicatie van de geharmoniseerde datasets voor Annex I gerealiseerd werd met behulp van FME, inclusief de gebruikte workspace, werd gedocumenteerd op volgende pagina: INSPIRE automatische publicatieworkflow met FME
7.Middelen
In 2017 hebben de 3 deelnemende beleidsdomeinen (BD MOW, BD LNE en BD RWO) elk 100.000€ (incl btw) gefinancieerd in Mercator.
7.1 Infrastructuur
Mercator heeft jaarlijks terugkerende kosten om de huidige omgeving instand te houden:
7.1.1. ArcSDE omgeving
Tot juni 2017 werd er gebruik gemaakt van een ArcSDE omgeving in beheer van HB+. Voor het beschikbaar houden van die Mercator toepassing en omgeving werd er een service afgenomen: Appplication Managed As A Service (AMAAS) . In 2017 was de kostprijs hiervoor €42.994,44. Dit bedrag werd gefinancierd via trekkingsrechten.
Deze Mercatoromgeving gebruikt 3 ESRI - ArcGIS server licenties. Hiervoor werd een jaarlijkse kost van € 8.783,30 betaald.
7.1.2. GDI - Mercator omgeving
De GDI omgeving wordt gehost door dep LNE (dep OMG). De kosten voor deze omgeving zijn op budget van LNE. In 2017 financiered MercatorNet € 50.000 in de aanleg van internet kabels naar de nieuwe LNE serveromgeving.
7.2 Externe ondersteuning
De GDI MercatorNet coördinator en het kernteam worden versterkt door een team van externe consultants. Hieronder wordt een overzicht gegeven van de tijd gespendeerd door de externe consultants, enerzijs per profieltype, anderzijds per component.
Per profieltype
- Administrator (ADM)
- Architect (ARCH)
- Ontwikkelaar (DEV)
- Functioneel analist / GIS expert (FA)
- Junior Functioneel analist (JFA)
De tabel hieronder geeft de gepresteerde tijd aan voor de verschillende profielen per maand, voor de periode van januari 2017 tot en met december 2017. In totaal werden 246,08 externe consultant
dagen gepresteerd over een periode van 12 maanden, of iets meer dan 30 dagen / maand.
Profiel | 01/17 | 02/17 | 03/17 | 04/17 | 05/17 | 06/17 | 07/17 | 08/17 | 09/17 | 10/17 | 11/17 | 12/17 | Eindtotaal |
applicatie integrator | 15 | 10,5 | 36 | 19 | 30 | 34 | 35 | 46,5 | 25 | 68 | 101,5 | 34,5 | 455 |
Architect | 34,5 | 54 | 10 | 36,5 | 19,5 | 5 | 159,5 | ||||||
Developer | 60 | 16,1 | 69 | 33 | 8,5 | 32 | 10,5 | 6,5 | 102 | 48 | 21 | 406,6 | |
GIS-expert | 60 | 35,52 | 89,9 | 80,1 | 76,8 | 97,5 | 73 | 32,3 | 27,5 | 22,5 | 8 | 603,12 | |
project lead | 29,5 | 37 | 19 | 16,5 | 13,5 | 18 | 14 | 15,5 | 14,5 | 15 | 13,5 | 12,5 | 218,5 |
Eindtotaal | 199 | 99,12 | 213,9 | 148,6 | 128,8 | 181,5 | 132,5 | 154,8 | 77 | 244 | 190,5 | 73 | 1842,72 |
Profiel | aantal uur | kostprijs (incl btw) |
applicator integrator | 455 | 51.716,78 |
architect | 159,5 | 21.665,62 |
ontwikkelaar | 406,6 | 36.354,911 |
GIS-expert | 603,12 | 43.979,20 |
projectleiding | 218,5 | 26.909,88 |
Eindtotaal | 1.842,72 | € 180.626,39 |
Per component (bv Ariadne, inspire, ro databank, ...
Zie ook: Bijlage met detailoverzichten per project
Project | aantal uren | Kostprijs (incl btw) |
GDI-MercatorNet componenten beheer | 285 | 32.802,45 |
GDI-MercatorNet inspire services | 349,5 | 42.523,98 |
GDI-MercatorNet projectbeheer | 72,5 | 8.020,99 |
GDI-MercatorNet publicatie gegevens | 270,52 | 244.23,35 |
GDI-MercatorNet Uitbouw ‚read’ only databanken | 471,1 | 39.933,95 |
GDI-MercatorNet Uitbouw communicatieplatform | 49,5 | 3.924,06 |
SDI-Pub ETL tool | 344,6 | 28.997,61 |
Eindtotaal | 1.842,72 | 180.626,39 |
8. Gebruik MercatorNet Web Services
Onderstaand overzicht toont een samenvatting van het gemiddelde gebruik (obv requests) per dag van de verschillende GDI MercatorNet componenten/web servcies.
Component | Aantal request per dag (gemiddeld) | |
---|---|---|
GeoServer Publiek | 90.000 | |
GeoServer Intern | 88.000 | |
GeoNetwork Publiek | 37.500 | |
GeoNetwork Intern | 400 | |
GeoNetwork INSPIRE | 100 | |
GeoWebCache Publiek | 87.500 | |
GeoWebCache Intern | 3.500 | |
Ariadne | 6.000 |
Een interessante vaststelling hierbij is het feit dat de interne services evenveel gebruikt worden als de publieke.
Enerzijds zijn er de 'gewone' gebruikers die via hun GIS applicatie (QGIS, ArcGIS, ...) rechtstreeks connecteren naar de web services; anderzijds zijn er ondertussen ook tal van toepassingen die dagelijks gebruik maken van de MercatorNet Web Services:
- Voortoets
- DOV viewer
- Omgevingscheck
- Bryggia
- RO Viewer
- Geopunt
- ...
Een typisch maandelijks gebruik van de publieke MercatorNet web servcies wordt geïllustreerd in onderstaande grafieken (bron: kibana)
GeoServer Publiek
GeoNetwork Publiek
GeoWebCache Publiek