Hoi allen,

Ik krijg de vraag van een data engineer hoe lang ze datasets mogen bewaren in de Azure omgeving. Nu zijn er m.i. geen wettelijke termijnen vastgesteld voor datasets. Dit is natuurlijk ook lastig, want hoe bepaal je wanneer bepaalde info niet meer actueel of relevant is?

Ik heb zelf wel een idee voor een stappenplan hoe ik samen met een data engineer ga bepalen wanneer ze bepaalde gegevens uit een dataset moeten verwijderen. Maar ik ben eigenlijk wel heel benieuwd of er al oplossingen zijn bij de collega's in den lande. Hoe pakken jullie dit vraagstuk op?

Weergaven: 397

Hierop reageren

Berichten in deze discussie

Ha Wouter, 

Deze vraag is net zoiets als 'hoe lang moet ik documenten bewaren'?

Ik zou eerst achterhalen over welke datasets het gaat en welke functie ze binnen welk proces hebben. Dan kun je er de selectielijst op loslaten. Gaat het om brondata of is er een afslag gemaakt voor hergebruikdoeleinden? Zelf gebruik ik voor die laatste categorie datasets meestal categorieën 19.1 (hulpadministratie V5) en 19.2 (niet verwerkte gegevens V1).

19.1 heeft als nadeel dat de bewaartermijn best lang is terwijl de gegevens soms maar hele korte tijd relevantie hebben. Daarom 19.2 als boekhoudkundige truc met de redenatie dat deze gegevens niet in deze vorm inhoudelijk zijn verwerkt. Bijvoorbeeld ruwe data wordt eerst genormaliseerd, verrijkt, geanonimiseerd etc. Bij elke verwerking ontstaat een nieuw bestand. Die 'tussenversies' kunnen vaak eerder weg dan de definitieve versie waar uiteindelijk iemand iets inhoudelijks mee gaat doen. Ze hebben slechts korte tijd een informatiewaarde, als blijkt dat er in het proces iets mis is gegaan waardoor de definitieve dataset niet goed is. Dan moet je het proces opnieuw kunnen doorlopen en is het handig als je die tussenversies nog hebt. Persoonlijk vind ik een jaar dan nog aan de lange kant, maar geschiktere opties kent de gemeentelijke selectielijst vooralsnog niet. 

Weliswaar wat oudere info van een expertmeeting over datasets, we hebben het eerder over gehad, dit vraagt aandacht voor de selectielijst. 

Expertmeeting%20Datasets%20en%20bewaarbelangen%20Groningen.docx

Dank voor je reactie Rens! Deze is, zoals altijd, zeer bruikbaar!

Rens zei:

Ha Wouter, 

Deze vraag is net zoiets als 'hoe lang moet ik documenten bewaren'?

Ik zou eerst achterhalen over welke datasets het gaat en welke functie ze binnen welk proces hebben. Dan kun je er de selectielijst op loslaten. Gaat het om brondata of is er een afslag gemaakt voor hergebruikdoeleinden? Zelf gebruik ik voor die laatste categorie datasets meestal categorieën 19.1 (hulpadministratie V5) en 19.2 (niet verwerkte gegevens V1).

19.1 heeft als nadeel dat de bewaartermijn best lang is terwijl de gegevens soms maar hele korte tijd relevantie hebben. Daarom 19.2 als boekhoudkundige truc met de redenatie dat deze gegevens niet in deze vorm inhoudelijk zijn verwerkt. Bijvoorbeeld ruwe data wordt eerst genormaliseerd, verrijkt, geanonimiseerd etc. Bij elke verwerking ontstaat een nieuw bestand. Die 'tussenversies' kunnen vaak eerder weg dan de definitieve versie waar uiteindelijk iemand iets inhoudelijks mee gaat doen. Ze hebben slechts korte tijd een informatiewaarde, als blijkt dat er in het proces iets mis is gegaan waardoor de definitieve dataset niet goed is. Dan moet je het proces opnieuw kunnen doorlopen en is het handig als je die tussenversies nog hebt. Persoonlijk vind ik een jaar dan nog aan de lange kant, maar geschiktere opties kent de gemeentelijke selectielijst vooralsnog niet. 

Antwoorden op discussie

RSS

© 2024   Gemaakt door Marco Klerks.   Verzorgd door

Banners  |  Een probleem rapporteren?  |  Algemene voorwaarden