Dataplatform bij ElaadNL

2019-02-08

Bij ElaadNL werken we met Infiniot mee aan diverse projecten/pilots/ontwikkelingen. Een daarvan is het opzetten van een dataplatform waarmee we onder andere data kunnen delen met interne medewerkers en externe organisaties.

Data delen is niet het enige waarvoor we dit platform nodig hebben. Ook gebruiken we het om verschillende datasets in op te slaan. Nu lijkt dat natuurlijk heel erg normaal, maar het komt nog maar al te vaak voor dat datasets en/of analyses lokaal op de computers van collega's staan en wanneer er dan mensen op vakantie gaan kun je tegen problemen aan lopen. We hebben verschillende datasets waar we gebruik van kunnen maken, onder andere: geo-datasets, laadsessies van elektrische auto's, data van snelladers en informatie over verschillende type autos (RDW). De tooling die we hiervoor gebruiken is onder andere: PostgreSQL, MySQL, Shiny server, RStudio server, FTP/SFTP, Nginx en natuurlijk Python.

We kunnen nu bijvoorbeeld met zowel Python als Rstudio online analyses bouwen en gelijk delen. Denk bijvoorbeeld aan analyses die we met Shiny kunnen ontwikkelen en kunnen delen met projectleden, iedereen kijkt naar hetzelfde en er zwerven niet meerdere versies op computers rond. Wanneer we voor een pilot bij elkaar komen zorgen we dat met een druk op de knop een update van een dashboard klaar hebben staan (of natuurlijk volledig automatisch als er data binnen gekomen is). Iedereen kijkt dan naar de meest recente versie zonder dat daar emails met bestanden en/of powerpoints aan te pas komen.

Ook wordt hergebruik van code nu makkelijker dan voorheen omdat analyses van andere analisten online staan en breed gedeeld kunnen worden. Daarnaast ben je niet meer afhankelijk van de rekenkracht van je laptop en gelukkig kost rekenkracht in de cloud tegenwoordig niet meer zoveel.

Een dergelijk platform is natuurlijk nooit helemaal af en daarom zorgen we samen met onze collega's van Infiniot en ElaadNL dat we dit platform iteratief verder door ontwikkelen en zo nog meer functionaliteiten toevoegen. 

 

Lees hier de blog op de ElaadNL site.


Bekijk alle posts van Peter