About the assignment
De NVWA werkt aan de vernieuwing van haar datafundament en onderzoekt of een open source, Kubernetes-gebaseerd dataplatform de huidige analyse- en rapportageomgeving functioneel en beheersmatig kan vervangen. Dit initiatief wordt gedreven door de gewenste leveranciersonafhankelijkheid, digitale autonomie en beheersbaarheid van kosten en licenties. Als Senior Data Engineer ben jij de inhoudelijke motor van deze pilotfase: je bouwt representatieve casussen daadwerkelijk uit op het open source dataplatform en zorgt dat ontwikkelaars uit de verschillende NVWA-teams zelf mee kunnen bouwen volgens het principe 'voordoen > samendoen > zelf doen'. Je werkt onder aanwijzing van de NVWA, binnen de kaders van het pilotplan en in afstemming met de projectleider. Je realiseer casussen op componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes. Je bouwt data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen, vertaalt bestaande functionaliteit naar equivalenten in de nieuwe stack, en vastlegt verschillen en beperkingen. Je bewaakt het tempo zodat casussen binnen afgesproken doorlooptijd worden afgerond met reproduceerbare resultaten. Daarnaast faciliteer je kennisoverdracht aan de teams, signaleer je risico's en knelpunten richting projectleiding, en lever je herbruikbare bouwblokken, configuratie als code en documentatie op.
What you bring
- HARDE EISEN:
- Minimaal 10 jaar aantoonbare werkervaring in de IT
- Minimaal 5 jaar werkervaring als data engineer met bouwen en beheren van dataplatformen en datapijplijnen
- Minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op modern platform (Spark/PySpark, Databricks, Fabric of gelijkwaardig)
- Minimaal 3 jaar aantoonbare werkervaring met SQL en/of Python
- Minimaal 3 jaar aantoonbare werkervaring met CI/CD, versiebeheer en configuratie als code
- Aantoonbare werkervaring met open source en leveranciersonafhankelijke oplossingen
- GEWENSTE ERVARING:
- Afgeronde HBO opleiding
- Aantoonbare werkervaring met bouwen van dataplatformen en datapijplijnen op schaal
- Aantoonbaar vermogen om zich snel een nieuwe (open source) stack eigen te maken (bv. Spark, Trino, dbt, Airflow, NiFi)
- Aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen