Over de opdracht
Het Ministerie van Buitenlandse Zaken zoekt een Data Engineer die een centrale rol speelt binnen het Business Intelligence Team. De organisatie heeft de ambitie om door te groeien naar een informatie gestuurde, data-gedreven organisatie. Je werkt in multidisciplinaire agile-scrum teams bestaande uit data analisten, ontwikkelaars, datascientists, BI-consultants en business vertegenwoordigers. De verschillende teams werken nauw samen met producteigenaren en opdrachtgevers vanuit verschillende afdelingen aan het gestructureerd ontsluiten van systemen en het onderbrengen van gegevens in een enterprise data warehouse en analytische omgevingen. Als Data Engineer richt je activiteiten zich op het doorontwikkelen van het datawarehouse op basis van het Databricks platform. Je bent verantwoordelijk voor het ontwikkelen, onderhouden en optimaliseren van datapipelines, het automatiseren van laad- en verwerkingsprocessen, en het monitoren van innovatieve data tools en technieken. Je werkt nauw samen met collega's bij datamodellering, informatiegovernance en compliance-eisen. Je speelt een centrale rol in het strategisch positioneren en beschikbaar maken van data- en analyse-inititieven en besteedt het grootste deel van je werk aan het bouwen, beheren en optimaliseren van datapipelines en het effectief verplaatsen naar productie. Dit vereist flexibiliteit, creativiteit en sterke teamwork-vaardigheden.
Wat je meebrengt
- HARDE EISEN:
- Ervaring met netwerken, specifiek in relatie tot Databricks en Microsoft Azure
- Op de hoogte van de laatste inzichten op het gebied van inrichten en beveiligen van Azure resources zoals Databricks
- Uitgebreide kennis van Python en SQL
- GEWENSTE ERVARING:
- Ervaring met CI/CD methodologie en Azure DevOps
- Ervaring met Azure tools zoals Azure DevOps, Data Factory en vergelijkbare streaming & batch tools
- Bekend met enterprise data warehouse en business intelligence georiënteerde architecturen
- Ervaring met Powershell
- Ervaring met het beheren van cloud services
- Ervaring met het beheren van visualisatieprogramma's (zoals Tableau)
- Kennis van en ervaring met visualisatie tools als Tableau (pre)