Data Engineer

ft. 22941

Kadaster

De startdatum is onder voorbehoud van een tijdige afronding van de offerteprocedure. Dit kan ook betekenen dat de startdatum van de opdracht zal moeten worden opgeschoven. Aan de vermelde startdatum in de offerteaanvraag kunnen zodoende geen rechten worden ontleend. 
Volgens Kadaster richtlijn dient iedere medewerker minimaal 2 dagen per week op kantoor aanwezig te zijn. Welke dagen dit zijn gaat in overleg met de manager en het team.

Kadaster
Het Kadaster registreert en verstrekt gegevens over de ligging van vastgoed in Nederland en de daarmee samenhangende rechten, zoals eigendom en hypotheek. Als zelfstandig bestuursorgaan is dat onze wettelijke taak. Onze gegevens bieden houvast bij het onderzoeken van maatschappelijke vraagstukken, of het nu gaat om de beste route voor een nieuwe snelweg, actuele ontwikkelingen op de woningmarkt of het in beeld brengen van leegstand.

Opdracht
De organisatie is bezig met de ontwikkeling van een toekomstbestendig dataplatform binnen het DAMA-DMBOK raamwerk en zoekt ondersteuning in de vorm van een ervaren data engineer. De opdracht wordt uitgevoerd binnen een scrumteam, bestaande uit onder meer data engineers en een solution architect.

Het omvat het ontwerpen, bouwen en beheren van een schaalbaar, veilig en gebruiksvriendelijk dataplatform. Het platform moet stabiele toegang tot data bieden en aansluiten bij de behoeften van data-analisten, data scientists en andere gebruikers binnen de organisatie.

De werkzaamheden richten zich op het ontwikkelen van data pipelines en workflows in onder andere Azure Data Factory en Databricks. Daarnaast wordt verwacht dat je actief meedenkt over en bijdraagt aan schaalbare en onderhoudbare platformcomponenten, en bestaande oplossingen beheert en optimaliseert. Ook het adviseren over verbeteringen op het gebied van architectuur, beveiliging en datagebruik. Bij een toekomstbestendig platform hoor ook AI en machine learning toepassingen hiervoor wordt ook een bijdrage gevraagd.

De opdracht vereist een mate van zelfstandigheid en eigenaarschap. Tegelijkertijd wordt verwacht dat je actief meedenkt over toekomstige toepassingen en verbeteringen binnen het platformlandschap.

Belangrijkste technieken, methoden en tools

• Microsoft Azure Cloud
• Databricks / Unity Catalog
• Azure Data Factory
• Kubernetes
• Python / PySpark
• SQL
• Git (Devops / Gitea)
• Terraform scripting
• Medaillon architecture
• ETL / ELT pipelines
• Microsoft Well Architected Framework
• Infrastructure as Code
• Private en public cloud data oplossingen
• Agile werken
• Projectmatig werken

Verantwoordelijkheden
Hier zijn enkele belangrijke verantwoordelijkheden:

• Opzetten, beheren en optimaliseren van het data platform zoals Databricks
• Data pipelines ontwikkelen en onderhouden
• Implementeren van kwaliteit, performance, security en governance standaarden
• Meedenken en integreren van verschillende data technologieën en/of processen
• Samenwerking met andere engineers, analisten, data scientisten en architecten

Taken
Ontwerp en bouwen aan de hand van Microsoft, Databricks en de Kadaster richtlijnen

• Beheren en optimaliseren van schaalbare en efficiënte data applicatie landschap zoals Databricks en Azure Data Factory
• Bouwen en adviseren over clusterconfiguratie, data pipelines, Delta Lake-strategieën, en ML/AI-workloads
• Opzetten van best practices voor performance, resourcegebruik, kostenoptimalisatie en beveiliging binnen het data platform
• Zorgen voor naadloze integratie met cloudomgevingen zoals Azure
• Koppelingen maken met databases, API's, data lakes, ETL-pipelines en BI-tools
• Infrastructure as code schrijven zoals Terraform
• Bouwen van CI/CD-processen voor notebooks, jobs en pipelines
• Zorgen voor data governance en naleving van security policies
• Implementeren en evalueren van audit logging en monitoring
• Adviseren en samenwerken met data scientisten en engineers om code of processen efficiënter te maken
• Assisteren bij troubleshooting en probleemoplossing
• Documenteren van oplossingen en best practices

Vereisten / knock-outcriteria
Let op: motiveer (kort) in het CV per knock-outcriterium hoe u hieraan voldoet.

1. De kandidaat beheerst de Nederlandse taal vloeiend, in woord en geschrift;
2. Door de kandidaat zélf geschreven CV en motivatiebrief;
3. Hbo- of wo-werk- en -denkniveau;
4. Minimaal 2 jaar ervaring in een vergelijkbare functie als Data Engineer;
5. Minimaal 1 jaar ervaring met Databricks;
6. Minimaal 1 jaar ervaring met Python en SQL;
7. Minimaal 2 jaar Azure ervaring.

Gunningscriteria (weging, totaal 100 punten) verdeeld in:
8. 3 of meer jaren ervaring als data engineer (20 punten);
9. 2 of meer jaren ervaring met Databricks (20 punten);
10. 3 of meer jaren ervaring in Azure (10 punten);
11. 1 of meer jaren ervaring met Terraform (10 punten);
12. Minimaal 2 jaar ervaring met Azure Data Factory (ADF) (10 punten);
13. Minimaal 1 jaar ervaring met Kubernetes (10 punten);
14. Azure en/of Databricks certificeringen zijn een pluspunt. Geen onderscheid in hoeveel of welke certificaten. Voorkeur heeft Azure DP-203 en/of Databricks Data Engineer associate (10 punten);
15. Bekendheid met overheid compliance-normen zoals ISO 27001, GDPR, AVG en andere relevante voorschriften (10 punten).

Competenties

- Analytisch
- Oplossingsgerichtheid
- Resultaatgerichtheid
- Nauwkeurig
- Communicatief zowel schriftelijk als mondeling sterk
- Sterke samenwerkingsvaardigheden
- Kwaliteitsgericht
- Klantgericht
- Proactief en initiatiefrijk
- Probleemoplossend vermogen en het vermogen om onder druk te werken

VOG
De opdrachtgever zal om een Verklaring Omtrent het Gedrag (VOG) vragen.

Let op: Om je sollicitatie correct te verwerken, verzoeken wij je vriendelijk om de screeningsvragen onder deze vacature te beantwoorden. Dit helpt ons om je profiel snel en zorgvuldig te beoordelen.

Voordelen voor detacheerders (uitzendovereenkomst) om via All About Work te werken

• Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.
• All About Work hanteert geen relatie- of concurrentiebeding.
• Vanaf dag 1 opbouw pensioen via Stipp
• Keuze loon uitbetaling per week of per vier weken.
• CAO van de opdrachtgever is van toepassing.

• 1. De kandidaat beheerst de Nederlandse taal vloeiend, in woord en geschrift;
  2. Door de kandidaat zélf geschreven CV en motivatiebrief;
  3. Hbo- of wo-werk- en -denkniveau;
  4. Minimaal 2 jaar ervaring in een vergelijkbare functie als Data Engineer;
  5. Minimaal 1 jaar ervaring met Databricks;
  6. Minimaal 1 jaar ervaring met Python en SQL;
  7. Minimaal 2 jaar Azure ervaring.

  8. 3 of meer jaren ervaring als data engineer (20 punten);
  9. 2 of meer jaren ervaring met Databricks (20 punten);
  10. 3 of meer jaren ervaring in Azure (10 punten);
  11. 1 of meer jaren ervaring met Terraform (10 punten);
  12. Minimaal 2 jaar ervaring met Azure Data Factory (ADF) (10 punten);
  13. Minimaal 1 jaar ervaring met Kubernetes (10 punten);
  14. Azure en/of Databricks certificeringen zijn een pluspunt. Geen onderscheid in hoeveel of welke certificaten. Voorkeur heeft Azure DP-203 en/of Databricks Data Engineer associate (10 punten);
  15. Bekendheid met overheid compliance-normen zoals ISO 27001, GDPR, AVG en andere relevante voorschriften (10 punten).

  16. Wat is je gewenste bruto fulltime maandsalaris voor deze functie? 

  17. Per wanneer ben je beschikbaar?