Voor onze eindklant, het Kadaster, zoeken wij een Data Engineer
Je bent verantwoordelijk voor het bouwen van de dataoplossingen op het platform. Je werkt in een klein team intensief samen met de overige teamleden. Je hebt daarbij een hoge mate van zelfstandigheid. Daarnaast heb je de vrijheid en verantwoordelijkheid om mee te denken met nieuwe toepassingen, die het dataplatform van Databricks kunnen verrijken. Jouw rol in één zin: de ruwe data in het dataplatform, werkbaar maken (d.m.v. tools als PowerBI).
De opdrachtStart opdracht 17-03-2025
Duur opdracht 6 maanden met optie op verlenging 2 x 6 mnd
Uren per week 32-40
Locatie Apeldoorn / Remote
Tarief € 85 - € 95
LETOP: De opdrachtgever stelt dat vanwege de inhoud en rol van deze opdracht, deze niet door een ZZP'er als ondernemer uitgevoerd kan worden. Payroll, zelfstandigenverloning (OptingIn) of detachering zijn wel mogelijk. Vraag gerust naar de opties.
Kort gezegd zorg jij ervoor als data engineer in een Databricks-platformbeheerteam dat de omgeving stabiel, veilig, kostenefficiënt en gebruiksvriendelijk is, zodat data scientists, data analisten en engineers er optimaal gebruik van kunnen maken.
Verantwoordelijkheden- Migreren van verschillende soorten data naar het platform.
- Meedenken met nieuwe toepassingen die het dataplatform kunnen verrijken.
- Bedenken welk testtype de voorkeur heeft en kun het vervolgens ontwerpen en toepassen.
- Ondersteunen teams met oplossingen op hun vragen.
- Lezen en maken van LLD’s (low level designs).
Een data engineer binnen een platformbeheerteam dat Databricks beheert, heeft een veelzijdige rol die zich richt op zowel de infrastructuur als de ontwikkeling van data-oplossingen. De belangrijkste taken zijn:
Beheer en optimalisatie van Databricks-infrastructuur
- Onderhouden en configureren van Databricks-clusters (autoscaling, compute-resources, netwerkconfiguratie).
- Beheren van Unity Catalog.
- Optimaliseren van kosten en performance (cluster policies en job-scheduling).
Automatisering en CI/CD
- Opzetten en beheren van Infrastructure as Code (IaC) voor Databricks-omgevingen (Terraform).
- Automatiseren van deployment pipelines voor notebooks en jobs.
- Versiebeheer en monitoring van Databricks-code en assets.
Ondersteuning van data teams
- Samenwerken met data scientists en data engineers om ETL/ELT-pipelines efficiënter te maken.
- Adviseren over best practices in Databricks (bijv. Delta Lake-optimalisatie, gebruik van Photon Engine).
- Troubleshooting en ondersteuning bij performance issues en foutopsporing.
Security en Compliance
- Beheren van toegangscontrole (bijv. via Unity Catalog, SCIM-integratie, RBAC).
- Implementeren van audit logging en monitoring (bijv. via Azure Monitor, Databricks SQL audit logs).
- Zorgen voor data governance en naleving van security policies (GDPR, ISO27001).
Integraties en API-beheer
- Koppelen van Databricks met externe databronnen.
- Beheren van API-integraties en data-uitwisseling met andere systemen.
- Onderhouden en ontwikkelen van custom connectors of Databricks Jobs API-implementaties.
- Ontwerpen valideren aan de hand van de best practises van Microsoft en de kadaster richtlijnen.
- Landingszone beschikbaar stellen aan diverse platformteams.
- Platformteams ondersteunen en begeleiden bij vragen en kennisopbouw.
- Ontwikkelen en implementeren van oplossingen.
- Assisteren bij troubleshooting en probleemoplossing.
- Documenteren van oplossingen en best practices.
Het Kadaster registreert en verstrekt gegevens over de ligging van vastgoed in Nederland en de daarmee samenhangende rechten, zoals eigendom en hypotheek. Als zelfstandig bestuursorgaan is dat onze wettelijke taak. Onze gegevens bieden houvast bij het onderzoeken van maatschappelijke vraagstukken, of het nu gaat om de beste route voor een nieuwe snelweg, actuele ontwikkelingen op de woningmarkt of het in beeld brengen van leegstand.
Belangrijkste tooling / methoden- Microsoft Azure Cloud
- Databricks
- Bouwen van dataoplossingen op het platform
- Agile werken
- ServiceNow
- Projectmatig werken
- Kennis van Python