Voor onze eindklant, gemeente Amsterdam, zoeken wij een Senior Data Engineer
Migratie naar "Databricks" op azure-platform.
Je gaat verschillende datateams bij de eindklant helpen met het migreren van hun bestaande datapipelines naar Databricks op het Azure-platform.
Start opdracht zsm (medio juni of begin juli in overleg)
Duur opdracht 12 maanden
Uren per week 36
Locatie Amsterdam / Thuis
Tarief € 95 - € 107
Het doel van deze opdracht is het begeleiden van de datateams AMI-F en AMI-P om de huidige Oracle DWH succesvol te migreren naar het Microsoft Azure Dataplatform van Amsterdam. Uitgangspunt is dat dit gebeurt met minimale onderbreking van de bestaande bedrijfsprocessen, passend binnen de nieuwe architectuur van het dataplatform en het uiteindelijk stapsgewijs uitfaseren van het huidige DWH. Deze migratie moet ervoor zorgen dat de meest belangrijke historische en actuele gegevens nauwkeurig worden overgebracht naar het dataplatform, terwijl de consistentie en betrouwbaarheid van de gegevens behouden blijven. Tegelijkertijd wordt er gekeken naar alle huidige processen en functionaliteit binnen het huidige DWH en te bepalen in hoeverre dit mee gemigreerd kan worden.
Het is voor deze opdracht daarom ook van belang om de data na bewerking (koppelen, afleiden) inhoudelijk goed te controleren, zodat we geen verkeerde statistieken publiceren. In deze functie wordt nauw samengewerkt met de andere data engineers die ook inhoudelijk veel ervaring hebben met de data. In het kort omvatten de werkzaamheden het meewerken met het team en meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks komen. Hieronder valt ook het deployen van ontwikkelomgeving naar productie.
WerkzaamhedenDe data engineer levert een plan van aanpak Oracle DWH naar Azure Dataplatform in Powerpoint, Word of PDF.
Daarin staan de volgende onderwerpen beschreven
- Huidige DWH met alle bronnen incl. de koppelingen;
- Huidige DWH met alle afnemers;
- Identificeren van de op te leveren dataproducten;
- Identificeren van complexiteit en afhankelijkheid van dataproducten om een volgordelijkheid te bepalen;
- Stappenplan (ook in tijd) om alle (geschoonde) dataproducten over te zetten, dit omvat bronschema's, schema's/datamarts en alle aanverwante DWH objecten om het huidige DWH uit te kunnen faseren.
Daarnaast helpt de kandidaat de teams met
- Coachen en kennis overdragen naar de teamleden. Resultaat; teamleden kunnen na afloop van de opdracht zelfstandig bestaande pipelines migreren.
- Het najagen van kennisdelen en use case uitwerkingen om tot best practices te komen gedurende de migraties van datawarehouses en cloudVPS naar azure dataplatform. Resultaat; Organiseren van minimaal 2 events.
- Het omschrijven van bestaande datapipelines naar geautomatiseerde datapipelines in Databricks in de Cloud. Resultaat; bestaande code is gemigreerd naar Azure omgeving (Databricks/Azure Devops/Azure blob storage).
- Je controleert of de resultaten van een gemigreerde datapipeline exact dezelfde resultaat opleveren als in de oude omgeving. Resultaat; gemigreerde code is nauwkeurig gecontroleerd op onjuistheden.
- Meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks en Azure komen. Resultaat; Geoptimaliseerde data pipelines in Databricks.
- Je geeft advies en denkt mee over hoe we onze datapipelines met behulp van Git kunnen deployen in productie. Resultaat: een goed systeem om te kunnen deployen van ontwikkel omgeving naar productie omgeving.
- Actief samenwerken met de overige datateamleden door tijdens het werk jouw kennis over te dragen, onder andere door feedback te geven op code van collega's. Resultaat: teamleden kunnen met vragen terecht bij de kandidaat en kunnen door ondersteuning betere pipelines bouwen en code schrijven.
- Het integreren en modelleren van data conform richtlijnen en standaarden van de data office en conform architectuur principes. Resultaat: de pipelines hebben een goede architectuur waar we op voort kunnen bouwen. Naast de coaching en 2 events organiseren.