Standplaats: AMSTERDAM
Duur: zsm - 29-11-2024
Optie tot verlenging: Ja
Reageren voor: 13-05-2024
Opdrachtomschrijving
De kandidaat gaat het team helpen met het migreren van hun bestaande
datapipelines naar Databricks op het Azure-platform. Dit doet de kandidaat
door mee te werken, te adviseren en mee te denken met de teamleden. De
huidige datapipelines zijn gemaakt op basis van PostgreSQL queries en
functies en Bash. Een klein gedeelte van de datapipelines staat in
SAS-code.
Werkzaamheden
De kandidaat helpt het team met:
• Coachen en kennis over dragen naar de teamleden
• Het omschrijven van bestaande datapipelines op basis van PostgresSQL,
Python en Bash naar geautomatiseerde datapipelines in Databricks in de
Cloud;
• Je controleert of de resultaten van een gemigreerde datapipeline exact
dezelfde statistieken opleveren als in de oude omgeving;
• Meedenken en adviseren over hoe we van onze huidige werkwijze naar een
geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in
Databricks en Azure komen;
• Je geeft advies en denkt mee over hoe we onze data pipelines met behulp
van Git kunnen deployen in productie;
• Actief samenwerken met de overige teamleden door tijdens het werk jouw
kennis over te dragen, onder andere door feedback te geven op code van
collega's;
• Het integreren en modelleren van data conform richtlijnen en standaarden
van de data office en conform architectuur principes.
Gemeentelijke organisatie
Met ruim 18.000 collega's zorgen we ervoor dat Amsterdam een aantrekkelijke
hoofdstad is en blijft. Waar het fijn is om te wonen, te werken en naar
school te gaan. Met ruimte voor ondernemers en bezoekers. Werken voor
Amsterdam betekent bijdragen aan iets groots. Aan groei, veiligheid,
ontwikkeling, gezondheid. Van de stad, van Amsterdammers. Daarmee geven wij
Amsterdam door; aan de toekomst, aan volgende generaties. We willen een
goede werkgever zijn die ervoor zorgt dat alle collega's zich gezien en
gewaardeerd voelen. We koesteren verschillen tussen
collega's, al die verschillen zorgen voor betere resultaten voor onze
organisatie én onze stad.
Digitalisering bij gemeente Amsterdam
Bewoners, ondernemers en bezoekers van de stad Amsterdam verwachten een
optimaal functionerende stad die aansluit bij de digitale toekomst. Dat
betekent dat wij als gemeente moeten blijven innoveren om een steeds
sneller transformerende stad gepast te kunnen blijven coördineren en
bedienen. Daarom digitaliseert het i-domein, het IT, Innovatie & Data
onderdeel van gemeente Amsterdam, de dienstverlening aan de stad in rap
tempo. Zodat we een voorbeeldfunctie kunnen uitdragen in het op een
veilige, verantwoorde en toekomstbestendige manier omgaan met technologie
en informatie voor en in onze stad.
Datateam Basisstatistiek
Als Data Engineer draag je dus bij aan het verder ontwikkelen van de stad
Amsterdam! Je gaat o.a. aan de slag om de dataverwerking te
professionaliseren, zodat statistische informatie over Amsterdam sneller
beschikbaar is. Dit doe je niet alleen, in deze tijdelijke functiekom je te
werken in het datateam Basisstatistiek bij de afdeling Onderzoek en
Statistiek. Team Basisstatistiek produceert en publiceert statistieken over
bijvoorbeeld inwoners, vastgoed en werkgelegenheid in Amsterdam. Deze
worden gebruikt door beleidsmakers, onderzoekers, politici, journalisten en
burgers.
Functie-eisen:
De aangeboden kandidaat heeft minimaal 2 jaar aantoonbare werkervaring, die is opgedaan in complexe IT omgevingen met circa 1500 fte en beschikt over recente werkervaring als data engineer in een grotere, complexe data georiënteerde omgeving.
De aangeboden kandidaat heeft aantoonbare ervaring met DataBricks op Azure, SQL, Python, CI/CD en Git.
De aangeboden kandidaat heeft aantoonbare ervaring in het coachen en kennis overdragen binnen het vakgebied data engineering.
De aangeboden kandidaat beschikt minimaal over een hbo werk- en denkniveau.
Dit dient duidelijk te blijken uit het cv.
Wensen:
De aangeboden kandidaat heeft ervaring met het werken in een devops team.
De aangeboden kandidaat heeft aantoonbare ervaring met het organiseren en geven van technische workshops en data events waarbij het demonstreren van technieken en het bepalen van best practices binnen het data werkgebied centraal staat.
Dit dient duidelijk te blijken uit het cv.