Graag motivatiebrief toevoegen m.b.t de eisen
Opdrachtomschrijving
GVB verzorgt het openbaar vervoer in Amsterdam en werkt continu aan een betrouwbare, moderne data- en integratie-infrastructuur ter ondersteuning van haar operationele processen. In dat kader start GVB een pilot om de toegevoegde waarde van een Operationeel Data Platform (ODP) aan te tonen. Waar een klassiek analytisch dataplatform gericht is op rapportage en batchverwerking, ondersteunt het ODP operationele, transactionele workloads: data die met lage latency wordt geschreven en gelezen en die direct bedrijfsprocessen aanstuurt. Het ODP wordt gebouwd op Lakebase binnen het GVB Databricks-platform. In deze pilot gebruikt GVB nadrukkelijk niet het analytische deel van het Databricks Lakehouse. Het ODP wisselt wél data uit met het Lakehouse via de Unity
Catalog, zodat de aansluiting op de bredere data-omgeving geborgd is.
Het ODP hangt nauw samen met het HIP (Hybrid Integration Platform) van GVB, dat gebaseerd is op OpenShift. Het HIP gaat streaming en messaging ondersteunen als integratiepatronen. Voor deze streaming- en messaging-stromen is een persistentielaag nodig waarin operationele data betrouwbaar en transactioneel wordt vastgelegd. Deze persistentielaag is onderdeel van het ODP. Gedurende de pilot wordt er in eerst de focus gelegd op messaging data, echter dient ingericht te worden om beide data stromen te kunnen ontvangen.
De pilot moet niet alleen de waarde aantonen, maar ook een fundament leggen dat in een later productiescenario doorontwikkeld kan worden. De opzet dient daarom vanaf dag één structureel, herhaalbaar en geautomatiseerd te zijn. Tijdens de Pilot maak je onderdeel uit van een virtueel team, samen met een operationeel integratiespecialist, functioneel beheerder Reisinformatie en de solution architecten van Data, Integratie en Reisinformatie.
Werkzaamheden
Je zet Databricks Lakebase op binnen Microsoft Azure in de bestaande Databricks omgeving.
Je legt de volledige inrichting vast in Terraform (Infrastructure as Code), modulair en herbruikbaar, zodat de omgeving reproduceerbaar en later naar productie te promoveren is.
Je richt CI/CD in voor infrastructuur- en databasewijzigingen (incl. Schema- /migratiebeheer).
Je bouwt de persistentielaag op Lakebase waarin de streaming- en messaging-stromen van het HIP (OpenShift) transactioneel worden vastgelegd.
Je bouwt verrijkingen gebaseerd op business logica/ foutcodes.
Je richt de data-uitwisseling met het Databricks Lakehouse in via de Unity Catalog.
Je zet performance- en load-tests op en voert deze uit voor (near-)realtime transactionele verwerking (1.000+ tps).
Je richt security, toegangsbeheer, monitoring en observability in op een productiewaardig niveau.
Je bewaakt datakwaliteit, consistentie en betrouwbaarheid van de transactionele verwerking.
Je documenteert bevindingen en stelt een advies en roadmap voor productie op.
Kennis en ervaring:
Je bent een ervaren dataplatform engineer die zelfstandig een operationeeldataplatform neerzet én de brug slaat naar een productiewaardige inrichting.
Je beschikt over de volgende ervaring en kennis:
7+ jaar ervaring met PostgreSQL;
5+ jaar ervaring met dataplatform engineering;
5+ jaar ervaring met Databricks; 3+ jaar ervaring op Microsoft Azure;
3+ jaar ervaring Infrastructure as Code met Terraform;
Aantoonbare ervaring in (Near-)realtime transactionele verwerking (1.000+ tps);
Aantoonbare ervaring in Integratiepatronen (streaming, messaging en REST).
Aanvullende, gewenste competenties:
Ervaring met Databricks Lakebase en/of andere managed Postgres-diensten.
Kennis van Unity Catalog en de data-uitwisseling tussen het ODP en het Lakehouse.
Ervaring met CI/CD voor infrastructuur en database (bijv. GitHub Actions, Azure DevOps) en schema-/migratiebeheer.
Ervaring met event-streaming technologie (bijv. Kafka, Azure Event Hubs) en messaging (bijv. Service Bus).
Kennis van monitoring en observability (bijv. Metrics, logging, tracing) op productieniveau.
Ervaring met performance-tuning en load-testing van transactionele systemen. Aandacht voor security, governance en compliance in een enterprise-context.
Databricks Data Engineer Associate certificering is een pré Azure Data Engineer Associate certificering is een pré
Persoonlijke eigenschappen
Zelfstandig, pragmatisch en resultaatgericht.
Sterke communicatieve vaardigheden en in staat kennis over te dragen;
Goed in samenwerken binnen een (virtueel) team.
Goede beheersing van de Nederlandse taal.