- Freelance
- Amsterdam
- 11 uur geleden geplaatst
Voor een grote internationale organisatie met een vestiging in Nederland en in Brussel zijn wij opzoek naar een Freelance Apache Kafka Specialist. Je werkt één dag per week op locatie in Brussel, de overige dagen van de week mag je remote...
ID:2066-84644
Voor een grote internationale organisatie met een vestiging in Nederland en in Brussel zijn wij opzoek naar een Freelance Apache Kafka Specialist. Je werkt één dag per week op locatie in Brussel, de overige dagen van de week mag je remote werken vanuit huis.
De Functie:Het werkpakket bestaat uit drie grote fasen (de eerste is reeds afgerond):
1. Ontdekking, Proof of Concept (PoC) met SDA & Documentatie
Deze fase richt zich op het in kaart brengen van het huidige datalandschap en het evalueren van de geschiktheid van het door de groep geleverde Stream Data Analytics (SDA)-platform, dat Flink als dienst aanbiedt.
Een belangrijke activiteit is het uitvoeren van een Proof of Concept met SDA om de mogelijkheden te toetsen aan een geselecteerde use case.
Op basis van de resultaten wordt besloten om door te gaan met SDA of een eigen Flink-omgeving op te zetten.
Deze fase omvat ook uitgebreide documentatie van bevindingen, architecturale overwegingen en een voorgestelde implementatiestrategie.
2. Implementatie van de oplossing
Afhankelijk van de uitkomst van de PoC, wordt in deze fase de gekozen oplossing geïmplementeerd - hetzij door verder te gaan met SDA, hetzij door het opzetten en configureren van een standalone Flink-omgeving.
Het doel is het opleveren van een robuuste, geïntegreerde Flink-pijplijn voor de gekozen use case, die voldoet aan prestatie-, schaalbaarheids- en operationele eisen.
3. Coaching & Kennisoverdracht
De laatste fase is gericht op het in staat stellen van interne teams om zelfstandig met de Flink-oplossing te werken en deze uit te breiden.
Dit omvat hands-on coaching, pair programming en het opstellen van interne documentatie en best practices.
Het doel is duurzame en autonome beheersing en verdere ontwikkeling van de Flink-gebaseerde dataverwerkingscapaciteiten.
Details per fase
Ontdekking, PoC met SDA & Documentatie
- Organiseren van discovery-workshops met stakeholders om de huidige architectuur, datastromen en bedrijfsbehoeften te begrijpen.
- Implementeren van de PoC met SDA, inclusief integratie met relevante data-bronnen en -bestemmingen.
- Beoordelen van SDA op prestaties, schaalbaarheid en operationele geschiktheid.
- Documenteren van bevindingen, architecturale overwegingen en aanbeveling over vervolg met SDA of een standalone Flink-omgeving.
Implementatie van de oplossing
- Finaliseren van de doelarchitectuur en het implementatiemodel.
- Opzetten van de Flink-omgeving (op SDA of standalone).
- Ontwikkelen en testen van Flink-jobs voor de gekozen use case.
- Integreren met bestaande systemen (zoals Kafka, databases, monitoringtools).
- Zorgen voor operationele gereedheid, inclusief logging, alerting en prestatievalidatie.
Coaching & Kennisoverdracht
- Hands-on trainingssessies afgestemd op de geïmplementeerde oplossing.
- Pair programming en codewalkthroughs met interne ontwikkelaars.
- Delen van best practices voor Flink-ontwikkeling, -implementatie en -monitoring.
- Aanleveren van herbruikbare templates en interne documentatie.
- Begeleiding bieden bij opschaling en toekomstige use cases.
Belangrijkste vaardigheden en ervaring
Project:
Doel is het gebruik van het SDA Flink managed platform ter ondersteuning van use cases op MADP (bijv. Geannuleerde contracten met pakketten). Hoewel er gewerkt wordt met technologieën als Flink en Kafka, zijn de use cases vrij eenvoudig en is diepgaande kennis van Flink niet vereist, omdat de meeste complexiteit wordt beheerd via de sdactl-tool.
Technische stack:
- Kafka (SQL) - kennis van topics en het schrijven van consumers en producers.
- Flink (SQL) - kennis van het schrijven van Flink SQL dat topics leest, API's raadpleegt en schrijft naar topics.
- API's, CRUD en OpenAPI/Swagger (YAML)
- Powershell (Windows) - gebruikt voor het instellen van de sdactl-tool.
- Java 17 - wordt weinig gebruikt, behalve voor configuratie en het eventueel maken van UDF's.
- Azure DevOps - CI/CD-repository.
- Minimaal 4 jaar ervaring in software engineering en solution architecture.
- Ervaring met de bankensector en event-driven streamingarchitecturen.
- Sterke communicatieve vaardigheden en stakeholdermanagement (project heeft meerdere externe/interne afhankelijkheden).
- Zelfstandig kunnen werken en duidelijke prioriteiten kunnen stellen.
- In staat om te documenteren, kennis te delen en trainingen te geven.
- 1 dag per week in Brussel aanwezig.
Ben jij geschikt en beschikbaar voor deze mooie opdracht?