Data engineer DevOps real-time
RijkswaterstaatNetherlands16 hours ago
Full-timeInformation Technology
Track This Job
Add this job to your tracking list to:
- Monitor application status and updates
- Change status (Applied, Interview, Offer, etc.)
- Add personal notes and comments
- Set reminders for follow-ups
- Track your entire application journey
Save This Job
Add this job to your saved collection to:
- Access easily from your saved jobs dashboard
- Review job details later without searching again
- Compare with other saved opportunities
- Keep a collection of interesting positions
- Receive notifications about saved jobs before they expire
AI-Powered Job Summary
Get a concise overview of key job requirements, responsibilities, and qualifications in seconds.
Pro Tip: Use this feature to quickly decide if a job matches your skills before reading the full description.
Werk mee aan een veiliger, beter bereikbaar en duurzamer Nederland door het bouwen van betrouwbare real-time dataproducten. Bij het Nationaal Dataportaal Wegverkeer (NDW) verwerken we elke minuut grote hoeveelheden real-time verkeersdata. Deze data gebruiken we voor verkeersmanagement, beleidsinformatie en datadiensten richting publieke en private partijen. Als data engineer in ons DevOps-team ben jij medeverantwoordelijk voor het bouwen, beheren en verbeteren van de datastromen en kwaliteitscontroles die de ruggengraat vormen van ons dataplatform. Interesse gewekt? Lees dan snel verder!
Hoe jij bijdraagt in je rol
Als data engineer ben je (mede-)verantwoordelijk voor het ontwerpen, beheren en optimaliseren van real-time datastromen en de datakwaliteit van onze producten. Je werkt aan dataverwerking in verschillende formats en protocollen, en zorgt ervoor dat onze data compleet, actueel en betrouwbaar is. Dit doe je zowel voor externe afnemers als voor interne teams die historische en analytische toepassingen bouwen.
Je Dagelijkse Werk Omvat Onder Andere
Hoe jij bijdraagt in je rol
Als data engineer ben je (mede-)verantwoordelijk voor het ontwerpen, beheren en optimaliseren van real-time datastromen en de datakwaliteit van onze producten. Je werkt aan dataverwerking in verschillende formats en protocollen, en zorgt ervoor dat onze data compleet, actueel en betrouwbaar is. Dit doe je zowel voor externe afnemers als voor interne teams die historische en analytische toepassingen bouwen.
Je Dagelijkse Werk Omvat Onder Andere
- Het testen en beheren van dataverbindingen: het uitvoeren van aansluittesten en valideren van de integratie van externe verkeersdataleveranciers met onze systemen.
- Het automatiseren van datakwaliteitscontroles: volledigheid, trendbreukdetectie, plausibiliteitschecks en latency-monitoring.
- Het ontwikkelen van Python-scripts en SQL-queries voor transformaties, validaties en analyses.
- Het monitoren en verbeteren van dataproducten, met gebruik van observability tools zoals Prometheus, Grafana en Loki.
- Het doen van incidentanalyses en herstel van datasets, inclusief replay- en herstelstrategieën.
- Het samenwerken met andere ontwikkelteams, onder meer teams die historische aggregaties en kaartvisualisaties bouwen.
- Het aanspreekpunt zijn voor binnenkomende meldingen over datastromen en die omzetten in acties of verbeteringen.
- Werken met hoogfrequente real time verkeersdata waarbij de maatschappelijke impact direct voelbaar is
- Zowel bouwen als bewaken van dataproducten waarbij je meewerkt aan datakwaliteit én productieomgevingen
- Samenwerken in een DevOps team dat end to end verantwoordelijk is voor de volledige dataketen van binnenkomst tot publicatie
- Het combineren van data engineering met moderne manieren van meten en sturen op betrouwbaarheid en prestaties
- De kans krijgen om te leren en te experimenteren met technologieën als Apache Kafka, Avro en Kubernetes waardoor je je technische vakmanschap verder verdiept
Key Skills
Ranked by relevanceReady to apply?
Join Rijkswaterstaat and take your career to the next level!
Application takes less than 5 minutes