RED TIC
DATA ENGINEER SPARK / SCALA
RED TICLuxembourg20 days ago
Full-timeInformation Technology
  • Freelance
  • Luxembourg
  • Publié il y a 6 mois

RED TIC recherche un(e) Data Engineer SPARK / SCALA pour renforcer notre équipe de data engineering. Vous jouerez un rôle clé dans la conception, le développement et l’optimisation des pipelines de traitement de données à grande échelle.

Mission

  • Concevoir et développer des pipelines de traitement des données en utilisant Apache Spark et Scala.
  • Implémenter des solutions scalables et optimisées pour la gestion et l’exploitation des big data.
  • Travailler sur des architectures distribuées et optimiser les performances des traitements.
  • Assurer l’intégration des données provenant de différentes sources (SQL, NoSQL, fichiers, API, etc.).
  • Déployer et gérer les solutions dans un environnement cloud (AWS, GCP, Azure).
  • Collaborer avec les équipes Data Science, BI et DevOps pour mettre en place des solutions data-driven.
  • Implémenter des stratégies de monitoring et de gestion des erreurs pour garantir la fiabilité des traitements.
  • Participer aux choix technologiques et aux évolutions des architectures de données.

Profil Recherché

  • Diplôme en informatique, data engineering, ou équivalent.
  • Expérience de 3 ans minimum en développement de pipelines de données avec Spark et Scala.
  • Bonne connaissance des architectures distribuées et des bases de données big data (Hadoop, Hive, HBase, Cassandra).
  • Expérience avec les outils de workflow orchestration (Airflow, Luigi, etc.).
  • Maîtrise des bases de données relationnelles et NoSQL (PostgreSQL, MongoDB, Elasticsearch).
  • Expérience avec les services cloud data (AWS EMR, Databricks, GCP BigQuery, Azure Synapse).
  • Compétences en optimisation des performances et gestion des grandes volumétries de données.
  • Connaissance des méthodologies DevOps / CI-CD et des outils d’automatisation (Docker, Kubernetes, Terraform).

Compétences supplémentaires appréciées

  • Expérience avec Python, Java ou Kafka.
  • Connaissance des pratiques d’ingénierie des données et de gouvernance.
  • Familiarité avec les modèles de machine learning et leur mise en production.

Pourquoi nous rejoindre ?

  • Un environnement technique innovant et des projets stimulants.
  • Une équipe dynamique et une culture axée sur l’excellence technique.
  • Des opportunités d’évolution et de formation continue.
  • Un cadre de travail favorisant la collaboration et l’innovation.

recruitment consulting management training sourcing job jobs offer internship morocco africa java développement developpement développeur developpeur informatique application it jee android consultant devops fullstack. D’abord. Tout d’abord. En premier lieu. Ensuite, de plus. Finalement. En outre. Par ailleurs. En dernier lieu. enfin. D’abord, En premier lieu, Pour commencer, Premièrement, En conclusions ur conclure, Enfn, Finalement, En dernier lieu, bien que. il y a aussi il est vrai que… mais. tout en reconnaissant que… on peut supposer que. Par exemple . En fait . Prenons le cas de. Considérons, par exemple. L’exemple le plus r. Cependant. Mais. Pourtant. Toutefois. Néanmoins. Contraste. Alors que. Tandis que. Par contre. En revanche SPARK / SCALA

Nom et Prénom

Adresse Email

Mobile

Niveau d étude

Bac Bac +1 Bac +2 Bac +3 Bac +4 Bac +5 Bac + X

Années d’Expérience

0 +1 +2 +3 +4 +5 +6 +7 +8 +9 + 10

Préavis

Disponible immédiatement -1 mois 1 mois 2 mois +2 mois

Message

Upload CV

Téléverser votre CV ou tout autre document relatif. Taille max: 2 MB.

Key Skills

Ranked by relevance
Apply