Data Engineer - Secteur de l'Energie (H/F)

Rejoignez notre équipe en tant que Data Engineer pour concevoir, développer et optimiser des pipelines de données à grande échelle. Vous travaillerez sur des projets innovants en exploitant les technologies AWS, Databricks et Apache Spark pour transformer des données brutes en insights actionnables.

Mission du poste :

Concevoir, développer et maintenir des pipelines de données (batch et streaming) avec Apache Spark (PySpark/Scala).

Optimiser les performances des traitements de données sur Databricks (Delta Lake, Spark SQL, etc.).

Déployer et gérer des infrastructures AWS (S3, Glue, EMR, Lambda, Redshift, etc.).

Automatiser les workflows de données avec Airflow ou Step Functions.

Collaborer avec les équipes Data Science et Analytics pour fournir des données fiables et structurées.

Assurer la qualité des données (nettoyage, validation, monitoring).

Participer à l'évolution de l'architecture data (Data Lake, Data Warehouse).