IRemoteData Engineer Cloudera
Contexte
Mission pour un grand compte international disposant de plateformes Cloudera à grande échelle. Poste en télétravail depuis le Maroc, en freelance, en CDI ou en contrat offshore.
Missions
- Développer et industrialiser des pipelines de données sur Cloudera avec Spark, Hive et Impala
- Modéliser les données en couches Bronze, Silver et Gold et optimiser les traitements
- Orchestrer les flux avec Airflow et Oozie et garantir la qualité des données
- Contribuer aux migrations vers Cloudera Data Platform (CDP)
Profil recherché
- Expérience en data engineering sur l'écosystème Hadoop et Cloudera, 2 ans minimum
- Maîtrise de Spark, PySpark et SQL
- Connaissance des formats Parquet, ORC et Avro
- Connaissance de Cloudera CDP, Hive et Impala