Senior Data Engineer Azure Databricks
Contexte
Projet de data engineering à grande échelle au sein du secteur européen de l'énergie. Mission en hybride, avec 2 jours sur site à Bruxelles et 3 jours en télétravail, après une formation initiale.
Missions
- Concevoir et développer des pipelines de données sur Azure Databricks avec PySpark et Delta Lake
- Structurer les données selon une architecture médaillon (Delta Tables, Lakehouse, fichiers Parquet)
- Optimiser les performances des requêtes SQL Azure et T-SQL (plans d'exécution, index, partitionnement)
- Mettre en place des flux d'ingestion et d'orchestration avec Azure Data Factory
- Automatiser les livrables via CI/CD et gestion de version
Profil recherché
- 5 ans d'expérience minimum en data engineering
- Maîtrise d'Azure Databricks, PySpark, Delta Lake et Azure SQL
- Expertise avancée en T-SQL et optimisation de requêtes SQL
- Au moins 1 an d'expérience en leadership technique, mentorat ou coaching
- Anglais courant obligatoire, allemand apprécié