Il s'agit d'assister le client en tant qu'ingénieur DATA sur le service de cloud datawarehouse sous Azure. Nous recherchons un Data Engineer ayant déjà fait du DevOps, capable de travailler à la fois sur les traitements de données (Databricks, architecture médaillon bronze / silver / gold) et sur l'infrastructure cloud associée (Azure, Terraform, Jenkins), dans un contexte d'entreprise avec des standards Git et CI/CD.Du conseil, des études d'opportunité et dossiers d'innovation seront demandés. Missions principales (Data & supervision) ? Concevoir, développer et enchaîner des notebooks Databricks en PySpark pour alimenter les zones bronze, silver et gold. ? Maîtriser et exploiter les formats parquet, delta et csv, en comprenant leurs impacts sur la performance, la robustesse et les coûts. ? Optimiser les notebooks et jobs existants (performance, qualité de données, coûts d'exécution). ? Mettre en place et faire vivre la supervision des flux : monitoring des pipelines Azure Data Factory, suivi de la qualité des données, création d'alertes et de tableaux de bord de suivi. ? Contribuer à la fiabilisation globale de la plateforme data (détection d'anomalies, reprise sur incident, bonnes pratiques de développement). ? Collaborer avec les équipes métier et techniques pour comprendre les besoins, prioriser les évolutions et industrialiser les traitements. Missions annexes (DevOps & infra) ? Mettre à jour et faire évoluer les repos d'infrastructure (Terraform, Jenkins) en suivant les templates et bonnes pratiques du git d'entreprise. ? Maintenir, paramétrer et exécuter les pipelines Jenkins liés aux déploiements et aux traitements data, en garantissant leur fiabilité et leur traçabilité. ? Participer activement à la vie des repos GitHub : revue de code (PR/MR), gestion des branches, compréhension des workflows Git avancés, automatisation et diffusion des bonnes pratiques. Technologies & environnement technique ? Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI. ? Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM. ? Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL. ? Formats & data : parquet, delta, csv? ? Librairies Python courantes : o pyspark (transformations, jointures, agrégations, optimisations). o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation). o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud. Profil candidat: Qualités requises Nous recherchons une personne autonome et rigoureuse, capable de prendre en main des problématiques complexes et de rechercher activement des solutions par elle-même. Le projet évoluant dans un environnement d'entreprise, une bonne adaptabilité est essentielle pour naviguer entre les contraintes techniques, les processus internes et les attentes des différentes parties prenantes. La capacité à s'organiser, à prioriser les tâches et à documenter son travail sera également un atout majeur pour contribuer efficacement à la supervision et à l'industrialisation de la plateforme. ? Être force de proposition, savoir travailler en autonomie ? Bon niveau rédactionnel (Documentation, Guides, etc.) ? Anglais professionnel Expérience professionnelle de 7 ans minimum. Compétences clés Obligatoire Architectures orientées data, IA, et reporting BI. dev ops Important Anglais technique databriks Microsoft Azure