Nous recherchons un
Data Engineer Confirmé
pour rejoindre notre équipe Data en pleine croissance. Ce poste implique la conception, le développement et l’industrialisation de pipelines de traitement de données au sein d’une architecture moderne de type Data Mesh, avec une forte exigence en matière de qualité, de performance et de documentation.
Missions principales
Concevoir, développer et optimiser des pipelines de traitement de données en utilisant Python, Spark et Scala pour assurer une ingestion efficace et fiable des données.
Participer à la définition et à l’implémentation de l’architecture Data Mesh, structurée en couches Bronze, Silver et Gold, pour une gestion modulaire et évolutive des données.
Mettre en place et optimiser le stockage objet des données sur MinIO, garantissant la scalabilité et la sécurité des données stockées.
Modéliser et partitionner les données dans PostgreSQL afin d’assurer des performances optimales et une scalabilité adaptée aux volumes traités.
Structurer et stocker les données au format Parquet, dans une optique d’optimisation du stockage et de la rapidité des requêtes.
Exposer et interroger les données via SQL fédéré en utilisant Trino/Starburst pour une intégration fluide avec différentes sources de données.
Participer à l’exploitation et au déploiement des services sur une infrastructure conteneurisée, pilotée via Rancher, dans un environnement Cloud sécurisé.
Mettre en œuvre des flux de streaming et de capture de changement de données (Kafka, Debezium) et orchestrer les traitements avec Airflow pour garantir la réactivité et la cohérence des données.
Présentation du poste
Rédiger la documentation technique et les présentations pour chaque contexte ou domaine de données, facilitant la compréhension et la maintenance des solutions.
Contribuer aux bonnes pratiques d’ingénierie data, notamment en matière de qualité, de tests, de standards de code et de revue de code, pour assurer une excellence opérationnelle.
Stack Technique :
Langages : Python, Scala.
Traitement de données : Apache Spark.
Stockage objet : MinIO.
Base de données : PostgreSQL (avec partitionnement de tables).
Format de données : Parquet.
Architecture : Data Mesh (Bronze / Silver / Gold).
Requêtage SQL fédéré : Trino.
Orchestration de workflows : Apache Airflow.
Streaming & CDC : Kafka, Debezium.
Conteneurisation / Orchestration : Rancher (SUSE), Kubernetes.
Cloud : environnement public cloud, stockage compatible S3, gestion des identités et accès (IAM).
CI/CD & Infrastructure as Code : GitLab CI, Terraform.
Observabilité : Prometheus, Grafana, centralisation des logs.
Gouvernance & catalogage des données : outils de data catalog.
Versioning : Git.
Documentation : rédaction de documents de présentation par contexte / domaine.
Ce poste
Data Engineer confirmé
requiert un candidat expérimenté, capable de gérer efficacement des projets de traitement et d’architecture de données tout en assurant une conformité rigoureuse avec les normes en vigueur.
Profil recherché
Expérience
Niveau d’expérience requis dans le domaine de l’ingénierie des données, avec une expertise significative en environnement de production.
Autres informations
Niveau d’études requis : Master ou équivalent Bac+5 en informatique, école d’ingénieur ou université.
Langues exigées : Français bilingue et maîtrise de l’anglais.
Formation / Diplômes
Secteurs d’activité de l’entreprise pertinents pour le poste : Technologies de l’information, Big Data, cloud computing, ingénierie logicielle.
Qualifications et compétences :
Maîtrise avancée de Python et Scala pour le développement de pipelines de données et d’applications analytiques.
Bonne connaissance d’Apache Spark pour le traitement distribué de données volumineuses.
Expérience concrète dans la conception et la mise en œuvre d’architectures Data Mesh, comprenant les environnements Bronze, Silver et Gold, ainsi que dans la gestion de lacs et d’entrepôts de données.
Connaissance approfondie de Trino pour le requêtage SQL fédéré, permettant l’interrogation de plusieurs sources de données en temps réel.
Solide maîtrise de PostgreSQL, notamment en matière de partitionnement de tables pour optimiser la performance et la scalabilité.
Capacité à travailler dans des environnements conteneurisés et orchestrés, notamment Kubernetes et Rancher, assurant une gestion efficace des déploiements.
Excellentes capacités rédactionnelles pour la documentation technique et le suivi des projets.
Autonomie, rigueur, esprit d’équipe, et capacité à s’intégrer rapidement chez le client pour assurer un service de qualité.
Sensibilité aux bonnes pratiques DevOps, notamment CI/CD pour automatiser les déploiements et assurer la stabilité des environnements.
Expérience de travail en mode agile (Scrum, Kanban), avec une forte capacité d’adaptation aux changements.
Excellentes compétences en communication orale et écrite, avec un bilinguisme français-anglais, facilitant la collaboration internationale.
Présentation du poste
Sens de l’innovation, curiosité pour les nouvelles technologies data, et capacité à proposer des solutions innovantes.
---
[Cliquez sur le bouton Postuler ci-dessous pour postuler, et sur Créer mon CV pour concevoir un CV adapté à cette offre, de façon professionnelle]