Nos offres d'emploi

DATA ENGINEER CONFIRMÉ (H/F)

Description du poste :

APSIT ESN dans les métiers du Numérique, nous  réalisons des prestations sur-mesure en Assistance Technique pour les Directions des Systèmes d’Information et les Maîtrise d’Ouvrage de nos Clients Grands Comptes et PME/PMI. Nous recherchons pour un de nos clients acteur majeur dans le transport, un data Engineer Confirmé (H/F).

Description de l’offre :

 

Dans le cadre du projet CAD, et intégré à une équipe dédiée au projet (un architecte AWS, deux data scientists, un scrum master) et en étroite collaboration avec l’équipe client qui développe l’application mobile (d’où certains données proviennent et à laquelle les résultats sont envoyés via une API)

– Assurer le RUN de la version 1.0 du projet
– Mise en forme des données depuis AWS (S3) avec spark-scala
– Agrégation et historisation des données avec spark-scala
– Exposition des APIs depuis Elasticsearch et les briques Amazon (AWS)
– Mise à disposition des dashboards Kibana
– Packaging, versionning et industrialisation des livrables via jenkins, maven et nexus
– Configuration des briques logicielles et patch management via cloudformation
– Monitoring des briques logicielles avec cloudwatch
– Travailler en étroite collaboration avec le chef de projet, PO, architecte et data scientists
– Participation aux activités d’architecture, conception et développement
– Apporter son savoir-faire sur un plan technique et méthodologique
– Assurer la mise en recette et production

Profil recherché :

 

• Justification de 2 ans minimum d’expérience dans le domaine du Big Data, 1 an minimum d’expérience dans le cloud AWS et au moins 3 ans dans le développement (Java ou scala)
• Justification d’une expérience significative dans un projet impliquant des traitements algorithmique de données géolocalisées, géométries et objets géographiques
• Maîtrise des langages Scala et Python
• Maîtrise des composants Big Data : Hadoop (Yarn & HDFS), Spark (dont GeoSpark)
• Maîtrise d’une ou plusieurs bases de données NoSql (Cassandra, mongoDB)
• Maîtrise d’Elasticsearch et Kibana
• Maîtrise de l’intégration continue : sbt/maven, Gitflow, jenkins, nexus
• Maîtrise des APIs REST
• Maîtrise de node.js
• Maitrise des composant AWS (S3, Kinisis, Lambda, EMR, EC2, Cloudformation, Cloudwatch…)
• Connaissance dans le cycle de vie des données
• Connaissances dans l’architecture microservice
• Connaissance dans la gouvernance des données, notamment personnelles (Traçabilité, Sécurité (Authentification et Autorisation), Audit)

ref: 01MD12521
S’identifier et postuler à l’offre
S’enregistrer et postuler à l’offre