Ingénieur de données (Spark, Python, MongoDB)

Ingénieur de données (Spark, Python, MongoDB)

Ingénieur de données (Spark, Python, MongoDB)

Notre client, une entreprise d’envergure, recherche un ingénieur de données (Spark, Python, MongoDB).

Responsabilités:


- Implémenter des pipelines de données dans l'environnement Apache Spark et Python.
- Nettoyer et préparer les données pour l'équipe Bi.
- Prendre en charge et améliorer des scripts pour l'ingestion de données et la maintenance des données dans le lac de données.
- Surveiller les performances et recommander / mettre en œuvre les changements d'infrastructure nécessaires.
- Définir les politiques de rétention et d'accès aux données.
- Automatiser l'infrastructure de pipeline de données dans un environnement Linux.
- Concevoir des systèmes qui tiennent compte des coûts et qui offrent le meilleur rapport qualité-prix.
- Gérer le cluster et l'environnement et les scripts / outils associés.
- Travailler avec les développeurs et autres ingénieurs d'infrastructure pour fournir une solution complémentaire.
- Travailler avec une équipe qualifiée de développeurs et d'architectes dans un environnement dynamique de groupe.
- Apporter des innovations et de nouvelles solutions aux défis actuels et futurs.

Compétences requises:


- 2 ans et plus d'expérience en tant qu'ingénieur de données.
- 2 ans et plus d'expérience avec les pipelines et les outils de production Hadoop.
- 3 ans et plus d'expérience en Python.
- Expérience avec Scala et Spark.
- 3 ans et plus d'expérience de travail dans un environnement Linux.
- Maîtrise des principes du calcul distribué.
- Expérience pratique avec SQL et / ou NoSQL (MySQL | MongoDB | Elastic Search | MemSQL).
- Capacité à comprendre et à résoudre les problèmes de Big Data à de nombreuses couches de la pile.
- Capacité à effectuer plusieurs tâches, à prioriser et à estimer l'effort.
- Expérience de l'établissement de normes d'intégration et de processus connexes.
- Soucieux des détails.
- Bonnes habitudes de documentation.
- Expérience avec les outils de gestion de flux de travail (Jira, GitHub Workflow).
- Autonome (capable de mettre en place et de maintenir un environnement de développement), un atout.
- Expérience avec AWS EMR et AirFlow, un atout.
- Aune haute estime du TDD, un atout.
- Expérience en outils conceptuels (UML Diagramming, Flow), un atout.
- Expérience avec les conteneurs et les architectures basées sur des conteneurs, un atout.
- Expérience avec R, un atout.
- Expérience avec les algorithmes d'apprentissage automatique, un atout.
- Expérience avec Apache Spark Dataframes | Datasets, un atout.
- Expérience de travail dans un environnement Agile, un atout.


  • Région

    Montréal (grand Montréal)

  • Statut

    Permanent

  • Entreprise

    Client

  • No. de poste

    9568

POSTULER MAINTENANT