Data engineer GCP Monétique - Freelance (H/F)

CONTEXTE

Récupérer les données issues de sources externes

• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels

Mise en œuvre de la chaîne :

*

d'ingestion de données

*

de validation de données

*

de croisement de données

*

de déversement dans le datalake des données enrichies

• Développer dans le respect des règles d'architecture définies
• Développer et documenter les user stories avec l'assistance du Product Owner et des chefs de projets
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d'exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels

Aspects humains :

• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail)
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées

MISSIONS

*

Récupérer et ingérer des données issues de sources externes

*

Valider et croiser les données

*

Déverser les données enrichies dans le datalake

*

Développer et documenter les user stories

*

Produire les scripts de déploiement

*

Prioriser et corriger les anomalies

*

Assister les équipes d'exploitation

*

Participer à la mise en œuvre de la chaîne de delivery continue

*

Automatiser les tests fonctionnels

• 1. Plus de 9 ans d'expérience
• 2. Maîtrise de la plateforme et environnement GCP (indispensable)
• 3. Connaissance de l'environnement GKE
• 4. Compétences en stockage : HDFS / GCS
• 5. Maîtrise de l'écosystème Spark / Kafka / Scala
• 6. Expérience en planification avec Airflow / Composer
• 7. Pratique des méthodologies Scrum, Kanban, Git
• 8. Connaissances en DWH : SQL, BigQuery, BigTable
• 9. Compétences en delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
• 10. Grande capacité à travailler en équipe, en mode Scrum / Kanban
• 11. Bonnes compétences relationnelles et grand sens de la communication
• 12. Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées