Ingenieur Cloud Devops Google Cloud au Club Med 2021-2024

Synthèse

Le Club Med m'a fait confiance 30 mois pour configurer et administrer le cloud de Google,
accompagner aussi bien les équipes Data (scientifiques, analystes, ingénieurs) que les équipes d'administrateur systèmes (linux, postgresql, nagios, wallix, ) dans l'industrialisation
et le déploiement dans un environnement hybride (combinaison des solutions cloud et privées)
dans le cadre du projet Road 45

Introduction Début Mission

Département Data vs Département Archi. Data habitué à expérimenter dans le cloud avec accès administrateur aux ressources. But => expérimenter avec des POC et découvrir des Use Case associé à de la business Value.
Archi habitué à stabiliser et sécuriser les ventes sur un système éprouvé par les années.
J'ai travaillé dans l'équipe des Archis et les Data étaient mes clients. Octo s'occupe de tout (surtout la Data). Budget dédié aux data ingénieurs et profils séniors de pointe.
Difficulté à trouver des profils à la fois qualifiés aux compétences et outils clés en main du cloud et à la fois prêt à "s'embêter" avec les contraintes du client (OpCon pour l'orchestration).
Un défi était de préparer la landing zone Google Cloud avec les équipes (réseaux, administrateur de base de données, systèmes) via des ateliers prise en main des outils Git, Terraform et Ansible en plus de la terminologie du cloud; à temps pour ne pas entraver la feuille de route du travail des data ingénieurs qui précédaient celui des data scientifiques.

Évolution

C'est ma précédente expérience de GCP à Figaro Classifieds qui avait retenu l'attention d'Alain Chambrey.
À l'initiative du projet Road 45, l'équipe OCTO allait révolutionner une partie du système informatique pour passer d'un datalake alimenté quotidiennement à une "data factory" en 6 mois: lien vers leur article dédié.
Après ces 6 mois il fallait une personne (moins onéreuse) pour poursuivre les travaux.
Le poste et ses responsabilités se définissant au fur et à mesure, un nouveau talent a pu être recruté en interne.
Ce recrutement a permi de justifier la création d'une équipe dédiée (notre pair) avec nos propre sprint agile et cohésion interne.

À cette étape du projet il y avait 3 équipes.
Une équipe de data-ops pour la mise en place sécurisé du temps réel (DB2 -> kafka -> cloudsql/Bigquery).
Une équipe de data-ingénieurs pour préparer les données exploités par les data scientifiques.
Et l'équipe cloud devops google, dont j'étais le coeur (mentoré par Nicolas Karageuzian) , aussi bien au service des différentes équipes d'administration que des susmentionnées.
Finalement OCTO s'est concentré sur l'analyse des données, les moyens algorithmiques et outils du cloud (python, postgresql, cloud function, cloud run, big query, vertex ai) à mettre en oeuvre pour les exploiter ; en nous laissant la responsabilité de fournir le cadre (gestion des droits, accès réseaux, mise à disposition des VM, patron/template d'archi self service, CI/CD, playbooks ansible).

C'était l'occasion de promouvoir le GitOps,
faire passer d'un monorepo de playbooks ansible à un modèle profitant des collections galaxy,
partager les contributions sous forme de déclarations "Infrastructure As Code" avec terraform,
veiller au respect des process déjà mis en place et profiter de l'élan agile qui se généralisait dans chaque équipe avec plus ou moins de réussite.

Exemple d'intégration:

• Se connecter aux Google Cloud Engines (VM) au travers d'un réseau sécurisé depuis l'interface Wallix.
• Déclencher aussi bien une modification d'infrastructure (terraform) qu'un déploiement de programme (ansible) via la CI Gitlab en passant par OpCon.
• Capacité de proposer des merges requests sur le dépot de données administrateur afin de demander des droits et profiter d'une validation via la CI. (gouvernance assurée par de la transparence)
• Déployer un projet Dataform (JS+SQL/BigQuery) en CLI afin d'être le plus cloud agnostique/indépendant possible.
• Remonter des alertes à Nagios à partir des métrics de la plateforme cloud.
• Remonter les metadonnées quotidiennement au datacatalog (celui de Zeenea était retenu)

Une fois les fondations posées et stabilisées entre de bonnes mains, j'ai pu négocier du temps partiel pour rester disponible des équipes qui avaient pris en main l'administration de GCP, et basculer dans l'équipe des data analystes chargé de la transition des flux de données BI.
Plusieurs lots historiques (exports de données à l'INSEE, estimation budget N+1 et comparaison des chiffres avec l'outil comptable interne, ...) étaient codés en SAS. Il fallait convertir la plupart du code en SQL et adapter les interractions systèmes (traitement de fichier) en programmes de pré/post-traitement. L'enjeu était de le rendre accessible à des profils "non dev", orientés plus métier que code.

vidéo ou André Bourlat explique l'évolution des technos pour un cas de gentil requeteur

Conclusion

Défi de la pyramide des ages (apprendre Git à une personne qui part à la retraite dans moins de 2 ans). Défi de travailler avec des talents qui veulent utiliser un max de techno du cloud pour remplir le CV et les faire rester alignés avec la stratégie. Merci pour l'autonomie et la confiance au manager André Bourlat. Prise de responsabilité, force de proposition, travail en petite équipe mais interractions avec de nombreux profils très différents.

Défis soft skills

Au début compliqué de trouver mon role: responsabilités floues entre OCTO et moi. Architecte débordé avec une gestion du temps à améliorer (symptome du sauveur triangle de Karpman) hors de ma zone de confort: j'avais des notions de réseaux, de système linux et du cloud passer du mode produit dev à ticket "urgent" à prioriser

Communiquer sur nos choix des priorités et la prise en compte des différents besoins et du planning décidé. Expliquer les prérequis parfois insoupçonnés aux équipes. Gérer le temps de l'équipe (réserver des créneaux pour un fil rouge, un créneau pour écouter les demandes, un créneau quotidien pour une urgence/aide)

Défi techno

Qui va déployer vers quoi en respectant quelles procédures existantes. Quels sont les freins ?

À peine mis le nez dans les projets internes de l'ESN spécialisée en Java puis Javascript qui m'emploie depuis 2018, je suis présenté au Club Med fin décembre 2021 pour mes connaissances de Google Cloud Platform (GCP). Il s'agit d'une mission très courte (certainement pour consommer le budget du dernier trimestre) consistant principalement à exporter les facturations des produits du cloud vers un elasticsearch pour proposer un tableau de bords sur Kibana. Le manager de l'équipe "Architecture et Devops" Alain Chambrey me propose de continuer avec le rôle de cadrer l'industrialisation de ce que l'équipe data mets en service dans GCP.

Jusqu'à cette période, le club med avait maintenu une politique "air gap" complètement déconnectée des clouds pour reposer sur ses propres ressources pour assurer ses services informatiques en production. Peu avant la crise du covid l'équipe data avait commencé des travaux pour du "lead scoring" en faisant appel à de l'aide exterieure. En 2022 un nouveau projet se prépare pour le groupe Club Med: "Road 45".