Skip to main content

HPC with Python and R

1 Prologue

Ce support constitue une première version Alpha de l’atelier. Il sera amélioré avec le temps, au fur et à mesure aussi de notre montée en compétence collective dans ce domaine. Le code source est visible et modifiable par toustes à l’adresse suivante : https://gitlab.huma-num.fr/ar-magis-hpc/workshops/atelier-hpc-notebooks/website-hpc-sageo-2025

Cet atelier est le fruit d’une réalisation collective, en distanciel, par :

  • Yousra Hamrouni (Maître de Conférences en sciences des données et télédetection, AgroToulouse/UMR Dynafor): exemple fil rouge, traitement des rasters, et chaine de traitement en Python
  • Nicolas Roelandt (Ingénieur d’études Géomaticien, Université Gustave Eiffel): traduction de la chaine de traitement Python en R, expertise sur Targets
  • Juste Raimbault (Chargé de Recherche, UMR Lastig): traduction de la chaine de traitement Python en Workflow OpenMOLE
  • Sébastien Rey-Coyrehourcq (Ingénieur de Recherche, UMR IDEES) : coordination, adaptation de la chaine R à Targets/Geotargets, Dockerisation

Les objectifs de cette formation sont les suivants :

  • Introduire l’Action de Recherche, le HPC et son intérêt pour la géomatique
  • Réaliser et présenter une première chaîne de traitement Raster équivalente en R et Python
  • Introduire les formats de données et aux plateformes spécifiques pour le HPC (Targets/R, Jupyter/Dask)
  • Executer ces chaînes de traitements sur des environnements distribués HPC avec Dask (Python), Targets (R), OpenMOLE (R et Python)
  • Rendre le TP reproductible et commenté avec du Literate Programming

1.1 Remerciements

Mille merci à toustes ces personnes pour leur patience et pour nous avoir fait confiance, car sans eux il n’aurait pas été possible de réaliser ce premier TP :

  • L’infrastructure et l’équipe support de Mésonet et des Mesocentres, en particulier

    • Jan Gmys (Ingénieur de Recherche, Université de Lille) sur le calculateur Zen dédié à la pédagogie,
    • Benoist Gaston (Ingénieur de Recherche, Mesocentre du CRIANN) et Béatrice Chartron (Chef de projet HPC, Mésocentre du CRIANN) sur Austral.

  • Les collègues qui portent des logiciels et des formations en HPC pour la simulation (ex-modelo):

    • Romain Reuillon (CR CNRS, Isc-PIF, co-créateur d’OpenMOLE) et l’In2p3 pour le support des VM OpenMOLE

  • Les supports institutionnels :

    • HumaNum pour la forge (CI, SiteWeb) et le stockage (Sharedocs)
    • GDR Magis et SAGEO 2025 pour le support logistique et financier.
    • Onyxia La plateforme de l’INSEE pour le prototypage des workflows gourmand en mémoire.

1.2 Action de Recherche

Réalisé dans le cadre de la nouvelle Action de Recherche (AR) du GDR Magis HPC et Géomatique, cet atelier participe à plusieurs des objectifs fixés dans la feuille de route de l’AR en 2022.

Les objectifs de l’Action de Recherche sont les suivants :

  • Dresser un paysage/inventaire du HPC en Géomatique au niveau national
  • Fédérer et animer une communauté de pratiques
  • Identifier et valoriser les enjeux présent / à venir
  • Faire connaitre et promouvoir le HPC

La mise en oeuvre concrête d’un premier atelier sur le “HPC en Géomatique”, prenant socle sur deux des langages les plus communs dans la discipline (Python et R), est révélateur à lui seul des multiples verrous et enjeux qui doivent être levés pour une bonne diffusion des pratiques :

  • différence de maturités et de complexité entre les langages, les librairies, les frameworks
  • diversité des formats, fonction aussi des domaines d’application
  • diversité des expertises nécessaires
  • coût d’entrée, difficultés algorithmique et techniques parfois elevés
  • supports pédagogiques lacunaires, parfois peu adaptés à nos usages
  • accès simplifiés à des ressources distribuées (Jupyter, OpenMOLE)

Cette AR de Recherche est portée depuis 2022 par :

  • Sébastien Rey-Coyrehourcq (UMR IDEES) sebastien.rey-coyrehourcq [at] univ-rouen.fr
  • Paul Chapron (LASTIG, IGN-ENSG) paul.chapron [at] ign.fr
  • Etienne Delay (Green, CIRAD) etienne.delay [at] cirad.fr
  • Jean-Baptiste Féret (UMT TETIS, INRAE) jean-baptiste.feret [at] teledetection.fr
  • Juste Raimbault (LASTIG, IGN-ENSG) juste.raimbault [at] ign.fr

Une newsletter et un site internet sont disponibles si vous souhaitez nous rejoindre ou vous tenir au courant de la suite, car il ne s’agit que d’un début :)

HPC et Géomatique © 2025 by Yousra Hamrouni, Nicolas Roelandt, Sébastien Rey-Coyrehourcq, Juste Raimbault is licensed under CC BY-SA 4.0

Informations