Coupler visualisation et simulation pour les machines exascale
- Niveau : Master recherche
- Responsable : Bruno Raffin (bruno.raffin@imag.fr)
- Mots-clés : parallélisme, couplage de code
- Durée : 3 mois au moins avec possibilité de continuer en thèse
Description
Les machines parallèles de très grande taille (exascale) disposent d'un très grand nombre de coeurs de calcul, mais souffrent de capacités limitées en entrées/sorties et en mémoire. Il n'est donc pas envisageable lors de l'exécution d'une simulation de sauvegarder une grande partie des résultats intermédiaires comme cela est souvent le cas aujourd'hui sur des machines de taille intermédiaire. Une approche possible pour compenser en partie cela est de calculer périodiquement une image représentant l'état de la simulation à un instant donné. Les images ont un coût de stockage faible (proportionnel à la résolution) et permettent d'encoder un certain nombre d'informations pertinentes. Ce calcul d'image ne se fait pas de manière classique où les résultats intermédiaires de la simulation sont transmis à une machine de visualisation dédiée. Au contraire, pour gagner en efficacité en limitant les mouvements de données, une image partielle est calculée au niveau de chaque processus de la simulation. Ensuite dans une étape dite de composition l'image globale est reconstruite puis sauvée sur disque. On parle alors de "visualisation in-situ".
L'objectif de ce stage est d'étudier la mise en place d'un environnement logiciel pour la visualisation in-situ. Les difficultés est de coupler efficacement la partie traitement des données pour le calcul des images partielles avec la simulation en étant à la fois efficace et peu intrusif vis-à-vis du code de simulation. On disposera pour cela de codes de simulation classiques parallélisés en MPI (simulation moléculaire, simulation de fluide, simulation de structure par exemple) et du logiciel FlowVR développé dans l'équipe. FlowVR est un intergiciel dédié aux application 3D parallèles qui intègre déjà des librairies pour le rendu 3D tel que VTK. Aujourd'hui la visualisation in-situ se fait en séquence avec la simulation. Or il est possible de recouvrir en partie le calcul de visualisation avec la simulation, permettant ainsi de gagner en parallélisme (à l'échelle des machines exascale ce parallélisme potentiel ne peut être négligé) sans pour autant engendrer des mouvements de données conséquents en dédiant dans chaque noeud de la machine une petite partie des coeurs, ainsi que des GPU si présents, à la visualisation in-situ. Après une étude des travaux existants dans le domaine et la prise en main des composants logiciels existants, le stage consistera a développer un prototype de visualisation in-situ en essayant de proposer des solutions originales pour tirer partie au maximum du parallélisme disponible. Le candidat aura accès à une machine de plus de 500 coeurs pour les expérimentations.
Références bibliographiques
- Massively parallel volume rendering using 2-3 swap image compositing. Yu, Hongfeng and Wang, Chaoli and Ma, Kwan-Liu. Proceedings of the 2008 ACM/IEEE conference on Supercomputing.
- In Situ Visualization at Extreme Scale: Challenges and Opportunities. Kwan-Liu Ma. IEEE Computer Graphics and Applications, pp. 14-19, November/December, 2009
- A Study of In-Situ Visualization for Petascale Combustion Simulations. Hongfeng Yu et Al. Tech Report UC Davis. 2009.
- Flowvr
- Modularity for Large Virtual Reality Applications. Jérémie Allard, Jean-Denis Lesage and Bruno Raffin. Presence: Teleoperators and Virtual Environments, 2010.
- Paraview extension for in-situ visualisation