sujet de thèse a l’IGN

Exploration et interpolation du style de rendu pour la géovisualisation LaSTIG

Laboratoire Sciences et Technologies de l’Information Géographique

—-

Institut National de l’Information Géographique et Forestière (IGN)

Disciplines : Sciences de l’information géographique, informatique graphique

Spécialité : Géovisualisation

Structure de Recherche : LaSTIG

Lieu de travail principal : IGN, Saint Mandé (94)

Contacts : Sidonie Christophe, Mathieu Brédif

Contexte général

La gestion des risques et l’aménagement du territoire nécessitent de manipuler des données géographiques hétérogènes, multi-sources et multi-échelles, potentiellement massives (bases de données vecteur, imagerie, modèles 3D, nuages de points, LiDAR, etc.), afin de visualiser, analyser, comprendre, prendre des décisions sur des phénomènes spatio-temporels complexes sur le territoire, tels que la planification urbaine, le changement climatique, l’évolution de dynamiques historiques, etc. Ces usages potentiellement variés de l’information géographique sont portés par des utilisateurs variés (scientifiques, géomaticiens, thématiciens, grand public, etc.), sur des supports également variés (écran mobile, petit ou grand, réalité virtuelle ou augmentée). Cette diversité des contextes d’usage nécessite de pouvoir visualiser ensemble ces données géographiques (co-visualisation), comme d’interagir avec, pour construire des géovisualisations adaptées aux usages.

Les systèmes de géovisualisation 2D ou 3D existants sont principalement des outils ad-hoc, dont la paramétrisation reste difficile, rendant impossibles l’exploration de solutions possibles par les utilisateurs et l’adaptation de ces systèmes à des usages et à des tâches potentiellement variés : par exemple, adapter une représentation graphique à un besoin ou à un type d’utilisateurs, ajouter des données issues d’un utilisateur dans une scène ou dans une carte, représenter et analyser un phénomène géophysique sur un territoire, co-visualiser de grandes masses de données ou des séries temporelles de données, etc.

Ces usages des données géographiques impliquent des problématiques scientifiques et techniques en termes de représentation graphique (adaptation et combinaison de variables et propriétés visuelles), de rendu (mélange et affichage des données par des techniques spécifiques), d’interface et d’interaction avec les données et les représentations. Le verrou principal reste l’orchestration de l’ensemble pour naviguer continûment entre les géovisualisations possibles et pouvoir proposer aux utilisateurs des moyens pour explorer finement des solutions, selon des points de vue différents (2D/3D/oblique/panoramique, etc.), dans des styles différents (photo-réaliste, abstrait, schématique, etc.), à partir de la combinaison de techniques de rendu.

Etat de l’art

Les connaissances et méthodes en cartographie et en visualisation 3D proviennent généralement de domaines scientifiques et techniques différents, ne facilitant pas leur intégration, en termes de rendu et de représentation, dans des systèmes communs. Pourtant, cela permettrait de bénéficier des connaissances et méthodes des différents domaines.

Des spécifications existent en cartographie concernant la symbolisation (OGC SLD/SE)1 : l’intérêt de ces standards, outre de favoriser l’interopérabilité des méthodes de représentation et des systèmes de géovisualisation, est de pouvoir décorréler la description du rendu (couche par couche), et, les méthodes de rendu, pour rendre les systèmes plus flexibles dans l’interaction avec l’utilisateur. En parallèle, de nombreuses techniques de rendu photo-réaliste et non-photoréaliste ont été re-adaptées dans le contexte de la visualisation 2D (Semmo et al. 2013, par exemple). Des extensions spécifiques de ces spécifications de symbolisation ont été proposées pour représenter des objets 3D mais ne permettent pas de décrire et d’orchestrer le rendu d’une scène (Neubauer & Zipf 2007). En 3D, il n’y a pas actuellement de réels standards et la description d’un style de rendu est étroitement liée à l’implémentation du moteur de rendu utilisé : il n’y a pas de séparation nette entre les données et style de rendu (textures et matériaux), ce qui pose problème pour l’intégration de nouvelles données ou de nouvelles méthodes de rendu. En rendu temps-réel 3D, les approches basées sur des graphes de shader permettent de décrire de façon modulaire et dynamique le rendu pour chaque type de primitive au niveau de chaque couche (Pinson 2015, ShaderGraph 2015) : elles pourraient être unifiées avec des méthodes de rendu différé et de compositing pour la spécification de la stylisation globale sur toute la scène avec interaction entre couches, telles que la méthode proposée par (Richter 2015) pour le rendu de nuages de points LiDAR classifiés.

Ce type d’approche est appliqué avec succès pour l’optimisation de shaders (He 2016), en termes d’amélioration de la performance du rendu, parmi un ensemble de stylisations possibles (matériaux) à différents niveaux de qualité (loD).

Au LaSTIG, le projet ANR MapStyle2 (IGN, Inria et IRIT) a permis d’étendre les spécifications OGC SLD/SE existantes pour permettre un contrôle de l’expressivité des rendus cartographiques, par l’utilisateur, via la spécification de différents styles de rendu (Cassini, cartes de montagne, aquarelle, estampe japonaise, etc.), à partir de la proposition de techniques de rendu telles que la stylisation linéaire et la génération de textures vectorielles (Loi 2015, Christophe et al. 2016). Cette proposition a ensuite été adaptée, par le projet PEPS Plu++3 pour permettre de paramétrer la visualisation 3D de formes à bâtir dans le contexte de la concertation citoyenne, posant les bases d’une extension du modèle de style en 3D (Brasebin et al. 2016). La contribution de ces travaux est de proposer une description du style décorrélée de l’implémentation des techniques de rendu permettant d’aller vers une orchestration plus globale de la manipulation du style, tout en fournissant un ensemble de styles implémentés pour la géovisualisation 2D/3D.

En parallèle, des techniques d’interpolation de styles, en particulier l’orchestration de briques d’interpolation de couleurs et de textures entre des images et des données vecteurs, ont été explorées afin de permettre à un utilisateur de concevoir un style de rendu hybride entre photo-réalisme et abstraction (Hoarau & Christophe 2016). Des techniques de rendu basé image ont été proposées afin de mélanger des images brutes et fournir une image depuis un point de vue intermédiaire, afin d’éviter de modéliser précisément tous les éléments d’une scène (Brédif 2014). Ces travaux permettent d’envisager de pouvoir contrôler un ensemble de techniques permettant de naviguer de façon continue entre les données et les représentations, pour s’adapter à un contexte d’usage.

Verrous scientifiques

Les verrous scientifiques se situent dans la description et la manipulation (édition, exploration, interpolation) de styles de rendu pour la géovisualisation, plus ou moins abstraits ou photo-réalistes, via la proposition d’un modèle de style unifié 2D/3D et la description et l’implémentation de méthodes de rendu génériques et contrôlables. Le modèle devra permettre de garantir la possibilité d’explorer de façon continue l’espace des styles possibles, afin de faciliter la conception d’une géovisualisation et l’interaction avec l’utilisateur. Par exemple, il devra permettre de basculer d’un paradigme à un autre (2D/3D, 4D temps ou thématique, selon une dimension d’un phénomène), de faire des transitions continues entre les données et les représentations (à l’instar de (Hoarau & Christophe, 2016)), ou de basculer entre différentes techniques de rendu 3D selon les besoins (à l’instar de (Brédif, 2014)).

La réécriture de graphes pourrait être une approche envisagée pour permettre d’exprimer et de manipuler un modèle de style unifié. Un modèle de style pourrait alors être représenté sous la forme d’un graphe acyclique qui pourra être itérativement transformé pour être appliqué par un moteur de rendu particulier (ShaderGraph 2015).

Dans un projet de recherche précédent, une première approche du problème du style, via la manipulation de palettes de couleurs, a été traitée comme un problème d’optimisation de l’exploration de l’espace des couleurs, à partir de la modélisation d’une palette de couleurs comme un graphe contraint (Mellado et al. 2017). La difficulté réside maintenant dans la définition du style lui-même et de ce qui peut être recherché par l’utilisateur dans l’espace des solutions, par exemple un chemin privilégié, un élément particulier ou un ensemble d’éléments de l’espace des possibles. La modélisation d’un style par un graphe permettrait une spécification partielle du processus de rendu qui pourra complétée automatiquement par l’approche de réécriture de graphes. Par exemple, un utilisateur pourrait spécifier une interpolation à 40% entre 2 stylisations d’un même jeu de données et le système pourrait proposer, instancier et rendre différentes interpolations, allant de la simple transparence à un appariement des paramètres de rendu des deux stylisations (Hoarau & Christophe 2016). De même, cette approche facilitera l’exploration et l’édition de style, par cette possibilité de spécifier plus ou moins précisément une stylisation entre la définition d’un style applicable directement aux données d’une part et une spécification plus vague ne décrivant que des contraintes ou des objectifs de plus haut niveau (e.g. co-visualisation de 2 couches sans préciser le mode de co-visualisation). Un verrou scientifique et technique concernera le développement du système de réécriture d’un graphe de styles permettant son application par le moteur de rendu et le système de dérivation et d’optimisation permettant de générer et qualifier un ensemble de graphes de styles directement applicables à partir d’une description incomplète du style sujette à des contraintes plus ou moins fortes.

Sujet de thèse

L’objectif de la thèse est de proposer un modèle (implémenté) du style de rendu pour la géovisualisation permettant à un utilisateur d’explorer un ensemble de styles possibles, à partir d’un ensemble de données géographiques (potentiellement hétérogènes et massives) et de techniques de rendu (photo-réaliste, non photo-réaliste). Une technique d’exploration privilégiée est l’interpolation entre plusieurs styles, permettant de naviguer de façon continue entre des données ou des représentations existantes.

Suite aux travaux réalisés sur l’exploration d’un espace de couleurs, une approche envisagée pourrait être d’utiliser des grammaires de graphes, permettant à partir d’une famille de styles définie par les données en entrée, d’un ensemble d’opérateurs de rendus et de contraintes sur la qualité des représentations, de proposer une ou plusieurs solutions intermédiaires. Selon certaines propriétés visuelles à préserver dans la scène (contrastes, saillance d’un agencement spatial, niveau de photo-réalisme ou d’abstraction, etc.), l’exploration de l’espace des possibles pourra se faire :

  • selon différentes stratégies d’optimisation permettant d’obtenir rapidement une solution de visualisation, ou d’obtenir une variation de solutions possibles.
  • selon différentes techniques de combinaison et d’hybridation des opérateurs de rendu.

Cela implique que le modèle soit :

  • flexible, aux tâches et interactions de l’utilisateur ;
  • extensible, à l’intégration de données géographiques hétérogènes, à des représentations graphiques et à des techniques de rendu variées ;
  • interopérable, avec différentes plateformes fournissant des données géographiques et des résultats d’analyses et simulations spatio-temporelles, et produisant des visualisations;
  • paramétrable et contrôlable, par l’utilisateur selon différents niveaux d’expertise.

Cas d’application possibles :

  • Concertation et décision en aménagement de l’espace urbain, à partir des modèles 3D de villes, des modèles de simulation de la planification, de données thématiques issues de capteurs variés, etc.
  •  Diffusion grand public ou support à l’analyse scientifique de phénomènes physiques complexes et incertains, à partir de modèles de simulation et de prédiction (météorologiques par exemple)
  • Analyse géovisuelle des évolutions de dynamiques spatio-temporelles, à partir de séries temporelles d’images ou de données géo-historiques.

 

Programme de travail

  • Etat de l’art sur les méthodes de description du rendu en 2D/3D (modèles de style, orchestration de méthodes de rendu ou de choix de shaders, etc.) et revue de l’existant des outils de géovisualisation.
  • Description de styles abstraits et photo-réalistes adaptés à la 2D et à la 3D : modélisation et implémentation des techniques de rendu 2D/3D nécessaires.
  • Modélisation des processus de rendu 2D/3D permettant un contrôle de la gestion des styles, par exemple sous la forme d’un graphe.
  • Développement du modèle de style et d’une interface utilisateur d’édition et d’exploration des styles.
  • Application et validation de l’approche par différents cas d’application possibles (planification urbaine, impact de phénomènes climatiques incertains, co-évolution de dynamiques spatio-temporelles, etc.).

 

Profil attendu

  • Informatique graphique.
  • Compétences requises en rendu 3D, SIG, développement Web (Javascript/WebGL).
  • Connaissances appréciées : Sciences de l’information géographique.
  • Fort intérêt pour la géovisualisation et l’interdisciplinarité.

 

Encadrement de la thèse

Direction de thèse : Sidonie Christophe4

(Université Paris Est, IGN ENSG, LaSTIG-COGIT)

Encadrement : Mathieu Brédif5

(Université Paris Est, IGN ENSG, LaSTIG-MATIS).

sidonie.christophe@ign.fr ; mathieu.bredif@ign.fr

Références bibliographiques

Brasebin, M., S. Christophe, F. Jacquinod, A. Vinesse and H. Mahon (2016) 3D Geovisualization & stylization to manage comprehensive and participative Local Urban Plans , 11th 3D Geoinfo Conference , pp. 83-91, ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., IV-2-W1, doi:doi:10.5194/isprs-annals-IV-2-W1-83-2016

Brédif, M. (2014). Projective Texturing Uncertain Geometry: silhouette-aware box-filtered blending using integral radial images. ASPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume II-3, ISPRS Technical Commission.

Christophe S., Duménieu B., Turbet J., Hoarau C., Mellado N., Ory J., Loi H., Masse A., Arbelot B., Vergne R., Brédif M., Hurtut T., Thollot J., Vanderhaeghe D. (2016). Map Style Formalization: Rendering Techniques Extension for Cartography, Pierre Bénard; Holger Winnemöller. Expressive 2016 The Joint Symposium on Computational Aesthetics and Sketch-Based Interfaces and Modeling and Non-Photorealistic Animation and Rendering (NPAR), May 2016, Lisbonne, Portugal. The Eurographics Association, NPAR.

He, Y., Foley and T., Fatahalian K., A System for Rapid Exploration of Shader Optimization Choices, Siggraph 2016

Hoarau C., Christophe S. (2016) Cartographic continuum rendering based on color and texture interpolation to enhance photo-realism perception. ISPRS Journal of Photogrammetry and Remote Sensing (in press). DOI:10.1016/j.isprsjprs.2016.09.012.

Loi, H. (2015). Programmable Synthesis of Element Textures and Application to Cartography. Graphics [cs.GR]. Université de Grenoble.

Mellado N., Vanderhaeghe D., Hoarau C., Christophe S., Brédif, M., Barthe, L. (2017). Constrained Palette-Space Exploration. accepted at Siggraph 2017.

Neubauer S., Zipf A., 2007, Suggestions for extending the OGC styled layer descriptor (SLD) specification into 3D. In: Towards Visualization Rules for 3D City Models, Urban Data Management Symposium. UDMS.

Pinson, C. and Cheyrou-Lagrèze, P. (2015). Sketchfab Material Pipeline: From File Variations to Shader Generation WebGL Insights, CRC Press edited by Patrick Cozzi, pp. 193–207, ISBN 978-1498716079.

Richter, R., Discher, S. and Döllner, J., (2015) Out-of-Core Visualization of Classified 3D Point Clouds. 3D Geoinformation Science: The Selected Papers of the 3D GeoInfo 2014, Springer International Publishing, pp. 227-242, ISBN 978-3-319-12181-9.

Semmo, A., Kyprianidis, J. E., Trapp, M., and Döllner, J. (2013). Real-Time rendering of water surfaces with Cartography-Oriented design.

Proceedings International Symposium on Computational Aesthetics in Graphics, Visualization, and Imaging (CAe).

ShaderGraph 2 (2015) Functional GLSL Linker, open source project : https://github.com/unconed/shadergraph

Votre commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l’aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l’aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l’aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l’aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

Créez votre site Web avec WordPress.com
Commencer
%d blogueurs aiment cette page :