Composition Basée Image
Sujet proposé par Jean-Claude Iehl (LIRIS / UCBL)
Les techniques standards d'incrustation (découpage sur fond bleu ou
vert) sont utilisées depuis longtemps mais se contentent de plaquer
l'image du personnage incrusté sur l'image du décors. Elles ne modifient pas
l'aspect du personnage afin de l'intégrer de manière cohérente
dans le nouveau décors : elles ne projettent pas son ombre sur le
décors, par exemple.
La composition de scènes est un
problème plus général que la "simple"
incrustation. Par exemple, filmer un acteur en
studio et l'incruster dans un décors filmé
séparement. Pour réaliser une composition
réaliste, il est nécessaire de ré-éclairer
le personnage en fonction de l'ambiance lumineuse du décors
ainsi que de mesurer les caractériques des matières et
des ambiances lumineuses.
Les techniques de rendu basé image permettent
de reprojetter une image vers un autre point de vue en tenant compte de
la
visibilite relative des "objets" photographiés et sans
connaître
la géométrie de ces objets. Ces techniques sont
utilisables pour la composition de scènes mais
nécessitent l'acquisition de plusieurs images du personnage
ainsi que du décors pour "estimer" les positions relatives des
différents éléments.
Voici un découpage des différentes opérations
à effectuer :
- photographier l'objet (le modèle) à incruster
- mesurer l'ambiance lumineuse à l'endroit où il se trouvait
- photographier le décors
- mesurer l'ambiance lumineuse du décors à la position où l'on souhaite
faire l'incrustation
- découper l'objet à incruster
- reprojetter l'ambiance lumineuse du modèle sur le point de
prise de vue du modèle
- normaliser l'image du modèle en fonction de son ambiance lumineuse
reprojettée, cette opération permet de déterminer les
couleurs des matières qui composent le modèle
- ré-éclairer l'image des matières du modèle
avec l'ambiance lumineuse du décors, cette opération permet
de déterminer l'aspect correct du modèle dans l'ambiance lumineuse
du décors
- projetter les ombres du modèle dans le décors, cette
étape nécessite de localiser les fortes sources de lumières
présentes dans l'ambiance lumineuse du décors et de reprojetter
le modèle sur la position des sources de lumières (c'est la
même technique que pour openGL, par exemple).
Les techniques de reprojections sont décrites
par L. McMillan. Voir par
exemple "Plenoptic
Modeling", ainsi que sa thèse.
Les annexes sont particulièrements interressantes, puisque le source
d'une applet java capable de reprojetter une image est présenté.
La plupart des articles sont disponibles à cette url ou sur sa page
web.
Les images haute dynamique permettent de mesurer les
ambiances lumineuses. Elles sont utilisées par P. Debevec, voir par exemple "Recovering High Dynamic
Range Radiance Maps from Photographs" et "Rendering Synthetic Objects
into Real Scenes". Pour vous faire une idée, plusieurs images
sphériques haute dynamique sont disponibles.
Voir également d'autres travaux sur les reprojections :
"Binary-Space-Partitioned
Images for Resolving Image-Based Visibility".
Pour commencer
Dans un premier temps, on peut se contenter de
travailler sur la capture de l'environnement à l'aide d'une
webcam ou d'un appareil photo numérique, sans essayer de
reconstruire
la dynamique complète du modèle. L'objectif de cette
première étape est de reconstruire l'environnement sous
une forme utilisable, une cube map, par exemple ou une
paramétrisation polaire. En parallèle, il
est possible de travailler sur l'affichage d'un objet 3D (animé
ou non) éclairé par un environnement (envmap ou
cubemap).
Ce projet est consistué de plusieurs
éléments qui peuvent être développés
de manière indépendante. Il est donc possible de
travailler à plusieurs et éventuellement sur des
aspects differents.
N'hésitez pas à me contacter.
[Retour à la
page d'acceuil]
Bibliographie
Acquisition d'images en dynamique complète (haute dynamique, HDR) :
Affichage d'un modèle 3D éclairé par un environnement :
Manipulation d'image couleur et calcul d'invariants photométriques
Boites à outils
lecture / écriture etc, images en dynamique complète :
acquisition d'un flux video et contrôle des paramètres d'exposition de webcams :
[Retour à la
page d'acceuil]