🧊La transparence et les Gaussian Splatting

Cette mission freelance était l’occasion pour moi de me plonger dans les méandres de ce nouveau format de modèle 3D et des moteurs graphiques.

Le problème : pas le bon ordre

Dans la capture ci-contre, on voit deux statues. Celle accompagnée de boules rouges est au premier plan, alors qu’elle est présentée derrière la statue au fond.

Qu’est-ce qui se passe ?
Dans notre contexte, on peut résumer les Gaussian splatting à des nuages de particules transparentes. Pour afficher correctement des objets transparents, il faut qu’ils soient triés du plus loin au plus proche de la caméra. Chaque modèle a son nuage et son propre shader pour faire le tri. Cependant, Aframe ne fait pas automatiquement le tri à l’échelle d’une scène entière. Ce qui fait qu’un des nuages est considéré premier dans l’ordre de proximité sans cohérence réelle avec la situation actuelle.

Le Depth Buffer à la rescousse

Des objets opaques affichés les uns sur les autres ? Ce problème n’est pas nouveau dans l’histoire de la 3D, c’est pour cela que les moteurs 3D et les shaders intègrent maintenant un Depth Buffer.

C’est une image qui contient uniquement une information de profondeur afin que les shader sachent si le pixel qu’ils s’apprêtent à dessiner n’est pas masqué.

Le hic de cette approche, c’est que le Depth Buffer est une propriété binaire (soit tu es dessiné, soit tu ne l’es pas). Alors qu’un Gaussian Splatting n’est pas tout à fait un objet Opaque. Sur la photo à gauche, on peut bien voir que la bordure entre les objets n’a rien de net.
Certaines particules quasiment invisibles sortent du cadre du splatting, et empêchent l’affichage d’objets légitimes.

Objets opaques mais transparents

La solution que nous avons choisie est d’agir sur le Fragment Shader, qui permet de décider si un pixel est dessiné ou non avec la commande discard.
Nous avons exposé dans le composant Aframe une propriété qui discard toutes les particules qui auraient une transparence inférieure à celle que le développeur choisi.

Ce n’est pas une solution parfaite, car cela dégrade légèrement le modèle 3D. Pour cela, cette fonctionnalité ne doit servir qu’en dernière option.

Je recommande maintenant de traiter les Gaussian Splatting en amont en éliminant les particules superflues directement dans un éditeur de Gaussian Splatting.

TLDR

Individuellement, les Gaussian splatting proposent un rendu de captation unique par son réalisme. Mais dès qu’ils sont mis dans le contexte d’une expérience 3D plus riche, la limite de l’usage de transparence à l’excès pour donner une impression d’opacité devient vite évidente.

L’approche choisie n’est pas parfaite, mais avec plus de temps, nous pourrions arriver à un meilleur résultat.