De wereld van Neural Radiance Fields (NeRF's) werd in 2023 geïntroduceerd aan vele innovatie-enthousiastelingen zoals wij. Met tools zoals Lumalabs of Polycam is het veel makkelijker geworden om NeRF's vast te leggen en nieuwe 3d-modellen ermee te creëren in slechts een paar klikken. Onze innovatiemanager Bas bezocht deze week een van de weinige volumetric capturing-studio's 4dr studios in de wereld in Eindhoven. In deze blog bespreken we zijn ervaring en belichten we enkele van de belangrijkste ontwikkelingen in de wereld van volumetric en programmatische capturing.
Dus, wat is volumetric capturing?
Volumetric capturing is een geavanceerde technologie die de manier waarop we digitale inhoud creëren, vooral op het gebied van gaming, film en virtual reality, heeft gerevolutioneerd. Het verwijst naar het proces van het vastleggen van een driedimensionale ruimte, inclusief objecten of mensen binnen die ruimte, om een digitaal model te creëren dat gemanipuleerd kan worden in een virtuele omgeving.
In traditionele fotografie of videografie leg je een 'plat' perspectief van je onderwerp vast vanuit een specifieke hoek. Deze benadering beperkt de kijker tot dat specifieke gezichtspunt. Echter, volumetric capturing maakt een veel dynamischere en interactieve ervaring mogelijk. Door gegevens vanuit meerdere hoeken vast te leggen, wordt een 3D-model gecreëerd dat vanuit elke richting kan worden bekeken en waarmee interactie mogelijk is. Dit is bijzonder waardevol voor het creëren van digitale omgevingen, filmscènes of nauwkeurige digitale replica's van echte objecten of mensen, zoals een F1-coureur voor een racespel.
VC-studio-opstelling
De opstelling voor een volumetric capturing-studio omvat doorgaans een geavanceerd scala aan camera's en lichten, gerangschikt in een 360-graden raster, dat horizontale, verticale en diagonale hoeken bestrijkt. De omgeving is vaak bekleed met greenscreens om gemakkelijker en nauwkeuriger extractie van het onderwerp te vergemakkelijken. Deze configuratie stelt de camera's in staat het onderwerp tegelijkertijd vanuit alle hoeken vast te leggen, waardoor het mogelijk is een uitgebreid 3D-model te genereren.
Slechts een handvol VC-studio's in de wereld
Dergelijke studio's zijn relatief zeldzaam vanwege de complexiteit en kosten van de opzet. De studio in Eindhoven behoort tot de weinige in de wereld die deze geavanceerde technologie bieden. Deze schaarste draagt bij aan de uniciteit en waarde van de inhoud die wordt gecreëerd door middel van volumetric capturing.
Volumetric captures vertegenwoordigen de optimale benadering voor het verkrijgen van 3D-inhoud in professionele instellingen. Echter, met de vooruitgang in kunstmatige intelligentie, zijn nieuwere en minder complexe methoden ontstaan, waardoor het mogelijk is om thuis met deze technieken te experimenteren. Een dergelijke techniek staat bekend als Neural Radiance Fields.
Wat is een Neural Radiance Field?
Een Neural Radiance Field, doorgaans aangeduid als NeRF, vertegenwoordigt een significante sprong in de wereld van 3D-modellering en computer graphics. In de kern is een NeRF een framework voor het renderen van fotorealistische 3D-scènes vanuit een schaarse set van 2D-afbeeldingen. Het maakt gebruik van deep learning-technieken om te begrijpen en te interpreteren hoe licht interactie heeft met objecten in een driedimensionale ruimte. Dit begrip stelt NeRF's in staat om een zeer gedetailleerd en nauwkeurig 3D-model van een scène of object te reconstrueren, inclusief complexe aspect