Nvidia is van plan een van zijn werkpaarden opnieuw te lanceren: de DLSS. De afkorting staat voor Diep leren Super Sampling, Or Supersampling door kunstmatige neurale netwerken.

Je moet van ver beginnen om te begrijpen waarom we deze technologie hebben bedacht. Een van de beperkingen van videogames zijn de uitvoeringen die op een specifieke hardware kunnen worden verkregen. In de wereld van pc's is het mogelijk om, door de grafische parameters aan te passen, meerdere verschillende ervaringen op te doen. Ik kan spelen met 30 FPS door de voorkeur te geven aan de grafische details, of elke instelling te verlagen om te kunnen spelen met 120 FPS. Het budget is altijd de limiet geweest: een GPU van € 200 heeft zeker niet de capaciteit van een GPU van € 1000. De taak van een GPU is om te gaan beslissen over de kleur van de pixels waaruit het uiteindelijke beeld bestaat. Hoe lager het aantal pixels, hoe sneller het de berekening kan voltooien en dus betere prestaties zal hebben.

Resolutiongate

eppure, het aanraken van de resolutie lijkt een van de grootste taboes in de wereld van pc-gaming te zijn, terwijl het in de consolewereld dagelijks wordt gebruikt. Vooral omdat er op korte afstand van het scherm wordt gespeeld, is het verlies aan detail dat ontstaat bij het verspreiden van een afbeelding met een lagere resolutie dan de native op een monitor vrij duidelijk. Dus over het algemeen is het veel beter om minimaal te spelen, maar altijd met de eigen resolutie van je monitor voor maximale visuele helderheid.

In de afgelopen jaren, met de verspreiding van de 4K en de wil om naar het gebruik van toe te gaan Ray Tracing, real-time verlichting berekend op basis van een diffusie van stralen, zo dicht bij de realiteit als rekenkundig zwaar, zijn veel nieuwe opschalingstechnieken bedacht die in staat zijn om een ​​beeld met hoge resolutie te reconstrueren vanaf een lager, met steeds meer algoritmen efficiënt en effectief. Tijdelijke reconstructietechnieken zoals die in Rainbow Six Siege en Watch Dogs 2 of de dambordweergave die op PlayStation 4 wordt gebruikt, met uitstekende resultaten. Het zijn technieken die nog steeds veel artefacten hebben en een merkbaar kwaliteitsverlies, maar het zijn goede compromissen voor het hebben van back-prestaties.

Minder is meer

In de afgelopen jaren werden talloze technieken voor beeldreconstructie en opschaling ontwikkeld op basis van deep learning-algoritmen, met zeer opmerkelijke resultaten, superieur aan die van enig ander reeds bestaand programma of menselijk werk. Dit waren berekeningen die niet in realtime werden uitgevoerd, dus nuttig voor het restaureren van oude films of werken die door de tijd zijn vernietigd of beschadigd, of om hun fotogalerij in lage resolutie te verbeteren, kinderen van technologisch kortere tijden. Nvidia zag hier een kans: als ze erin slaagde het neurale algoritme uit te voeren in een tijd die vergelijkbaar was met die van het genereren van een frame, kon ze dezelfde regels in videogames in realtime toepassen.

Dus hier is een van de redenen waarom de Turing-architectuur zo compact is met rekeneenheden. FP32-eenheid voor de klassieke grafische berekening, INT32-eenheid om veel van de effecten te verwerken die niet de precisie van het zwevende punt vereisen zonder de hoofdpijplijn te onderbreken. RTX-modules om de berekening van het snijpunt van de stralen met de geometrie van de spelwerelden te versnellen voor realistische verlichting. En tot slot de protagonisten van deze technologie: i Tensor Core. Rekeneenheden geoptimaliseerd om matrices, algebraïsche structuren aan de basis van de Deep Learning-berekening uit te werken.

DLSS 2.0-training
De afbeeldingen die uit het netwerk zijn gereconstrueerd, worden getest op afbeeldingen met de oorspronkelijke resolutie van 16K om te bepalen waar het algoritme verkeerd is en om het autonoom te verbeteren

Dus hier, eind 2018, verscheen DLSS 1.0. En het waren zeker geen rozen en bloemen, integendeel, de technologie was bijzonder onvolwassen. Nvidia's aanpak was bijzonder "beeldgericht". De technologie werkte goed bij het uitvoeren van een eenvoudige opschaling van statische afbeeldingen, of liever deterministisch, maar veel minder met de bewegende en dynamische van een videogame. Elke software had specifieke neurale netwerktraining nodig. De tensorkernen waren erg traag om het algoritme uit te voeren en dit betekende de onbeschikbaarheid op bepaalde configuraties. Het risico zou zijn geweest dat de prestaties afnamen in plaats van toenemen. De kwaliteit van de uiteindelijke beelden was alleen redelijk wanneer men streefde naar 4K, terwijl het proberen om het in Full HD te gebruiken een zelfmoord was. Ondanks beloften van verbeteringen door verdere training van het netwerk, veranderde er weinig.

Koester altijd je fouten

Nvidia heeft daarom besloten om de technologie te heroverwegen, waardoor het iets waard is om te worden gebruikt en vooral veel gemakkelijker te gebruiken. DLSS 2.0 is een enorme stap voorwaarts, een volledig nieuwe manier om het beeld vanaf de eerste iteratie te reconstrueren. We hebben een generiek algoritme, niet langer ad hoc gebouwd voor elk spel, dus van toepassing op alle software en alle resoluties. Het algoritme is ook versneld, omdat het huis nu tweemaal zo snel werkt als voorheen, waardoor eventuele configuratiebeperkingen volledig werden verwijderd. Om de informatie die is gegenereerd door eerdere speciale netwerken voor elk afzonderlijk spel te vervangen, Nvidia heeft vectorinformatie over de beweging geïntegreerd binnen het frame. Op deze manier wordt na het eerste gegenereerde beeld temporele feedback gegenereerd en vanaf het tweede wordt een tijdelijk stabiel beeld gecreëerd.

Deze methode is de basis van de Temporal Anti Aliasing-technieken, bekend onder de naam TAA, die tot taak hebben de hoekige hoeken van de afbeeldingen glad te strijken. Dus zou je kunnen zeggen, om het werk van Nvidia-technici veel te vereenvoudigen, dat DLSS 2.0 een hoogwaardige upscaler combineert met een TAA-filter. Met als resultaat dat echter de sterke punten van de twee werelden nodig heeft en niet de slechtste kanten. Het algoritme is ook veel flexibeler en presenteert zich aan de speler in drie kwaliteitsniveaus: kwaliteit, gebalanceerd en prestatie. De laatste werkt op 50% van de uiteindelijke resolutie (4 keer upscale), gebalanceerd die werkt op 57% van de uiteindelijke resolutie en kwaliteit op 66%.

DLSS 2.0 door Nvidia, officiële presentatie en technische duik.
Niet alleen betere prestaties, maar beter weergegeven grafische kwaliteit, zelfs in vergelijking met de native resolutie in veel details!

Nieuwe games ondersteund, hopelijk toenemen

Het is niet alleen propaganda zonder iets aan te raken. Nvidia heeft gewerkt om de last voor ontwikkelaars te verlichten bij het implementeren van deze technologie. Het vereist echter toegang tot de vectorinformatie hierboven van de game-engine, gelukkig tegenwoordig heel gebruikelijk gezien het gebruik van TAA, maar het is nog steeds niet iets dat rechtstreeks vanuit de stuurprogramma's kan werken op bestaande software. Ik heb DLSS 2.0 zelf moeten proberen Deliver Us The Moon, het verkrijgen van prestaties die ik nooit had verwacht, namelijk kunnen spelen op 2560 × 1080 allemaal op ultra, inclusief RTX-effecten, met een framerate hoger dan 60 FPS op de RTX 2060.

Controle, de prachtige Remedy Entertainment-shooter, liet ons proeven van DLSS 2.0, met een voorlopige variant uitgevoerd op normale FP32-kernen. Nu ontvangt het met de volgende uitbreiding, de echte DLSS 2.0. Nieuws waardoor ik geneigd ben een tweede run te doen. Als bewijs dat de RTX niet nodig is om te kunnen profiteren van de prestatieverbetering van de DLSS, zal Mechwarrior 5 worden uitgerust met deze technologie.

Ik weet niet hoe het met jou zit, maar ik waardeer deze verschuiving naar technologieën die de prestaties willen verbeteren zonder de algehele grafische kwaliteit op te offeren, in staat om onze grafische kaarten veelzijdiger en duurzamer te maken. De Variable Rate Shading zal de toekomst zijn, gezien de goedkeuring ervan op zowel de volgende consoles als op de Turing en daaropvolgende kaarten, maar ik ben ervan overtuigd dat deze nieuwe incarnatie van de DLSS echt revolutionair is en een aas in het gat om op te focussen. Het was aan mij om te beslissen, ik zou het vanaf hier tot het einde der tijden in elke pc-game willen zien.