Digital Foundry experimentou o DLSS 4 na nova GeForce RTX 5080 da Nvidia
Primeiras impressões do novo upscaling, ray reconstruction e geração de fotogramas.
Ontem à noite, a Nvidia revelou finalmente as placas gráficas RTX de 50ª geração - mas durante o período de férias, tive a oportunidade de passar algum tempo a testar a nova tecnologia DLSS 4 de upscaling e geração de fotogramas num PC equipado com a nova GeForce RTX 5080, executando uma versão actualizada do Cyberpunk 2077 - e é impressionante. A Nvidia actualizou a sua tecnologia de upscaling de super-resolução e reconstrução de raios com um novo modelo de “transformador de visão”, oferecendo algumas actualizações de qualidade dramáticas, enquanto a geração de fotogramas é aumentada de um fotograma interpolado para dois - ou mesmo três. O resultado final é um Cyberpunk 2077 com melhor aspeto, capaz de executar a experiência completa de path-traced a taxas de fotogramas muito, muito acima dos 120 fps.
Há muito para discutir aqui, mas para que fique claro, esta é uma cobertura de pré-visualização, de primeiro olhar. A RTX 5080 a que tive acesso é uma amostra de engenharia. Os controladores não são finais. Posso dar uma ideia geral do funcionamento do DLSS 4 e dos aumentos aproximados da taxa de fotogramas, mas os números exactos terão de esperar pela revisão do hardware e pelos controladores finais. Além disso, o tempo limitado que tive com o hardware limita a extensão dos testes que pude efetuar - mas, independentemente disso, vi e captei o suficiente para ter uma resposta inicial à nova tecnologia.
Os frutos da minha visita estão incluídos abaixo, mas por falar em captura, tal como a geração de fotogramas do DLSS 3, mostrar o aspeto real do DLSS 4 é algo difícil, devido ao fator de amplificação da taxa de fotogramas do novo sistema de geração de fotogramas. A geração de múltiplos fotogramas faz do DLSS 4 uma boa opção para a mais recente vaga de monitores QD-OLED 4K a 240 Hz - mas não existe no mercado nenhuma tecnologia de captação capaz de captar ultra HD a 240 fotogramas por segundo.
No vídeo b-roll, tentei mostrar a qualidade da geração de fotogramas limitando-a a 120 fps e abrandando-a em 50 por cento para a enquadrar nos limites do contentor 4K de 60 fps topo de gama do YouTube. No entanto, ao correr desbloqueado, as taxas de fotogramas são muito mais elevadas do que o limite de 120 fps que impus. Por isso, embora o vídeo dê uma ideia de como a nova geração de fotogramas se apresenta, a experiência no mundo real é algo bastante diferente: a persistência de fotogramas será significativamente menor e, por conseguinte, os artefactos de geração de fotogramas são muito menos perceptíveis. Com efeito, precisei de reter o DLSS 4 para obter qualquer tipo de média representativa numa plataforma de vídeo. O DLSS 4 com a geração de múltiplos fotogramas totalmente activada foi concebido para a última geração de ecrãs de alta taxa de atualização e experimentei-o num monitor Alienware AW3225QF QD-OLED 4K 240Hz totalmente desbloqueado - e é uma coisa e peras.
Felizmente, as melhorias na super-resolução DLSS e na reconstrução de raios podem ser mostradas com captura 4K 60fps - e há melhorias importantes aqui. O DLSS existente utiliza uma rede neural convolucional - a Nvidia afirma que esta “gera novos pixéis analisando o contexto localizado e acompanhando as alterações nessas regiões ao longo de fotogramas sucessivos”. O modelo foi melhorado ao longo do tempo, mas só pode ir até certo ponto e as últimas versões mostraram apenas melhorias iterativas.
O novo modelo DLSS utiliza um transformador de visão, semelhante à tecnologia de base que está por detrás de produtos como o ChatGPT, Gemini e Flux. A Nvidia afirma que isto “permite que as operações de auto-atenção avaliem a importância relativa de cada pixel em todo o fotograma e em vários fotogramas”. Existem duas vezes mais parâmetros do que o modelo CNN anterior e, como resultado, é-nos prometida uma maior estabilidade, redução de fantasmas, maior detalhe e anti-aliasing melhorado. O modelo transformador é altamente escalável, pelo que a Nvidia prevê mais melhorias na qualidade com melhor formação. Também é compatível com as versões anteriores, o que significa que pode ser adaptado a títulos DLSS anteriores executados na versão 2.0 ou superior. Também funcionará em todas as placas RTX anteriores, voltando à série RTX 20 baseada em Turing de 2018, mas a maior complexidade do modelo pode ter algum tipo de impacto no desempenho (possivelmente compensado pelo aumento da qualidade - isso realmente precisa de testes completos).
Apesar de o material captado ser limitado, a impressão geral que eu e o especialista em qualidade de imagem Alex Battaglia temos do b-roll é que, apesar de funcionar com a mesma resolução interna de 1080p que o modo de desempenho da CNN, o equivalente do transformador de visão não parece - é melhor. E há alguns sinais claros de que alguns dos problemas de longa data que tínhamos com o DLSS foram muito melhorados. Isto é melhor demonstrado no vídeo acima, mas as manchas e os fantasmas foram drasticamente reduzidos. Entretanto, a reconstrução de raios - essencialmente o upscaling para ray tracing - mostra melhorias semelhantes e muito bem-vindas.
Comparar o modelo do transformador de visão com a versão CNN existente do DLSS é essencialmente comparar dois upscalers de IA muito diferentes - bem fora do âmbito das horas que tive com o RTX 5080 e algo que iremos analisar assim que tivermos hardware interno. No entanto, as implicações das melhorias na super-resolução e na reconstrução de raios são significativas. O DLSS tem beneficiado apenas de melhorias iterativas desde a chegada da versão 2.0 em 2020 - e, no entanto, continua a ser o upscaler de maior qualidade do mercado, enquanto a reconstrução de raios DLSS ainda não foi disponibilizada por nenhum dos concorrentes. Partindo do princípio de que são introduzidas melhorias drásticas sem qualquer desvantagem em ambos os casos, a Nvidia dá mais um passo em frente em relação aos seus rivais. A geração de fotogramas DLSS também recebe novas funcionalidades - mas estas estão exclusivamente ligadas às novas placas da série RTX 50. A tecnologia de geração de fotogramas de geração única utilizada na série 40 é aumentada com a geração de dois e três fotogramas na série 50. Isto é complicado, especialmente no que diz respeito ao ritmo desses fotogramas intermédios de uma forma suave e consistente - por isso, a Nvidia afirma que a nova arquitetura Blackwell contém um componente de hardware para garantir um ritmo uniforme.
Utilizei o mercado negro no estádio Petrochem para testar - uma área que já utilizámos anteriormente para identificar um estrangulamento gráfico na versão para consolas do Cyberpunk 2077. Ao correr totalmente desbloqueado com uma resolução de saída de 4K e com a definição RT Overdrive path tracing activada, a tecnologia existente de geração de fotogramas únicos combinada com o modelo de transformador de visão para super-resolução e reconstrução de raios registou um multiplicador de taxa de fotogramas de 535% em comparação com o jogo a correr na resolução nativa de 4K. Os ganhos continuam à medida que geramos mais fotogramas. Ao adicionar dois fotogramas, o aumento é de 725%, enquanto três fotogramas proporcionam o maior aumento de todos - 913% em comparação com a renderização com resolução nativa.
Comparando a RTX 5080 com geração de fotogramas completa e o modelo de transformador ativado com a 4080 Super de saída com geração de fotogramas única e a tecnologia de super-resolução/reconstrução de raios CNN existente, registei uma melhoria de 91% na taxa de fotogramas.
Voltando ao espaçamento de fotogramas, verá algumas visualizações dos tempos de fotogramas comparando a geração de fotograma único com a saída completa de geração de três fotogramas, ambas a correr na RTX 5080 - e é reconfortante ver que esta última não só significa taxas de fotogramas mais rápidas, como também taxas de fotogramas mais suaves. Obtive métricas aqui usando uma nova versão do Nvidia FrameView, mas verifiquei-as com o FCAT - onde o nosso software mede a persistência de fotogramas com base na saída da GPU. Ambos os resultados foram registados.
A minha preocupação com a nova técnica de geração de fotogramas era a latência. Quando o DLSS 3 foi lançado, a geração de fotogramas era conseguida através da colocação em buffer de um fotograma extra e depois do cálculo do fotograma intermédio. Ambos os factores acrescentam latência, que foi compensada até certo ponto pela inclusão obrigatória do Nvidia Reflex para recuperar preciosos milissegundos. No vídeo, verá que incluí resultados de latência do PC - novamente medidos pelo FrameView. As médias ao longo de cerca de dois minutos e meio no mercado negro são as seguintes: uma latência média de 50,97 ms com um único fotograma gerado, subindo para 55,5 ms com dois fotogramas gerados e 57,3 ms com a opção completa de três fotogramas.
Com base nesta amostra, estamos a olhar para um acréscimo médio de 6,4 ms à latência com a geração máxima de fotogramas em troca de um aumento de 71% na taxa de fotogramas - é uma troca equitativa no geral. Olhando para estes resultados, parece-me que a maior parte da latência extra continua a resultar do armazenamento em buffer desse fotograma extra, mas a adição de mais fotogramas intermédios resulta num aumento relativamente mínimo da latência. Isso significa que a jogabilidade continua a ser reactiva no Cyberpunk e, a menos que esteja super-atento ao input lag, é pouco provável que note a diferença com a atual solução de geração de fotogramas DLSS.
O tempo que passei com a RTX 5080 foi prometedor. Continua a ser notável ver um Cyberpunk 2077 rastreado a correr bem acima dos 120 fotogramas por segundo com a nova opção de geração de fotogramas, por isso é provável que os jogos menos exigentes corram muito mais depressa. E depois há o facto de a geração de fotogramas se ter revelado bastante útil para ultrapassar as limitações da CPU em muitos jogos - será interessante ver o papel que a geração de fotogramas desempenha neste caso. Entretanto, as melhorias na qualidade da super-resolução e da reconstrução de raios parecem resolver algumas das principais preocupações que tivemos com o DLSS, apesar do seu estatuto como a atual solução de upscaling de maior qualidade.
Iremos testar todos os componentes do DLSS 4 com muito, muito mais profundidade assim que pudermos e - claro - iremos analisar todas as GPUs da série RTX 50 na devida altura.