Auto Super-resolução da Microsoft testada: chegou um novo upscaler de IA
Especial destaque para os jogos dos novos portáteis Windows com ARM Copilot+.
Quanto menos se falar sobre os jogos na nova vaga de portáteis Windows baseados em ARM, melhor. O Snapdragon X Elite da Qualcomm tem graves problemas de drivers que resultam num desempenho geralmente fraco e, embora a camada de tradução da CPU PRISM que permite que o código x86 seja executado em ARM pareça impressionante, a falta de suporte para instruções AVX significa que muitos jogos nem sequer são carregados. Vamos ser generosos e dizer que o suporte para jogos no hardware 'Windows on ARM' é um trabalho em progresso - mas há um elemento que eu acho que vale a pena examinar. A tecnologia de aumento de resolução automática da Microsoft tem as suas limitações, mas funciona.
Ao abraçar fortemente a era da IA, a Microsoft exigiu que os novos PCs Copilot+ centrados na IA contenham um processador neural integrado com capacidade para, pelo menos, 40 TOPs (operações tensoriais). Novos processadores como o Snapdragon X Elite e a linha Strix Point da AMD contêm o hardware necessário e, embora possamos esperar que os jogos não toquem na NPU durante algum tempo, o Auto SR da Microsoft pode ser invocado à vontade em praticamente qualquer jogo. Neste momento, existe uma "lista branca" de jogos que suportam o Auto SR, mas, tanto quanto sei, não há nada que o impeça de adicionar a funcionalidade no painel de controlo do Windows. Neste momento, a Microsoft só está a falar do suporte do Snapdragon para o Auto SR, mas é de esperar que a funcionalidade seja implementada em todos os PCs Copilot+ na devida altura.
Embora tanto o DLSS como o Auto SR tenham como objetivo obter imagens com uma resolução de base inferior e aumentá-las para resoluções superiores, a forma como isto é conseguido é muito, muito diferente. O DLSS e rivais como o FSR2/3 e o XeSS têm uma grande quantidade de dados a partir dos quais trabalhar: a imagem de base, vetores de movimento, informação de cor e profundidade e muito mais. Também estão integrados no pipeline do motor de jogo, o que significa que alguns aspetos da imagem - como o pós-processamento ou elementos HUD - podem ser processados na resolução nativa. Aparentemente, o Auto SR só tem acesso à imagem de base, o que o torna efetivamente um upscaler screen-space.
A Microsoft explica-o da seguinte forma: "O Auto SR utiliza um grande modelo de super-resolução baseado em IA executado na Unidade de Processamento Neural (NPU) Snapdragon Series X para restaurar os detalhes visuais perdidos ao renderizar o jogo numa resolução mais baixa para aumentar a taxa de fotogramas.
"O modelo é uma rede neural convolucional (CNN) que proporciona um aumento de escala espacial entre duas resoluções fixas. Foi treinado para adicionar detalhes e efetuar anti-aliasing durante o upscaling. A saída de alta resolução do modelo é definida para otimizar a qualidade da imagem para os ecrãs incorporados dos PCs Copilot+ equipados com o processador Snapdragon Series X, e dita o tempo necessário para executar o modelo. A aplicação do Auto SR acrescenta ao jogo uma latência equivalente ao tempo necessário para executar o modelo, que é atualmente de 12 ms".
Ao transferir o trabalho de aumento de escala para a NPU, não há impacto percetível na taxa de fotogramas do jogo - no entanto, ao adicionar um passo adicional com o aumento de escala, é acrescentada latência. Se estivermos a jogar com v-sync num ecrã normal de 60 Hz, estamos essencialmente perante um único fotograma de latência adicionada - o que considero perfeitamente aceitável.
Mais notório é o facto de o Auto SR só ter a imagem de baixa resolução para trabalhar. Os elementos do HUD podem exibir alguns artefactos, enquanto o texto aumentado em geral (em ecrãs de abertura e afins) parece OK, mas claramente não está certo. A outra limitação importante do Auto SR é que, como é efetivamente um pós-processo, não tem qualquer sentido de "história". Não parece referir-se a fotogramas anteriores para o seu anti-aliasing da forma que o TAA faz. Sendo esse o caso, é importante "alimentar" o Auto SR com a imagem mais estável temporalmente possível. A ideia de executar uma imagem de 720p com TAA não é geralmente uma boa ideia, pois introduz muita desfocagem. No entanto, o Auto SR faz um trabalho muito melhor ao aumentar os detalhes do que ao lidar com os artefactos cintilantes, pelo que a utilização da TAA faz muito mais sentido. Pela mesma razão, os efeitos intrusivos de pós-processamento, como o grão de filme e a aberração cromática, devem ser desativados (a desfocagem de movimento, no entanto, pareceu-me boa).
Ao analisar as capacidades de melhoramento do Auto SR, voltei ao blogue da Microsoft que introduziu a tecnologia e procurei replicar os seus resultados no Borderlands 3, que se baseavam em imagens de 720p melhoradas para 1440p com melhorias de qualidade claramente percetíveis. Inicialmente, capturei o teste de referência a 720p nativo e, em seguida, com uma passagem de aumento de escala Auto SR capturada a 1080p, 1440p e 2160p. Acontece que o Auto SR só faz o upscaling para uma resolução, pelo que quaisquer diferenças entre as resoluções captadas serão inteiramente imputadas ao scaler do GPU. A partir daí, passei a utilizar capturas de SR automático a 2160p, uma vez que 4K é a resolução de saída final para o vídeo do YouTube.
O Borderlands 3 pode ter sido escolhido como o "melhor cenário" pela Microsoft de entre os títulos suportados devido a um estilo de arte brilhante, vibrante e distinto, mas como se pode ver nas imagens desta página, não há qualquer dúvida de que o modelo de IA pode fornecer detalhes substancialmente melhorados que aparentemente não existiam antes. Até faz um trabalho razoável em elementos complicados como a relva, que tem um aspeto significativamente mais limpo. Nos meus testes, descobri que jogos brilhantes e coloridos como Borderlands 3, The Witcher 3 e Baldur's Gate 3 produzem os melhores resultados.
O Control foi o meu teste: mais uma vez, consegui ver mais detalhes na saída melhorada, mas, ao mesmo tempo, como o TAA da Remedy não é particularmente impressionante, a quebra de subpixéis e o aliasing das margens continuaram a ser óbvios na saída melhorada. Além disso, foi necessário desativar a granulação da película, uma vez que esta poderia produzir alguns resultados estranhos. Mesmo assim, enquanto captava o jogo em 4K, também alimentei um ecrã 4K de 27 polegadas com a saída da placa de captura. Posso dizer que não se trata obviamente de uma imagem 4K, mas o que interessa é que continua a ser visivelmente melhor do que o upscaling bilinear ou lanczos normal a partir da base 720p.
E, enquanto a Microsoft está ocupada a validar jogos que ativam automaticamente o Auto SR, o seu estatuto de pós-processo confere-lhe uma flexibilidade que os outros melhoradores não têm. O Cyberpunk 2077 não é um jogo validado, mas consegui ativá-lo facilmente e funcionou muito bem. Mais uma vez, não compete com o 1440p ou 4K nativo, mas apresenta-se de uma forma suficientemente agradável para o ativar em vez de não o ativar. Tendo em conta que os PCs Copilot+ virão quase de certeza com soluções gráficas integradas relativamente fracas, é uma funcionalidade de bom valor acrescentado.
A flexibilidade do Auto SR em correr em tudo também tem algumas possibilidades interessantes. Não há nada que o impeça de utilizar o aumento de escala do Auto SR para além das funcionalidades de aumento de escala existentes num jogo. Em primeiro lugar, experimentei o God of War e descobri que, apesar de o FSR 2 melhorado pelo Auto SR não ser particularmente atrativo (efetivamente, o aumento de 480p para 720p e depois para qualquer saída que o Auto SR utilize), a utilização do melhorador TAA incorporado no jogo não foi um desastre. Entretanto, no The Witcher 3, descobri que a utilização do Intel XeSS no modo de qualidade ultra, com o upscaling para 720p, produziu a imagem mais consistente em termos temporais disponível e, a partir daí, o Auto SR fez o trabalho. O upscaling no upscaling parece um desastre em gestação, mas, em última análise, a flexibilidade é útil quando os recursos do GPU são limitados.
Deve ter reparado no vídeo que, enquanto jogos como o Control correm bem no Snapdragon X Elite (na sua maioria 60 fps em definições baixas a 720p), títulos como o Cyberpunk não correm nada bem. Nada disto se deve ao Auto SR, mas sim à GPU do Snapdragon X Elite, em que até a GPU da Steam Deck lhe faz frente na grande maioria dos jogos que testei. No entanto, se o conjunto de funcionalidades Copilot+ for alargado a, digamos, processadores AMD Strix Point (que têm uma NPU "qualificada"), a utilidade do Auto SR será muito mais pronunciada - muitos mais jogos jogáveis significam muitas mais razões para utilizar o Auto SR.
É claro que, neste momento, ainda não se sabe se o Auto SR será implementado noutros processadores que não o Snapdragon, mas as possibilidades continuam a ser intrigantes - executei as minhas capturas do Auto SR no dispositivo portátil AyaNeo Kun Windows para ter uma ideia do que poderá acontecer. Há um aumento definitivo da nitidez, pelo que poderá ter alguma utilidade, mas o resultado final é que os 720p básicos continuam a ser suficientemente bons - acho que tudo se resume ao consumo de energia da NPU e se a latência adicional é percetível.
Portanto, o Auto SR não é nenhum DLSS ou XeSS, mas tem certamente a sua utilidade e, quando funciona bem, o aumento de qualidade é apreciável. Dito isto, é seguro dizer que o aumento de qualidade é variável (o Doom Eternal não parece fazer muito), e é absolutamente essencial que a qualidade da imagem de entrada seja razoável. O Dark Souls 3 é suportado de imediato, mas o seu anti-aliasing é muito, muito fraco e o Auto SR não parece conseguir fazer muito com ele. Ainda assim, é um começo intrigante para a tecnologia e vou seguir o seu progresso com muito interesse.