Nas principais conferências gráficas do semestre, a NVIDIA apresenta um trabalho que avança o path tracing em tempo real e as ferramentas de criação de conteúdo para artistas, criadores e gamers
A computação gráfica e a Inteligência Artificial (IA) são os pilares da NVIDIA. Combinados, eles aproximam os criadores do objetivo de imagens 3D com qualidade de cinema renderizadas em tempo real. Em uma série de conferências gráficas nos últimos meses, a área de NVIDIA Research compartilha um trabalho inovador em path tracing em tempo real e criação de conteúdo, muitos deles baseados em técnicas de IA mais avançadas. Esses projetos estão lidando com os problemas mais difíceis não resolvidos em gráficos com novas ferramentas na renderização em tempo real.
Um dos objetivos é melhorar o realismo da luz renderizada à medida que ela passa por materiais complexos, como pele ou névoa. Outra é ajudar os artistas a transformar mais facilmente suas visões criativas em modelos e cenas realistas.
Apresentado no SIGGRAPH 2021, bem como na recente conferência High-Performance Graphics e no Eurographics Symposium on Rendering, esses avanços de pesquisa destacam como as GPUs NVIDIA RTX tornam possível avançar as fronteiras dos gráficos fotorrealistas em tempo real.
Renderizar imagens fotorrealistas em tempo real requer simulação precisa da luz, modelando as mesmas leis que governam a luz no mundo físico. A abordagem mais eficaz conhecida até agora, path tracing, requer recursos computacionais massivos, mas pode fornecer imagens espetaculares.
A plataforma NVIDIA RTX, com hardware de ray tracing dedicado e Tensor Cores de alto desempenho para avaliação eficiente de modelos de IA, é feita sob medida para essa tarefa. No entanto, ainda existem situações em que a criação de imagens renderizadas de alta fidelidade continua sendo um desafio.
Vendo a luz: path tracing em tempo real
Para tornar uma cena totalmente realista, os criadores devem renderizar efeitos de iluminação complexos, como reflexos, sombras e neblina visível. Considere, por exemplo, um tigre rondando pela floresta.
Em uma cena de floresta, a luz do sol salpicada se filtra pelas folhas das árvores e fica nebulosa entre as moléculas de água suspensas no ar também nebuloso. A renderização de imagens realistas em tempo real de nuvens, superfícies empoeiradas ou névoa já estava fora de alcance. Mas os pesquisadores da NVIDIA desenvolveram técnicas que geralmente calculam o efeito visual desses fenômenos 10 vezes mais eficientemente.
O próprio tigre é iluminado pela luz do sol e sombreado por árvores. Conforme ele caminha pela floresta, seu reflexo é visível na lagoa abaixo. A iluminação desses tipos de visuais ricos com reflexos diretos e indiretos pode exigir o cálculo de milhares de caminhos para cada pixel na cena.
É uma tarefa que exige muitos recursos para ser resolvida em tempo real. Portanto, a equipe de pesquisa da NVIDIA criou um algoritmo de amostragem de caminho que prioriza os caminhos de luz e os reflexos com maior probabilidade de contribuir para a imagem final, renderizando imagens 100 vezes mais rapidamente do que antes.
IA do tigre: cache de radiância neural
Outro grupo de pesquisadores da NVIDIA alcançou um avanço na iluminação global com uma nova técnica chamada cache de radiância neural. Este método usa NVIDIA RT Cores para ray tracing e Tensor Cores para aceleração de IA para treinar uma pequena rede neural ao vivo enquanto renderiza uma cena dinâmica.
A rede neural aprende como a luz é distribuída pela cena para que o cálculo do ray tracing possa ser direcionado para os caminhos de luz mais importantes. Ele avalia mais de um bilhão de consultas de iluminação global por segundo quando executado em uma GPU NVIDIA GeForce RTX 3090, retratando a pele densa do tigre com ricos detalhes de iluminação anteriormente inatingíveis em taxas de quadros interativas.
Criação perfeita de texturas resistentes
Conforme os algoritmos de renderização progridem, é crucial que o conteúdo 3D disponível acompanhe a complexidade e a riqueza do que eles s são capazes.
Os pesquisadores da NVIDIA estão mergulhando nessa área, desenvolvendo uma variedade de técnicas que apoiam os criadores de conteúdo em seus esforços para modelar ambientes 3D ricos e realistas. Uma área de foco é material com rica complexidade geométrica, que pode ser difícil de simular usando técnicas tradicionais.
A trama de uma camisa polo, a textura de um tapete ou folhas de grama têm características geralmente muito menores do que o tamanho de um pixel, tornando difícil armazenar e renderizar representações delas com eficiência. Os pesquisadores da NVIDIA estão tratando disso com o NeRF-Tex, uma abordagem que usa redes neurais para representar esses materiais desafiadores e codificar como eles respondem à iluminação.
Vendo a floresta pelas árvores
Objetos geométricos complexos também variam em sua aparência dependendo de quão próximos estão do observador. Uma árvore frondosa é um exemplo: de perto, há enormes detalhes em seus galhos, folhas e casca. De longe, pode parecer pouco mais do que uma bolha verde. Seria uma perda de tempo renderizar em uma cena a casca e as folhas detalhadas de uma árvore que está do outro lado da floresta. Mas ao ampliar para um close-up, o modelo deve ser o mais realista possível.
Este é um problema clássico em computação gráfica conhecido como nível de detalhe. Os artistas muitas vezes foram sobrecarregados com este desafio, modelando manualmente várias versões de cada objeto 3D para permitir uma renderização eficiente.
Os pesquisadores da NVIDIA desenvolveram uma nova abordagem que gera modelos simplificados automaticamente com base em um método de renderização inversa. Com ele, os criadores podem gerar modelos simplificados que são otimizados para parecer indistinguíveis dos originais, mas com reduções drásticas em sua complexidade geométrica.
NVIDIA no SIGGRAPH 2021
Mais de 200 cientistas em todo o mundo formam a equipe de NVIDIA Research, com foco em áreas como IA, computação gráfica, visão computacional, carros autônomos e robótica. No SIGGRAPH, que vai de 9 a 13 de agosto, os pesquisadores da NVIDIA estão apresentando os seguintes trabalhos:
- Cache de radiação neural em tempo real para Path Tracing
- Renderização de gráfico de cena neural
- Um estimador de transmitância de Ray-Marching imparcial
- StrokeStrip: parametrização e ajuste de conjuntos de clusters de Stroke
Assista à demonstração em tempo real ao vivo em 10 de agosto, às 20h30 (horário de Brasília) para ver como a área de Pesquisa na NVIDIA cria avatares digitais baseados em IA. Saiba mais: https://www.youtube.com/watch?v=3XSFfaTmjpA
A NVIDIA também discute esports como um desafio gráfico em tempo real em um painel em 11 de agosto. Uma demonstração interativa de esports está disponível sob demanda por meio do programa SIGGRAPH Emerging Technologies.
Para mais informações, confira a programação completa de eventos NVIDIA no SIGGRAPH 2021.
