Intel'deki araştırmacılar, düşük gecikme süresi ve kapanma yönetimi ile geçmiş karelerin geçmişinden yeni kareler oluşturarak gerçek zamanlı işlemeyi geliştiren bir kare ekstrapolasyonu tekniği geliştirdiler.
Rasterleştirme veya gibi geleneksel 3B oluşturma yöntemleri ışın izlemeen yeni nesil grafik kartlarıyla hızlandırılsa bile, görüntülenecek sahnelerin artan karmaşıklığı ve en yeni oyunlarda bulunan giderek karmaşıklaşan görsel efektler karşısında artık sınırlarına ulaşıyor. Bu nedenle video oyunu endüstrisi, her zamankinden daha hoş ve akıcı deneyimler sunmak için yeni yöntemler arıyor, dolayısıyla son yıllarda yapay zekayı kullanan tekniklerin ortaya çıkışı ana fikriyle birlikte: oluşturmak A çerçeve birbirini takip eden iki görüntünün ortası; Bu ne Çerçeve Oluşturma NVIDIA'nın DLSS 3'ü ve AMD'nin FSR 3'ü.
Ancak bu enterpolasyon yöntemlerinin büyük bir dezavantajı vardır: gecikmeye neden olurlar. Bu nedenle genellikle gecikmeyi mümkün olduğu kadar düşük tutmayı amaçlayan diğer tekniklerle birleştirilirler; örneğin GeForce RTX'teki NVIDIA Reflex. Santa Barbara'daki Kaliforniya Üniversitesi ile ilişkili Intel araştırmacıları, bir araştırma makalesinde, adı verilen alternatif bir yöntemi sunuyorlar. GFFE (G-tampon Serbest Çerçeve Ekstrapolasyonu), bu sefer ekstrapolasyona dayanarak ve tanıtmaya değil a priori ek gecikme yok.
Klasik enterpolasyon, hem geçmiş hem de gelecek çerçevelerde mevcut verileri gerektiren derin öğrenme algoritmalarını kullanır. Benekstrapolasyon ile ilgili çerçeveler yalnızca geçmiş görüntülerin geçmişine ve bilgilerine dayanarak yeni görüntüleri sentezler. Dolayısıyla bu, DLSS veya FSR FG enterpolasyon yöntemlerinin neden olduğu gecikmelerden kaçınırken algılanan kare hızının arttırılmasını mümkün kılar. Ek gecikmenin olmaması, oyun gibi gerçek zamanlı uygulamalar için kesin bir avantajdır.
Kapanmaların yönetimi, yani mevcut görüntüde görünen ancak önceki görüntülerde gizlenen alanların yanı sıra nesnelerin hareketinin ve gölgelemenin kesin tahmini, ekstrapolasyon yöntemlerinin karşılaştığı ana sorunlar olmaya devam etmektedir. çerçeveler. Bu nedenle mevcut araştırmaların odak noktası bu noktalardır: GFFE, bu engellerin üstesinden gelmek için çeşitli yenilikçi teknikler kullanırken, yüksek kaliteli görsel sonuçlar ve mevcut işleme motorlarına kolay entegrasyon sağlar.
©Intel/UCSB
G-Buffer olmadan her üç tür tıkanmayı da halledin
THE tıkanıklıklar Üç türde olabilir: kamera hareket ettiğinde ve daha önce görünmeyen alanları ortaya çıkardığında ortaya çıkan ekran dışı tıkanıklıklar, sahnedeki diğer öğeleri engelleyen sabit nesnelerden kaynaklanan statik tıkanıklıklar ve hareketli nesnelerin hareketinin neden olduğu dinamik tıkanıklıklar. Önceki görüntülerde bulunmayan bu alanlar dolayısıyla ekstrapolasyon algoritmalarından ek bilgi gerektirir.
Geleneksel ekstrapolasyon yöntemleri sıklıkla “G-tamponları” görüntülerin oluşturulmasına rehberlik etmek için: bu, sahneye ilişkin derinlik, normaller ve dokular gibi geometrik ve maddi bilgilerdir. Ancak bunların kullanımı, özellikle mobil cihazlarda veya belirli işlem hatları kullanılarak görüntü oluşturma sırasında performans ve bellek açısından maliyetli olabilir.
©Intel/UCSB
GFFE, tam olarak çerçevelerin ekstrapolasyonunu gerçekleştirme yeteneğiyle öne çıkıyor. G-tamponlarıdolayısıyla adı. Bunun yerine nesne hareketini tahmin etmek ve farklı kapanma türlerini ele almak için önceki çerçeve geçmişini kullanır. GFFE'nin işleyişi, sahnedeki dinamik unsurların hareketlerini analiz etmek için yenilikçi bir buluşsal çerçeveye ve bir sinir ağına dayanmaktadır.
Yöntem birkaç parçadan oluşuyor: 3B uzaydaki öğelerin yörüngesini izleyen ve gelecekteki konumlarını tahmin eden bir hareket tahmin modülü, önceki karelerde gizlenmiş alanlar hakkındaki bilgileri koruyan bir arka plan toplama modülü, işlemeyi ayarlayan uyarlanabilir bir işleme penceresi modülü. kamera hareketlerine dayalı alan ve görsel tutarlılığı artıran gölgeleme düzeltme sinir ağı.
GFFE: uygulama ve performans
Hareket tahmini © Intel / UCSB
Daha kesin olarak, 3 boyutlu uzaydaki her görüntü öğesinin yörüngesi, kameranın hareket vektörleri ve projeksiyon matrisleri kullanılarak oluşturulan her görüntü için yinelemeli olarak hesaplanır. Daha sonra her bir elemanın gelecekteki konumu, doğrusal bir yaklaşım kullanılarak geçmiş yörüngesinden tahmin edilir. Bu yaklaşım, kaynak verimliliğini korurken makul hareket tahminlerine olanak tanır.
Tıkanıklıkları gidermek için GFFE, gizli öğeler hakkında çok sayıda bilgi katmanını koruyan bir arka plan toplama sistemi kullanır. Bu katmanlar, oluşturulan karelere göre güncellenir ve içerikleri, önceki karelerde görünmeyen alanları doldurmak için yeni karelere yansıtılır. Uyarlanabilir işleme penceresi, işleme alanını kamera hareketine göre dinamik olarak genişleterek ekran dışı kapanmaları yönetir.
Uyarlanabilir görüntü oluşturma penceresi © Intel / UCSB
Gölgeleme düzeltme sinir ağı son olarak tahmin edilen görüntülerin görsel kalitesini iyileştirmek, özellikle nesnelerle aynı yörüngeleri takip edemeyen gölgeleri ve yansımaları düzeltmek için kullanılır. Bu sinir ağı, düzeltilmesi gereken alanları hedeflemek için odak maskeleri kullanarak görüntünün geri kalanındaki keskin ayrıntıların korunmasına yardımcı olur.
Pratikte elde edilen sonuçlar, enterpolasyon veya ekstrapolasyon yöntemlerine dayalı sonuçlarla karşılaştırılabilir veya hatta daha iyidir. G-tamponları. GFFE, sağlamlığı ve genelleştirilebilirliği, çeşitli sahnelerde, hatta eğitim sırasında kullanılmayan sahnelerde bile makul sonuçlar sunabilmesiyle öne çıkıyor. Hepsinden iyisi, GFFE daha verimlidir ve gerçek zamanlı 3D işleme motorlarına entegrasyonu daha kolaydır.
Henüz mükemmel olmayan bir yöntem
Ancak GFFE yöntemi mükemmel değildir ve hala bazı sınırlamalara sahiptir. Örneğin, çerçeve geçmişinde hiç görünmeyen tıkanmalar veya parçacıklar veya oyun arayüzleri gibi derinlik bazlı olmayan görsel efektlerin varlığında başarısız olabilir. .Gölgeleme ve vurgulama düzeltmeleri bazen gelecekteki görüntülerden elde edilecek bilgi eksikliğinden dolayı kusurlu olabilir.
Intel araştırmacılarının mevcut çalışmaları bu alanda hâlâ önemli bir ilerlemeyi temsil ediyor: Çözümleri, görsel kaliteden ödün vermeden grafik performansını artırmada veya her şeyden önemlisi, grafik performansını artırmada zaten etkili. gecikme ek olarak. Mobil uygulamalara yeni bakış açıları açmaya yetecek kadar, bulut oyunu ve daha genel olarak kaynakların sınırlı veya spesifik olduğu platformlar.
Kaliforniya Üniversitesi, Intel
Rasterleştirme veya gibi geleneksel 3B oluşturma yöntemleri ışın izlemeen yeni nesil grafik kartlarıyla hızlandırılsa bile, görüntülenecek sahnelerin artan karmaşıklığı ve en yeni oyunlarda bulunan giderek karmaşıklaşan görsel efektler karşısında artık sınırlarına ulaşıyor. Bu nedenle video oyunu endüstrisi, her zamankinden daha hoş ve akıcı deneyimler sunmak için yeni yöntemler arıyor, dolayısıyla son yıllarda yapay zekayı kullanan tekniklerin ortaya çıkışı ana fikriyle birlikte: oluşturmak A çerçeve birbirini takip eden iki görüntünün ortası; Bu ne Çerçeve Oluşturma NVIDIA'nın DLSS 3'ü ve AMD'nin FSR 3'ü.
Ancak bu enterpolasyon yöntemlerinin büyük bir dezavantajı vardır: gecikmeye neden olurlar. Bu nedenle genellikle gecikmeyi mümkün olduğu kadar düşük tutmayı amaçlayan diğer tekniklerle birleştirilirler; örneğin GeForce RTX'teki NVIDIA Reflex. Santa Barbara'daki Kaliforniya Üniversitesi ile ilişkili Intel araştırmacıları, bir araştırma makalesinde, adı verilen alternatif bir yöntemi sunuyorlar. GFFE (G-tampon Serbest Çerçeve Ekstrapolasyonu), bu sefer ekstrapolasyona dayanarak ve tanıtmaya değil a priori ek gecikme yok.
GFFE: enterpolasyonlu görüntüler yerine ekstrapolasyonlu görüntüler
Klasik enterpolasyon, hem geçmiş hem de gelecek çerçevelerde mevcut verileri gerektiren derin öğrenme algoritmalarını kullanır. Benekstrapolasyon ile ilgili çerçeveler yalnızca geçmiş görüntülerin geçmişine ve bilgilerine dayanarak yeni görüntüleri sentezler. Dolayısıyla bu, DLSS veya FSR FG enterpolasyon yöntemlerinin neden olduğu gecikmelerden kaçınırken algılanan kare hızının arttırılmasını mümkün kılar. Ek gecikmenin olmaması, oyun gibi gerçek zamanlı uygulamalar için kesin bir avantajdır.
Kapanmaların yönetimi, yani mevcut görüntüde görünen ancak önceki görüntülerde gizlenen alanların yanı sıra nesnelerin hareketinin ve gölgelemenin kesin tahmini, ekstrapolasyon yöntemlerinin karşılaştığı ana sorunlar olmaya devam etmektedir. çerçeveler. Bu nedenle mevcut araştırmaların odak noktası bu noktalardır: GFFE, bu engellerin üstesinden gelmek için çeşitli yenilikçi teknikler kullanırken, yüksek kaliteli görsel sonuçlar ve mevcut işleme motorlarına kolay entegrasyon sağlar.
©Intel/UCSB
G-Buffer olmadan her üç tür tıkanmayı da halledin
THE tıkanıklıklar Üç türde olabilir: kamera hareket ettiğinde ve daha önce görünmeyen alanları ortaya çıkardığında ortaya çıkan ekran dışı tıkanıklıklar, sahnedeki diğer öğeleri engelleyen sabit nesnelerden kaynaklanan statik tıkanıklıklar ve hareketli nesnelerin hareketinin neden olduğu dinamik tıkanıklıklar. Önceki görüntülerde bulunmayan bu alanlar dolayısıyla ekstrapolasyon algoritmalarından ek bilgi gerektirir.
Geleneksel ekstrapolasyon yöntemleri sıklıkla “G-tamponları” görüntülerin oluşturulmasına rehberlik etmek için: bu, sahneye ilişkin derinlik, normaller ve dokular gibi geometrik ve maddi bilgilerdir. Ancak bunların kullanımı, özellikle mobil cihazlarda veya belirli işlem hatları kullanılarak görüntü oluşturma sırasında performans ve bellek açısından maliyetli olabilir.
©Intel/UCSB
GFFE, tam olarak çerçevelerin ekstrapolasyonunu gerçekleştirme yeteneğiyle öne çıkıyor. G-tamponlarıdolayısıyla adı. Bunun yerine nesne hareketini tahmin etmek ve farklı kapanma türlerini ele almak için önceki çerçeve geçmişini kullanır. GFFE'nin işleyişi, sahnedeki dinamik unsurların hareketlerini analiz etmek için yenilikçi bir buluşsal çerçeveye ve bir sinir ağına dayanmaktadır.
Yöntem birkaç parçadan oluşuyor: 3B uzaydaki öğelerin yörüngesini izleyen ve gelecekteki konumlarını tahmin eden bir hareket tahmin modülü, önceki karelerde gizlenmiş alanlar hakkındaki bilgileri koruyan bir arka plan toplama modülü, işlemeyi ayarlayan uyarlanabilir bir işleme penceresi modülü. kamera hareketlerine dayalı alan ve görsel tutarlılığı artıran gölgeleme düzeltme sinir ağı.
GFFE: uygulama ve performans
Hareket tahmini © Intel / UCSB
Daha kesin olarak, 3 boyutlu uzaydaki her görüntü öğesinin yörüngesi, kameranın hareket vektörleri ve projeksiyon matrisleri kullanılarak oluşturulan her görüntü için yinelemeli olarak hesaplanır. Daha sonra her bir elemanın gelecekteki konumu, doğrusal bir yaklaşım kullanılarak geçmiş yörüngesinden tahmin edilir. Bu yaklaşım, kaynak verimliliğini korurken makul hareket tahminlerine olanak tanır.
Tıkanıklıkları gidermek için GFFE, gizli öğeler hakkında çok sayıda bilgi katmanını koruyan bir arka plan toplama sistemi kullanır. Bu katmanlar, oluşturulan karelere göre güncellenir ve içerikleri, önceki karelerde görünmeyen alanları doldurmak için yeni karelere yansıtılır. Uyarlanabilir işleme penceresi, işleme alanını kamera hareketine göre dinamik olarak genişleterek ekran dışı kapanmaları yönetir.
Uyarlanabilir görüntü oluşturma penceresi © Intel / UCSB
Gölgeleme düzeltme sinir ağı son olarak tahmin edilen görüntülerin görsel kalitesini iyileştirmek, özellikle nesnelerle aynı yörüngeleri takip edemeyen gölgeleri ve yansımaları düzeltmek için kullanılır. Bu sinir ağı, düzeltilmesi gereken alanları hedeflemek için odak maskeleri kullanarak görüntünün geri kalanındaki keskin ayrıntıların korunmasına yardımcı olur.
Pratikte elde edilen sonuçlar, enterpolasyon veya ekstrapolasyon yöntemlerine dayalı sonuçlarla karşılaştırılabilir veya hatta daha iyidir. G-tamponları. GFFE, sağlamlığı ve genelleştirilebilirliği, çeşitli sahnelerde, hatta eğitim sırasında kullanılmayan sahnelerde bile makul sonuçlar sunabilmesiyle öne çıkıyor. Hepsinden iyisi, GFFE daha verimlidir ve gerçek zamanlı 3D işleme motorlarına entegrasyonu daha kolaydır.
Henüz mükemmel olmayan bir yöntem
Ancak GFFE yöntemi mükemmel değildir ve hala bazı sınırlamalara sahiptir. Örneğin, çerçeve geçmişinde hiç görünmeyen tıkanmalar veya parçacıklar veya oyun arayüzleri gibi derinlik bazlı olmayan görsel efektlerin varlığında başarısız olabilir. .Gölgeleme ve vurgulama düzeltmeleri bazen gelecekteki görüntülerden elde edilecek bilgi eksikliğinden dolayı kusurlu olabilir.
Intel araştırmacılarının mevcut çalışmaları bu alanda hâlâ önemli bir ilerlemeyi temsil ediyor: Çözümleri, görsel kaliteden ödün vermeden grafik performansını artırmada veya her şeyden önemlisi, grafik performansını artırmada zaten etkili. gecikme ek olarak. Mobil uygulamalara yeni bakış açıları açmaya yetecek kadar, bulut oyunu ve daha genel olarak kaynakların sınırlı veya spesifik olduğu platformlar.
Kaynak :01net'ten gelen hiçbir haberi kaçırmamak için bizi Google Haberler ve WhatsApp'tan takip edin.
Kaliforniya Üniversitesi, Intel