Beginnt: Dienstag, 29. Juni 2021 um 16:20 MESZ
Endet: Dienstag, 29. Juni 2021 um 17:10 MESZ
Point-Based Neural Rendering mit Per-View-Optimierung
Kopanas, Georgios; Philip, Julien; Leimkuehler, Thomas; Drettakis, George
Zusammenfassung
In letzter Zeit gab es großes Interesse an neuralen Rendering-Methoden auf Grafikkarten. Einige Ansätze verwenden 3D-Geometrie, die mit Multi-View-Stereo (MVS) rekonstruiert wurde, können jedoch nicht von den Fehlern dieses Prozesses erholen, während andere direkt eine volumetrische neurale Darstellung erlernen, aber unter teurem Training und Inferenz leiden. Wir führen einen allgemeinen Ansatz ein, der mit MVS initialisiert wird, aber eine weitere Optimierung der Szeneneigenschaften im Raum der Eingabeansichten ermöglicht, einschließlich Tiefe und reprojizierten Merkmalen, was zu einer verbesserten neuen Ansichtssynthese führt. Ein Schlüsselelement unseres Ansatzes ist eine differentielle punktbasierte Splatting-Pipeline, basierend auf unserer bi-direktionalen elliptischen gewichteten Durchschnittslösung. Um die Qualität und Effizienz unserer punktbasierten Methode weiter zu verbessern, führen wir einen probabilistischen Tiefentest und eine effiziente Kameraauswahl ein. Wir verwenden diese Elemente zusammen in unserem neuralen Renderer, was uns ermöglicht, einen guten Kompromiss zwischen Qualität und Geschwindigkeit zu erzielen. Unsere Pipeline kann zusätzlich zur neuen Ansichtssynthese auf die Multi-View-Harmonisierung und -Stilisierung angewendet werden.
DONeRF: In Richtung Echtzeit-Rendering von kompakten Neural Radiance Fields mit Depth Oracle Networks
Neff, Thomas; Stadlbauer, Pascal; Parger, Mathias; Kurz, Andreas; Mueller, Joerg; Alla Chaitanya, Chakravarty R.; Kaplanyan, Anton S.; Steinberger, Markus
Zusammenfassung
Die jüngste Forschungsexplosion um implizite neuronale Darstellungen, wie NeRF, zeigt, dass es ein immenses Potenzial für die implizite Speicherung von hochwertigen Szenen- und Lichtinformationen in kompakten neuronalen Netzwerken gibt. Ein Hauptnachteil, der die Verwendung von NeRF in Echtzeit-Rendering-Anwendungen verhindert, ist jedoch der hohe Rechenaufwand für übermäßige Netzwerkauswertungen entlang jedes Sichtstrahls, der Dutzende von PetaFLOPS erfordert. In dieser Arbeit bringen wir kompakte neuronale Darstellungen näher an das praktische Rendering von synthetischen Inhalten in Echtzeitanwendungen, wie Spielen und virtueller Realität. Wir zeigen, dass die Anzahl der für jeden Sichtstrahl erforderlichen Proben erheblich reduziert werden kann, wenn Proben um Oberflächen in der Szene platziert werden, ohne die Bildqualität zu beeinträchtigen. Zu diesem Zweck schlagen wir ein Tiefenorakel-Netzwerk vor, das die Strahlprobenorte für jeden Sichtstrahl mit einer einzigen Netzwerkauswertung vorhersagt. Wir zeigen, dass die Verwendung eines Klassifikationsnetzwerks um logarithmisch diskretisierte und sphärisch verzerrte Tiefenwerte wesentlich ist, um Oberflächenorte zu kodieren, anstatt die Tiefe direkt zu schätzen. Die Kombination dieser Techniken führt zu DONeRF, unserem kompakten Dual-Netzwerk-Design mit einem Tiefenorakel-Netzwerk als ersten Schritt und einem lokal abgetasteten Schattierungsnetzwerk für die Strahlanhäufung. Mit DONeRF reduzieren wir die Inferenzkosten um bis zu 48x im Vergleich zu NeRF, wenn wir uns auf verfügbare Grundwahrheitstiefeninformationen stützen. Im Vergleich zu gleichzeitigen Beschleunigungsmethoden für strahlmarschierende neurale Darstellungen erfordert DONeRF keinen zusätzlichen Speicher für explizites Caching oder Beschleunigungsstrukturen und kann interaktiv (20 Bilder pro Sekunde) auf einer einzelnen GPU rendern.
NeRF-Tex: Neural Radiance Field Texturen
Baatz, Hendrik; Granskog, Jonathan; Papas, Marios; Rousselle, Fabrice; Novak, Jan
Zusammenfassung
Wir untersuchen die Verwendung von neuronalen Feldern zur Modellierung verschiedener mesoskaliger Erscheinungen. Mesoskalige Strukturen wie Fell, Stoff und Gras werden derzeit mit fallspezifischen Grafikprimitiven behandelt, die nur begrenzt vielseitig sind. Stattdessen lassen wir uns von neuronalen Strahlungsfeldern inspirieren und schlagen vor, ein volumetrisches mesoskaliges Primitiv mit einem neuralen Reflektanzfeld (NeRF) darzustellen, das die Geometrie und Lichtreaktion gemeinsam modelliert. Das volumetrische Primitiv kann über ein Basismesh instanziiert werden, um es mit dem gewünschten meso- und mikroskaligen Aussehen zu „texturieren“. Wir konditionieren das Reflektanzfeld auf benutzerdefinierte Parameter, die das Aussehen steuern. Eine einzelne NeRF-Textur erfasst somit ein Kontinuum von Reflektanzfeldern anstelle einer spezifischen Struktur. Dies erhöht die Bandbreite der darstellbaren Erscheinungen und bietet eine einfache Lösung zur Bekämpfung von repetitiven Texturierungsartefakten. Unser Ansatz vereint die Vielseitigkeit und Modellierungskraft von neuronalen Netzwerken mit der künstlerischen Kontrolle, die für die präzise Modellierung virtueller Szenen erforderlich ist. Obwohl alle unsere Trainingsdaten derzeit synthetisch sind, liefert unsere Arbeit ein Rezept, das weiter ausgebaut werden kann, um komplexe, schwer zu modellierende Erscheinungen aus echten Bildern zu extrahieren.