Detail publikace
Lightweight All-Focused Light Field Rendering
Milet Tomáš, Ing., Ph.D. (UPGM)
Zemčík Pavel, prof. Dr. Ing., dr. h. c. (UPGM)
light field, zametací rovina, image-based rendering, GPU, zaostření
Tento článek navrhuje novou metodu v reálném čase pro vysoce kvalitní interpolaci
pohledu z light fieldu. Návrh je nenáročnou metodou, kterou lze použít se
spotřebitelskými GPU, dosahující stejné nebo lepší kvality než stávající metody,
v kratším čase, s výrazně menšími nároky na paměť. Light fielde patří k metodám
vykreslování na bázi obrázků, které dokážou vytvářet realistické výsledky bez
výpočetně náročných algoritmů. Nový pohled je syntetizován z více vstupních
obrazů stejné scény, zachycených z různých pozic kamery. Standardní vykreslovací
techniky, jako je rasterizace nebo ray tracing, jsou omezené z hlediska kvality,
paměti a rychlosti. Metody vykreslování light fieldu často vytvářejí nežádoucí
artefakty připomínající duchy nebo rozostření v určitých částech scény kvůli
neznámé geometrii scény. Navrhovaná metoda odhaduje geometrii pro každý pixel
jako optimální zaostřovací vzdálenost pro zmírnění artefaktů. Ostřící vzdálenost
určuje, které pixely ze vstupních obrazů se smíchají, aby vznikl konečný pohled.
Nejmodernější metody využívají skenování s konstantním krokem pro hledání
shodných pixelů v daném intervalu. Skenování hledá vzdálenost s nejmenším
barevným rozptylem přispívajících pixelů předpokládajíc, že patří ke stejnému
místu ve scéně. Článek navrhuje optimální strategii skenování daného intervalu
ostření, vylepšenou metriku barevné disperze a další drobná vylepšení, jako je
úprava velikosti vzorkovacího bloku, vzorkování mimo hranice a filtrování.
Experimentální výsledky ukazují, že návrh využívá méně zdrojů, dosahuje lepší
vizuální kvality a je výrazně rychlejší než stávající metody vykreslování light
fieldu. Návrh je 8× rychlejší než metody ve stejné kategorii. Návrh využívá pouze
čtyři nejbližší pohledy z dat světelného pole a snižuje potřebný přenos dat.
Stávající metody často vyžadují mřížku plného light fieldu, která je obvykle
velká 8×8 snímků. Kromě toho byl vytvořen a publikován nový dataset light fieldu
ve 4K rozlišení obsahující scény různých typů. Je také navržena optimální nová
metoda pro pořízení light fieldu a byla použita k vytvoření zmíněného datasetu.
@article{BUT188789,
author="Tomáš {Chlubna} and Tomáš {Milet} and Pavel {Zemčík}",
title="Lightweight All-Focused Light Field Rendering",
journal="COMPUTER VISION AND IMAGE UNDERSTANDING",
year="2024",
volume="244",
number="7",
pages="7--8",
doi="10.1016/j.cviu.2024.104031",
issn="1077-3142",
url="https://www.sciencedirect.com/science/article/abs/pii/S1077314224001127"
}