Temporal HDR Tone Mapping IP Core

Tato komponenta je součástí repozitáře komponent
Comp4Drones. Modul je určen pro zpracování videa, který převádí snímky RGB
zachycené dronem na videostream obsahujíci HDR snímek zpracovaný pomocí
algoritmů HDR. Komponenta je implementována pro Xilinx FPGA a přijímá data z obrazového
senzoru, a provádí fúzi více snímků s různou expozicí do HDR snímků/ HDR videa
a následně aplikuje algoritmus HDR Tone Mapping. Systém je rovněž schopen předzpracování
obrazu, kontroly expozice a funkce "ghost-free" pro odstranění
možných artefaktů způsobených pohybem objektů ve videu. Komponenta je rozdělena
do čtyř hlavních bloků: sběr dat ze snímače, vyrovnávací paměť, fúze/deghosting
HDR a HDR mapování tónů. Architektura je založena na platformě Xilinx Zynq a je
připojena ke snímači CMOS Python 2000 pomocí rozhraní LVDS. Výstupem CMOS jsou obrazová
data v CFA mozaice, která jsou uložena v paměti DDR pomocí DMA. Blok fúze HDR
čte z RAM 3 snímky současně a aplikuje funkci inverzní odezvy pro získání obrazu
s lineární odezvou. Následně fúzní algoritmus provádí zpracování per pixel. Řetězec
HDR je implementován v FPGA a je kompletně řetězen na 200 MHz (zpracování
jednoho pixelu na takt, celkem 200MPix/s). Vstupem do bloku HDR Tone Mapping je
18bitový pixel CFA v reprezentaci s pevnou desetinnou čárkou a výstupem je
pixel RGB v intervalu <0,1>. Algoritmus je založen na Durand a Dorsey
operátoru mapování tónů. Vzhledem k omezené velikosti paměti však implementace
počítá minimální a maximální hodnoty (percentily) jasu. Tato komponenta je
navržena tak, aby podporovala sběr statistických dat pro další zpracování v
FPGA nebo v navazujících systémech. Získaná data (statistická ale hlavně
video stream) je možné použít pro další zpracování pomocí nástrojů/algoritmů
pro analýzu dat, například detektory. Mezi vylepšení, která VUT přinesla, patří
zvýšení výkonu algoritmů, snížení latence, zvýšení propustnosti (až 200
megapixelů za sekundu), zvýšená robustnost algoritmů s ohledem na vlivy
prostředí dronu (otřesy, rychlá změna scény).