Temporal HDR Tone Mapping IP Core

pořizování HDR obrazu, FPGA, multiexpozice, tonemapping, dron, UAV

Tato komponenta je součástí repozitáře komponent Comp4Drones. Modul je určen pro zpracování videa, který převádí snímky RGB zachycené dronem na videostream obsahujíci HDR snímek zpracovaný pomocí algoritmů HDR. Komponenta je implementována pro Xilinx FPGA a přijímá data z obrazového senzoru, a provádí fúzi více snímků s různou expozicí do HDR snímků/ HDR videa a následně aplikuje algoritmus HDR Tone Mapping. Systém je rovněž schopen předzpracování obrazu, kontroly expozice a funkce "ghost-free" pro odstranění možných artefaktů způsobených pohybem objektů ve videu. Komponenta je rozdělena do čtyř hlavních bloků: sběr dat ze snímače, vyrovnávací paměť, fúze/deghosting HDR a HDR mapování tónů. Architektura je založena na platformě Xilinx Zynq a je připojena ke snímači CMOS Python 2000 pomocí rozhraní LVDS. Výstupem CMOS jsou obrazová data v CFA mozaice, která jsou uložena v paměti DDR pomocí DMA. Blok fúze HDR čte z RAM 3 snímky současně a aplikuje funkci inverzní odezvy pro získání obrazu s lineární odezvou. Následně fúzní algoritmus provádí zpracování per pixel. Řetězec HDR je implementován v FPGA a je kompletně řetězen na 200 MHz (zpracování jednoho pixelu na takt, celkem 200MPix/s). Vstupem do bloku HDR Tone Mapping je 18bitový pixel CFA v reprezentaci s pevnou desetinnou čárkou a výstupem je pixel RGB v intervalu <0,1>. Algoritmus je založen na Durand a Dorsey operátoru mapování tónů. Vzhledem k omezené velikosti paměti však implementace počítá minimální a maximální hodnoty (percentily) jasu. Tato komponenta je navržena tak, aby podporovala sběr statistických dat pro další zpracování v FPGA nebo v navazujících systémech. Získaná data (statistická ale hlavně video stream) je možné použít pro další zpracování pomocí nástrojů/algoritmů pro analýzu dat, například detektory. Mezi vylepšení, která VUT přinesla, patří zvýšení výkonu algoritmů, snížení latence, zvýšení propustnosti (až 200 megapixelů za sekundu), zvýšená robustnost algoritmů s ohledem na vlivy prostředí dronu (otřesy, rychlá změna scény).

Fakulta informačních technologií VUT v Brně, Božetěchova 2, 612 66 Brno, Q301

Pro informace o licenčních podmínkách prosím kontaktujte: Ing. Kristýna Ullmannová, MSc., Výzkumné centrum informačních technologií, Fakulta informačních technologií VUT v Brně, Božetěchova 2, 612 66 Brno, tel. 541 141 466.