Detail publikace
Jigsaw - Multi-Modal Big Data Management in Digital Film Production
Kim Hansung (USG)
Polok Lukáš, Ing. (UPGM FIT VUT)
Ila Viorela S., Ing., Ph.D. (UPGM FIT VUT)
Waine Ted (Double Negative)
Hilton Adrian (USG)
Clifford Jeff (Double Negative)
Smrž Pavel, doc. RNDr., Ph.D. (UPGM FIT VUT)
Moderní digitální filmová produkce používá velké množství dat zachycených na scéně, zejména video, digitální fotografie, LIDARové skeny, sférické fotografie a mnoho dalších, jež jsou potzřeba pro vykreslení finálních snímků filmu. Zpracování a řízení tohoto masivního množství heterogenních dat vyžaduje obrovské prostředky. Navrhujeme integrovaný algoritmus pro registraci 2D / 3D dat zaměřený na filmovou produkci, založený na aplikaci Jigsaw. Ta umožňuje uživatelům efektivně spravovat a zpracovávat různé typy dat od digitálních fotografií po 3D mračen bodů. Klíčovým krokem při používání multimodálních 2D / 3D dat pro výrobu obsahu je registrace do společného souřadného systému (match moving). 3D geometrické informace jsou rekonstruovány z 2D dat a registrovány na referenční 3D modely s využitím 3D párování zájmových bodů [Kim a Hilton 2014]. Představujeme vysoce efektivní a robustní přístupy k tomuto problému. Kromě toho jsme vyvinuli a integrovaný rychlý algoritmus pro inkrementální výpočet marginálních kovariancí [Ila et al. 2015]. To nám umožňuje odhadnout a vizualizovat chybu 3D rekonstrukce přímo na scéně, kde může být nedostatečné pokrytí či jiné problémy řešeny ihned. Popíšeme rychlý hybridní multi-core a GPU akcelerované techniky, které umožňují spouštět tyto algoritmy na laptopu. Jigsaw byla použita a vyhodnocena v několika velkých digitální filmových produkcí a významně snížila čas a práci potřebnou k řízení a zpracování dat ze scény.