Camera Orientation Estimation in Natural Scenes Using Semantic Cues

Pro odhad orientace kamery v přírodních scénách bylo v poslední době vyvinuto několik metod, které využívají k registraci obrazu vůči 3D digitálnímu terénnímu modelu jednu modalitu - hrany, či křivky horizontu. Na rozdíl od předcházejících prací, naše nové schéma pro porovnávání obrázku a modelu je založeno na slučování více modalit a je navrženo tak, aby bylo snadno rozšiřitelné o nové příznaky. V tomto článku využíváme sémantickou segmentaci a hrany. Podle našeho názoru jsme první, kdo využívá sémantické segmenty společně s hranami pro zarovnávání obrazu s digitálním terénním modelem. Náš výzkum ukazuje, že vysokoúrovňové příznaky, jakými jsou sémantické segmenty, doplňují nízkoúrovňovou informaci obsaženou v hranách a dohromady pomáhají odhadovat orientaci kamery robustněji, než metody, které jsou založeny na porovnávání pouhých hran nebo křivek horizontu. V sérii experimentů ukazujeme, že hranice sémantických segmentů jsou většinou nepřesné a důležité informace jsou obsaženy v oblasti segmentu a jeho hrubém tvaru. Sémantické segmenty nesou nízkofrekvenční informaci na rozdíl od hran, které obsahují vysoké frekvence. Naše experimenty ukazují, že sémantické segmenty a hrany se navzájem doplňují a zajišťují zvýšení spolehlivosti odhadu kamery, pokud jsou použity společně. Dále ukazujeme, že naše metoda kombinující sémantické a hranové příznaky je schopna dosáhnout na třech různých datových sadách lepších výsledků, než dosahují metody současného stavu poznání.

Představujeme novou metodu pro automatický odhad orientace kamery za předpokladu, že pozice kamery a úhel záběru je znám. Naše metoda zahrnuje následující kroky: (I) ze vstupního obrazu je automaticky detekována hranová mapa a sémantická segmentace popisující sémantické oblasti obrazu, jako jsou lesy, vodní plochy, obloha nebo ledovce; (II) v místě předpokládané pozice kamery je vyrenderováno 360 stupňové panorama obsahující sémantické segmenty z databáze OpenStreetMap a siluetní hrany z digitálního elevačního modelu; (III) detekované a renderované sémantické segmenty a hranové mapy jsou porovnávány mezi sebou pomocí sférické korelace a našeho nového schématu pro fúzi jistotních map (Confidence Fusion - CF), jejímž výsledkem je odhadovaná orientace kamery. Sférická korelace je spočtena pro každou sémantickou třídu a hranové mapy zvlášť tak, že jejím výsledkem je jistotní mapa určující jistotu pro každou uvažovanou orientaci. Jistotní mapy jsou sloučeny do jedné pomocí váženého geometrického průměru. Výsledná jistotní mapa určí odhadovanou orientaci kamery. 

Naše metoda je vhodná pro odhad orientace kamery ve venkovním prostředí a může být využita v mnoha aplikacích. Aplikace zahrnují virtuální a rozšířenou realitu, vizualizace historické re-fotografie, navigaci, aj. Experimenty na třech různých, veřejně dostupných datových sadách ukázaly, že naše metoda dosahuje výsledků srovnatelných se současným stavem poznání. 

Tato publikace byla prezentována na mezinárodní konferenci o 3D vidění (3DV) 2018 v italské Veroně a je veřejně dostupná: https://ieeexplore.ieee.org/document/8490971. Doprovodné materiály a video shrnující tuto publikaci je dostupné na webové stránce projektu: http://cphoto.fit.vutbr.cz/semantic-orientation/.