Analysis of DNN-based Embeddings for Language Recognition on the NIST LRE 2017

Článek pojednává o analýze Deep Neural Netvork (DNN) Embeddings pro rozpoznávání jazyka v NIST LRE 2017. V této práci analyzujeme různé návrhy systému identifikace jazyka (LID) založeného na embeddingech. V našem případě embedding představuje celou promluvu (nebo segment řeči s proměnlivou dobou trvání) jako vektor s pevnou délkou (podobně jako vektor). Kromě toho si tento embedding klade za cíl zachytit informace relevantní pro cílový úkol (LID) a je získáváno trénováním hluboké neurální sítě (DNN) pro klasifikaci jazyků. Zejména jsme trénovali DNN na základě obousměrných vrstev dlouhodobé krátkodobé paměti (BLSTM) rekurentní neurální sítě (RNN), jejichž výstupy po jednotlivých rámcích jsou shrnuty do průměrných a standardních odchylek statistik pro každou promluvu. Po této vrstvě sdružování přidáme dvě plně propojené vrstvy, jejichž výstupy jsou použity jako embeddingy, který jsou poté modelovány Gaussovým lineárním klasifikátorem (GLC). Pro školení přidáme softmax výstupní vrstvu a trénujeme celou síť s multi-class cross-entropickým cílem rozlišovat mezi jazyky. Analyzujeme efekt použití rozšíření dat v tréninku DNN, stejně jako různé vstupní funkce a hyperparametry architektury, získávání konfigurací, které postupně zlepšovaly výkon embedding systému. Naše výsledky oznamujeme v datovém souboru NIST LRE 2017 a porovnáváme výkon embeddingů s referenčním i-vektorovým systémem. Ukazujeme, že nejlepší konfigurace našeho systému pro embeddingy překonává silný referenční i-vektorový systém o 3% relativní a toto je dále posunuto až o 10% relativní zlepšení pomocí jednoduché fúze na úrovni skóre.