Do End-to-End Neural Diarization Attractors Need to Encode Speaker Characteristic Information?

V tomto článku aplikujeme přístup s variačním informačním úzkým hrdlem na end-to-end neurální diarizaci s atraktory kodér-dekodér (EEND-EDA). To nám umožňuje zjistit, jaké informace jsou pro model zásadní. EEND-EDA využívá atraktory, vektorové reprezentace mluvčích v konverzaci. Naše analýza ukazuje, že atraktory nemusí nutně obsahovat informace o charakteristikách mluvčího. Na druhou stranu, poskytnutí větší volnosti atraktorům, které jim umožní zakódovat nějaké další (pravděpodobně specifické pro mluvčího) informace, vede k malým, ale konzistentním zlepšením diarizačního výkonu. Navzdory architektonickým rozdílům v systémech EEND je představa atraktorů a vestavění rámu pro většinu z nich společná a není specifická pro EEND-EDA. Domníváme se, že hlavní závěry této práce lze aplikovat i na další varianty EEND. Doufáme tedy, že tento dokument bude cenným příspěvkem, který pomůže komunitě činit informovanější rozhodnutí při navrhování nových systémů.