Kdopak to mluví? Španělská vědkyně na FIT zkoumá, jak lépe naučit počítače rozpoznat řečníka

Ještě několik dní bude trvat výzkumný pobyt španělské vědkyně Alicie Lozano-Diez na Fakultě informačních technologií. Na konci ledna tu po dvaceti měsících usilovné práce ukončí svůj výzkum robustního rozpoznávání řečníka, na kterém pracovala v rámci prestižního evropského grantu Marie Curie H2020 určeného pro mladé talentované výzkumníky. 

Jak lépe naučit počítače, aby uměly v řeči automaticky rozeznat, kdo kdy mluví ale také co říká? To bylo hlavním úkolem projektu Robust End-To-End SPEAKER recognition, na kterém Alicia Lozano-Diez pracovala v Brně jako hlavní řešitelka od června 2019.

"Výzkum v této oblasti se nám podařilo zase o kousek posunout. Dosáhli jsme lepší úspěšnosti a robustnosti u různých úkolů souvisejících s rozpoznáváním mluvčích a ve zkoumání celé škály technik a úkolů chceme ještě pokračovat," říká španělská výzkumnice. 

S týmem řečařů z výzkumné skupiny Speech@FIT se účastnila řady mezinárodních evaluací - "challenges". "Ty nám umožnily vyzkoušet různé techniky. V jedné z posledních jsme měli za úkol určit 'kdo kdy mluví' ve zvukovém záznamu s více mluvčími. A výsledky ukázaly právě na potenciál end-to-end neuronových sítí, kterým se věnuji, hlavně tam, kde v jeden moment hovoří více mluvčích. To je problém, který tradiční systémy stále nedokážou správně řešit. Je ale stále co prozkoumávat, abychom pochopili, co se neuronové sítě učí a proč v určitých prostředích a zvukových podmínkách stále nejsou schopny překonat tradiční systémy," vysvětluje Alicia Lozano-Diez.  

Technologie, na kterých pracuje, má dnes široké využití. Rozpoznání a diarizace (tedy kdo kdy mluví) řečníka se využívá například při hlasové biometrii, u ovládání zařízení hlasem a různých osobních asistentů, jako třeba Google Home, nebo třeba u automatického přepisu zvuku, který využívá YouTube. 

Všechny výsledky projektu FIT může výzkumná komunita i průmysloví partneři najít ve vědeckých zprávách a článcích a mohou je využít nebo na ně navázat. 

"Mám ráda výzvy, které toto téma přináší. Často nejsou snadné, ale právě to vede k pokroku. A samozřejmě jsem si užila také spolupráci s týmem na FIT, díky kterému je ten pokrok vždy ještě o něco rychlejší," říká Alicia. 

Její výzkumný pobyt v Brně byl vlastně návratem - s FIT už spolupracovala během svého doktorského studia, během kterého fakultu několikrát navštívila. A do Brna se rozhodla vrátit i po dokončení svého doktorátu. Pomohl jí v tom před téměř dvěma lety grant Marie Curie určený pro mladé talentované výzkumníky.

"Poprvé jsem tak vloni zažila skutečnou brněnskou zimu - ale měla jsem štěstí, prý byla mírná," usmívá se Alicia Lozano-Diez a nemůže si vynachválit své kolegy ze skupiny. "Moc jsem si to tady užila, dokonce jsem se naučila trochu česky," říká. 

Výzkumný pobyt jí tak zkomplikovala "jen" pandemie. "Chybí mi osobní interakce s vědeckou komunitou na konferencích a dennodenní setkávání s kolegy v práci. A je samozřejmě také náročné žít daleko od své rodiny a přátel, které jsem nemohla navštěvovat tak, jak bych si přála, ani oni mě," říká. 

Po skončení projektu se Alicia vrátí do Madridu na svou "domovskou" univerzitu Universidad Autónoma, kde pracuje jako odborná asistentka. "Kromě výuky se tam zabývám také výzkumem v podobných oblastech jako na FIT. Máme tedy v plánu spolupracovat i nadále - jak na tématech toho projektu, tak i na dalších, která přijdou. Výzvy v této oblasti přetrvávají a stále se objevují nové," dodává.