Detail projektu
Sequence summarizing neural networks for speaker recognition
Období řešení: 1. 7. 2016 - 30. 6. 2019
Typ projektu: grant
Kód: 5SA15094, 665860
Agentura: Jihomoravský kraj
Program: Horizon 2020
Automatické rozpoznávání mluvčího má za úkol oveřit nebo identifikovat osobu na základě nahrávky. Komerční aplikace rozpoznávání mluvčího jsou v přístupových systémech a v bankovnictví, důležité je také užití je v oblasti národní bezpečnosti. Navrhovaný projekt se týká automatického rozpoznávání mluvčího a je inspirován obrovským pokrokem, který v několika minulých letech přinesly do detekčních a rozpoznávacích úloh umělé neuronové sítě (neural networks, NN). Cílem našeho projektu je vyvinout nový typ NN, která bude vhodná pro rozpoznávání mluvčího a dosáhnout stavu, kdy bude tento přístup použitelný pro praktické aplikace. Dosavadní snahy použít NN pro rozpoznávání mluvčího se vždy zaměřovaly jen na to, že se jeden nebo několik funkčních bloků v klasických systémech nahradil za NN. Tento přístup je ale omezen (podobně jako existující systémy) tím, že je pevně předepsáno, co má neuronová síť modelovat. Náš projekt se zaměřuje na náhradu celého řetězce bloků v rozpoznávacím systému jednou neuronovou sítí, která bude celé promluvy zpracovávat v jediném kroku. To by mělo lépe využít schopností NN modelovat složité vzory v řečových signálech. Cíle projektu budou dosaženy teoretickou prací (odvození struktury NN, odvození kritérií pro trénování), implementací (paralelizace, škálování, atd.) a důkladným testováním na reálných řečových datech. Navrhovaný projekt je plně v souladu s Regionální inovační strategií Jihomoravského kraje, a jeho specializační strategií "Smart Specialization strategy (S3)". S3 definuje výzkum a vývoj v oblasti počítačového hardware a software jako jednu z pěti strategických priorit, a zvlášť zmiňuje oblasti IT bezpečnosti a cognitroniky. Navrhovaný projekt zcela spadá do oblasti cognitroniky a vzhledem k hlavním aplikacím rozpoznávání mluvčího se týká i oblasti počítačové bezpečnosti.
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT) , spoluřešitel
2020
- MATĚJKA Pavel, PLCHOT Oldřich, GLEMBEK Ondřej, BURGET Lukáš, ROHDIN Johan A., ZEINALI Hossein, MOŠNER Ladislav, SILNOVA Anna, NOVOTNÝ Ondřej, DIEZ Sánchez Mireia a ČERNOCKÝ Jan. 13 years of speaker recognition research at BUT, with longitudinal analysis of NIST SRE. Computer Speech and Language, roč. 2020, č. 63, s. 1-15. ISSN 0885-2308. Detail
- ROHDIN Johan A., SILNOVA Anna, DIEZ Sánchez Mireia, PLCHOT Oldřich, MATĚJKA Pavel, BURGET Lukáš a GLEMBEK Ondřej. End-to-end DNN based text-independent speaker recognition for long and short utterances. Computer Speech and Language, roč. 2020, č. 59, s. 22-35. ISSN 0885-2308. Detail
2019
- ALAM Jahangir, BOULIANNE Gilles, GLEMBEK Ondřej, LOZANO Díez Alicia, MATĚJKA Pavel, MIZERA Petr, MONTEIRO Joao, MOŠNER Ladislav, NOVOTNÝ Ondřej, PLCHOT Oldřich, ROHDIN Johan A., SILNOVA Anna, SLAVÍČEK Josef, STAFYLAKIS Themos, WANG Shuai a ZEINALI Hossein. ABC NIST SRE 2019 CTS System Description. In: Proceedings of NIST. Sentosa, Singapore: National Institute of Standards and Technology, 2019, s. 1-6. Detail
- MATĚJKA Pavel, PLCHOT Oldřich, ZEINALI Hossein, MOŠNER Ladislav, SILNOVA Anna, BURGET Lukáš, NOVOTNÝ Ondřej a GLEMBEK Ondřej. Analysis of BUT Submission in Far-Field Scenarios of VOiCES 2019 Challenge. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 2448-2452. ISSN 1990-9772. Detail
- DIEZ Sánchez Mireia, BURGET Lukáš, WANG Shuai, ROHDIN Johan A. a ČERNOCKÝ Jan. Bayesian HMM based x-vector clustering for Speaker Diarization. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 346-350. ISSN 1990-9772. Detail
- ZEINALI Hossein, STAFYLAKIS Themos, ATHANASOPOULOU Georgia, ROHDIN Johan A., GKINIS Ioanis, BURGET Lukáš a ČERNOCKÝ Jan. Detecting Spoofing Attacks Using VGG and SincNet: BUT-Omilia Submission to ASVspoof 2019 Challenge. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 1073-1077. ISSN 1990-9772. Detail
- ZEINALI Hossein, BURGET Lukáš, ROHDIN Johan A., STAFYLAKIS Themos a ČERNOCKÝ Jan. How To Improve Your Speaker Embeddings Extractor in Generic Toolkits. In: Proceedings of 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP). Brighton: IEEE Signal Processing Society, 2019, s. 6141-6145. ISBN 978-1-5386-4658-8. Detail
- WANG Shuai, ROHDIN Johan A., BURGET Lukáš, PLCHOT Oldřich, QIAN Yanmin, YU Kai a ČERNOCKÝ Jan. On the Usage of Phonetic Information for Text-independent Speaker Embedding Extraction. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 1148-1152. ISSN 1990-9772. Detail
- STAFYLAKIS Themos, ROHDIN Johan A., PLCHOT Oldřich, MIZERA Petr a BURGET Lukáš. Self-supervised speaker embeddings. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 2863-2867. ISSN 1990-9772. Detail
- ROHDIN Johan A., STAFYLAKIS Themos, SILNOVA Anna, ZEINALI Hossein, BURGET Lukáš a PLCHOT Oldřich. Speaker Verification Using End-To-End Adversarial Language Adaptation. In: Proceedings of ICASSP 2019. Brighton: IEEE Signal Processing Society, 2019, s. 6006-6010. ISBN 978-1-5386-4658-8. Detail
2018
- ALAM Jahangir, BHATTACHARYA Gautam, BRUMMER Johan Nikolaas Langenhoven, BURGET Lukáš, DIEZ Sánchez Mireia, GLEMBEK Ondřej, KENNY Patrick, KLČO Michal, LANDINI Federico Nicolás, LOZANO Díez Alicia, MATĚJKA Pavel, MONTEIRO Joao, MOŠNER Ladislav, NOVOTNÝ Ondřej, PLCHOT Oldřich, PROFANT Ján, ROHDIN Johan A., SILNOVA Anna, SLAVÍČEK Josef, STAFYLAKIS Themos a ZEINALI Hossein. ABC NIST SRE 2018 SYSTEM DESCRIPTION. In: Proceedings of 2018 NIST SRE Workshop. Athens: National Institute of Standards and Technology, 2018, s. 1-10. Detail
- PLCHOT Oldřich, MATĚJKA Pavel, NOVOTNÝ Ondřej, CUMANI Sandro, LOZANO Díez Alicia, SLAVÍČEK Josef, DIEZ Sánchez Mireia, GRÉZL František, GLEMBEK Ondřej, KAMSALI Veera Mounika, SILNOVA Anna, BURGET Lukáš, ONDEL Yang Lucas Antoine Francois, KESIRAJU Santosh a ROHDIN Johan A. Analysis of BUT-PT Submission for NIST LRE 2017. In: Proceedings of Odyssey 2018 The Speaker and Language Recognition Workshop. Les Sables d'Olonne: International Speech Communication Association, 2018, s. 47-53. ISSN 2312-2846. Detail
- DIEZ Sánchez Mireia, LANDINI Federico Nicolás, BURGET Lukáš, ROHDIN Johan A., SILNOVA Anna, ŽMOLÍKOVÁ Kateřina, NOVOTNÝ Ondřej, VESELÝ Karel, GLEMBEK Ondřej, PLCHOT Oldřich, MOŠNER Ladislav a MATĚJKA Pavel. BUT system for DIHARD Speech Diarization Challenge 2018. In: Proceedings of Interspeech 2018. Hyderabad: International Speech Communication Association, 2018, s. 2798-2802. ISSN 1990-9772. Detail
- ROHDIN Johan A., SILNOVA Anna, DIEZ Sánchez Mireia, PLCHOT Oldřich, MATĚJKA Pavel a BURGET Lukáš. End-to-End DNN Based Speaker Recognition Inspired by i-Vector and PLDA. In: Proceedings of ICASSP. Calgary: IEEE Signal Processing Society, 2018, s. 4874-4878. ISBN 978-1-5386-4658-8. Detail
2017
- PLCHOT Oldřich, MATĚJKA Pavel, SILNOVA Anna, NOVOTNÝ Ondřej, DIEZ Sánchez Mireia, ROHDIN Johan A., GLEMBEK Ondřej, BRÜMMER Niko, SWART Albert du Preez, PRIETO Jesús J., GARCIA Perera Leibny Paola, BUERA Luis, KENNY Patrick, ALAM Jahangir a BHATTACHARYA Gautam. Analysis and Description of ABC Submission to NIST SRE 2016. In: Proceedings of Interspeech 2017. Stockholm: International Speech Communication Association, 2017, s. 1348-1352. ISSN 1990-9772. Detail
- MATĚJKA Pavel, PLCHOT Oldřich, NOVOTNÝ Ondřej, CUMANI Sandro, LOZANO Díez Alicia, SLAVÍČEK Josef, DIEZ Sánchez Mireia, GRÉZL František, GLEMBEK Ondřej, KAMSALI Veera Mounika, SILNOVA Anna, BURGET Lukáš, ONDEL Yang Lucas Antoine Francois, KESIRAJU Santosh a ROHDIN Johan A. BUT- PT System Description for NIST LRE 2017. In: Proceedings of NIST Language Recognition Workshop 2017. Orlando, Florida: National Institute of Standards and Technology, 2017, s. 1-6. Detail
2016
- BRUMMER Johan Nikolaas Langenhoven, SWART Albert du Preez, PRIETO Jesús J., GARCIA Perera Leibny Paola, MATĚJKA Pavel, PLCHOT Oldřich, DIEZ Sánchez Mireia, SILNOVA Anna, JIANG Xiaowei, NOVOTNÝ Ondřej, ROHDIN Johan A., GLEMBEK Ondřej, GRÉZL František, BURGET Lukáš, ONDEL Yang Lucas Antoine Francois, PEŠÁN Jan, ČERNOCKÝ Jan, KENNY Patrick, ALAM Jahangir, BHATTACHARYA Gautam a ZEINALI Hossein a kol. ABC NIST SRE 2016 SYSTEM DESCRIPTION. San Diego: National Institute of Standards and Technology, 2016. Detail