Detail projektu
Multilingual and Cross-cultural interactions for context-aware, and bias-controlled dialogue systems for safety-critical applications
Období řešení: 1. 1. 2024 – 31. 12. 2026
Typ projektu: grant
Agentura: Evropská unie
Program: HORIZON EUROPE
Human computer interaction and interface, visualization and natural language,
artificial intelligence, intelligence systems, multi agents systems, natural
language processing, data protection and privacy, machine learning, statistical
data processing and applications using data processing, formal, cognitive,
functional and computational linguistics, distributed and federated adaptation of
Large Language Models, Multilinguality, Multimodality, Human-in-the-loop, Bias
mitigation, Grounding.
ELOQUENCE se zaměřuje na výzkum a vývoj nových technologií podporujících
kolaborativní hlasové/chatové roboty pro aplikace s nízkým (nízké riziko)
i vysokým (vysoké riziko) zabezpečením. Dialogové motory poháněné hlasovými
asistenty se již vyskytují v různých komerčních/vládních aplikacích s nižší nebo
vyšší úrovní složitosti. V obou případech lze tuto složitost převést na problém
analýzy nestrukturovaných dialogů. Klíčovým cílem projektu ELOQUENCE je porozumět
nestrukturovaným dialogům a vést je vysvětlitelným, bezpečným, znalostně
podloženým, důvěryhodným a nezaujatým způsobem, přičemž je třeba zohlednit
a navázat na předchozí úspěchy v této oblasti (např. nedávno spuštěný chatGPT
Large Language Models (LLM). Při zapojení klíčových průmyslových podniků z Evropy
do tohoto projektu (tj. Omilia, Telefonica. ...) bude k bezpečnosti přistupováno
pomocí člověka ve smyčce pro aplikace kritické z hlediska bezpečnosti (tj.
záchranné služby) a prostřednictvím vyhledávání informací a ověřování faktů na
základě online znalostní báze pro méně kritické autonomní systémy (tj. domácí
asistenti). ELOQUENCE se zaměří na výzkum a vývoj těchto nových konverzačních
technologií umělé inteligence ve vícejazyčných a multimodálních prostředích.
Zaměří se jak na základní výzkum, tak na jeho přímé nasazení prostřednictvím dvou
pilotních projektů: 1) kontaktní centra tísňového volání a 2) inteligentní
asistenti prostřednictvím decentralizovaného školení v inteligentních
domácnostech.
Beneš Karel, Ing., Ph.D. (UPGM)
Burget Lukáš, doc. Ing., Ph.D. (UPGM)
Fajčík Martin, Ing., Ph.D. (UPGM)
Heřmanský Hynek, prof. Ing., Dr. Eng. (UPGM)
Kesiraju Santosh, Ph.D. (UPGM)
Peng Junyi (UPGM)
Pešán Jan, Ing. (UPGM)
Rohdin Johan Andréas, M.Sc., Ph.D. (UPGM)
Sarvaš Marek, Ing.
Sedláček Šimon, Ing. (UPGM)
Schwarz Petr, Ing., Ph.D. (UPGM)
Valentini Francisco Tomas, BSc
Yusuf Bolaji (UPGM)
2024
- PEŠÁN, J.; JUŘÍK, V.; RŮŽIČKOVÁ, A.; SVOBODA, V.; JANOUŠEK, O.; NĚMCOVÁ, A.; BOJANOVSKÁ, H.; ALDABAGHOVÁ, J.; KYSLÍK, F.; VODIČKOVÁ, K.; SODOMOVÁ, A.; BARTYS, P.; CHUDÝ, P.; ČERNOCKÝ, J. Speech production under stress for machine learning: multimodal dataset of 79 cases and 8 signals. Scientific data, 2024, vol. 11, no. 1,
p. 1-9. ISSN: 2052-4463. Detail - POLOK, A.; KLEMENT, D.; HAN, J.; SEDLÁČEK, Š.; YUSUF, B.; MACIEJEWSKI, M.; WIESNER, M.; BURGET, L. BUT/JHU System Description for CHiME-8 NOTSOFAR-1 Challenge. Proceedings of CHiME 2024 Workshop. Kos Island: International Speech Communication Association, 2024.
p. 18-22. Detail - ROHDIN, J.; ZHANG, L.; PLCHOT, O.; STANĚK, V.; MIHOLA, D.; PENG, J.; STAFYLAKIS, T.; BEVERAKI, D.; SILNOVA, A.; BRUKNER, J.; BURGET, L. BUT systems and analyses for the ASVspoof 5 Challenge. Proceedings of ASV spoof 2024 Workshop. Kos Island: International Speech Communication Association, 2024.
p. 24-31. Detail - YUSUF, B.; ČERNOCKÝ, J.; SARAÇLAR, M. Pretraining End-to-End Keyword Search with Automatically Discovered Acoustic Units. In Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Proceedings of Interspeech. Kos: International Speech Communication Association, 2024.
p. 5068-5072. ISSN: 1990-9772. Detail