Detail publikace
Dealing with Unknowns in Continual Learning for End-to-end Automatic Speech Recognition
rozpoznávání řeči, kontinuální učení, rozpoznávání řeči z několika zdrojů, kombinace modelů
Nepřetržité
učení se z dat je běžný a nepříliš namáhavý úkol pro lidi, avšak pro
strojové učení stále představuje významnou výzvu. Když je natrénovaný model testován v předem neznámých podmínkách, často nezobecňuje dobře. Tento článek navrhuje matematicky motivovaný dynamicky se rozšiřující model s nezávislými částmi,
z nichž každá využívala různý soubor dat během trénování. Výsledný
model nevykazuje katastrofické zapomínání znalostí získaných z dříve
viděných dat a zároveň dokáže integrovat znalosti z nových dat. Během
inference dochází k vážené kombinaci modelů na základě odhadnutého
pravděpodobnostního rozložení aktivací uvnitř každého modelu
realizovaného pomocí neuronové sítě.
@inproceedings{BUT182527,
author="ŠŮSTEK, M. and SADHU, S. and HEŘMANSKÝ, H.",
title="Dealing with Unknowns in Continual Learning for End-to-end Automatic Speech Recognition",
booktitle="Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH",
year="2022",
journal="Proceedings of Interspeech",
volume="2022",
number="9",
pages="1046--1050",
publisher="International Speech Communication Association",
address="Incheon",
doi="10.21437/Interspeech.2022-11139",
issn="1990-9772",
url="https://www.isca-speech.org/archive/pdfs/interspeech_2022/sustek22_interspeech.pdf"
}