Detail publikace

Parameter-Efficient Transfer Learning of Pre-Trained Transformer Models for Speaker Verification Using Adapters

PENG, J.; STAFYLAKIS, T.; GU, R.; PLCHOT, O.; MOŠNER, L.; BURGET, L.; ČERNOCKÝ, J. Parameter-Efficient Transfer Learning of Pre-Trained Transformer Models for Speaker Verification Using Adapters. In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings. Rhodes Island: IEEE Signal Processing Society, 2023. p. 1-5. ISBN: 978-1-7281-6327-7.
Název česky
Parametrově efektivní přenosové učení předtrénovaných modelů typu transformer pomocí adaptérů pro úlohu ověřování mluvčích
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Peng Junyi (UPGM)
Stafylakis Themos
GU, R.
Plchot Oldřich, Ing., Ph.D. (UPGM)
Mošner Ladislav, Ing. (UPGM)
Burget Lukáš, doc. Ing., Ph.D. (UPGM)
Černocký Jan, prof. Dr. Ing. (UPGM)
URL
Klíčová slova

Speaker verification, pre-trained model, adapter, fine-tuning, transfer learning

Abstrakt

V poslední době zaznamenaly vzestup předtrénované modely Transformer
zájem o oblast zpracování řeči díky jejich velkému úspěchu
v různých následných úkolech. Nicméně většina přístupů dolaďování
aktualizace všech parametrů předtrénovaného modelu,  se stane
neúnosné, protože velikost modelu roste a někdy vede k nadměrnému
vhodné pro malé datové soubory. V tomto dokumentu provádíme komplexní
analýzu aplikace parametricky efektivního přenosového učení (PETL)
metody ke snížení požadovaných naučitelných parametrů pro přizpůsobení
k úkolům ověřování mluvčího. Konkrétně při dolaďování
procesu jsou předtrénované modely zmrazené a pouze lehké
moduly vložené do každého bloku transformátoru jsou trénovatelné (metoda
známé jako adaptéry). Navíc ke zvýšení výkonu v křížovém
Jazykový scénář s nízkými zdroji, model Transformer je dále
vyladili na velké střední datové sadě před jejím přímým doladěním
na malém datovém souboru. Při aktualizaci méně než 4 % parametrů (naše
navrhované) metody založené na PETL dosahují srovnatelných výkonů
s metodami úplného jemného doladění (Vox1-O: 0,55 %, Vox1-E: 0,82 %,
Voxl-H: 1,73 %).

Rok
2023
Strany
1–5
Sborník
ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings
Konference
Konference ICASSP, Rhodes Island, Greece, GR
ISBN
978-1-7281-6327-7
Vydavatel
IEEE Signal Processing Society
Místo
Rhodes Island
DOI
10.1109/ICASSP49357.2023.10094795
EID Scopus
2-s2.0-85177568701
BibTeX 
@inproceedings{BUT185200,
  author="PENG, J. and STAFYLAKIS, T. and GU, R. and PLCHOT, O. and MOŠNER, L. and BURGET, L. and ČERNOCKÝ, J.",
  title="Parameter-Efficient Transfer Learning of Pre-Trained Transformer Models for Speaker Verification Using Adapters",
  booktitle="ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings",
  year="2023",
  pages="1--5",
  publisher="IEEE Signal Processing Society",
  address="Rhodes Island",
  doi="10.1109/ICASSP49357.2023.10094795",
  isbn="978-1-7281-6327-7",
  url="https://ieeexplore.ieee.org/document/10094795"
}
Soubory
Nahoru