Detail publikace

Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition

VANDERREYDT, G.; PRASAD, A.; KHALIL, D.; MADIKERI, S.; DEMUYNCK, K.; MOTLÍČEK, P. Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition. Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Taipei: IEEE Signal Processing Society, 2023. p. 1-7. ISBN: 979-8-3503-0689-7.
Název česky
Ladění s efektivním využitím parametrů s adaptivními úzkými místy pro automatické rozpoznávání řeči
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
VANDERREYDT, G.
Prasad Amrutha (UPGM)
KHALIL, D.
Madikeri Srikanth
DEMUYNCK, K.
Motlíček Petr, doc. Ing., Ph.D. (UPGM)
URL
Klíčová slova

ASR, XLSR, Adapters, ATC

Abstrakt

Přeneste učení z velkých vícejazyčných předtrénovaných modelů,
jako XLSR se stal novým paradigmatem pro Automatic
Rozpoznávání řeči (ASR). S ohledem na jejich stále přibývající
velikost, jemné doladění všech závaží se stalo nepraktickým, když
výpočetní rozpočet je omezený. Adaptéry jsou lehké
trénovatelné moduly vložené mezi vrstvy během předtrénování
část je uchovávána ve zmrazeném stavu. Tvoří parametricky efektivní
metoda jemného doladění, ale stále vyžadují velké úzké hrdlo
velikost, která odpovídá standardnímu výkonu jemného ladění. V tomto papíru
navrhujeme ABSADAPTER, metodu k dalšímu snížení
parametr rozpočtu pro stejný výkon úkolu. konkrétně
ABSADAPTER k tomu používá adaptivní plánovač úzkých míst
přerozdělte hmotnosti adaptéru na vrstvy, které potřebují přizpůsobení
nejvíc. Trénováním pouze 8 % modelu XLSR,
ABSADAPTER dosahuje výkonu blízkého standardnímu jemnému doladění
na doménu posunutou komunikaci o leteckém provozu
(ATC) Úkol ASR.

Rok
2023
Strany
1–7
Sborník
Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
Konference
Konference IEEE o automatickém rozpoznávání řeči a porozumění (ASRU 2023), Taipei, TW
ISBN
979-8-3503-0689-7
Vydavatel
IEEE Signal Processing Society
Místo
Taipei
DOI
10.1109/ASRU57964.2023.10389769
BibTeX 
@inproceedings{BUT187932,
  author="VANDERREYDT, G. and PRASAD, A. and KHALIL, D. and MADIKERI, S. and DEMUYNCK, K. and MOTLÍČEK, P.",
  title="Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition",
  booktitle="Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)",
  year="2023",
  pages="1--7",
  publisher="IEEE Signal Processing Society",
  address="Taipei",
  doi="10.1109/ASRU57964.2023.10389769",
  isbn="979-8-3503-0689-7",
  url="https://ieeexplore.ieee.org/document/10389769"
}
Soubory
Nahoru