Detail publikace

Joint Energy-Based Model for Robust Speech Classification System against Dirty-Label Backdoor Poisoning Attacks

ŠŮSTEK Martin, JOSHI Sonal, LI Henry, THEBAUD Thomas, VILLALBA Lopez Jesus Antonio, KHUDANPUR Sanjeev a DEHAK Najim. Joint Energy-Based Model for Robust Speech Classification System against Dirty-Label Backdoor Poisoning Attacks. In: Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Taipei: IEEE Signal Processing Society, 2023, s. 1-8. ISBN 979-8-3503-0689-7. Dostupné z: https://ieeexplore.ieee.org/document/10389697
Název česky
Joint Energy-Based modely pro robustní systém klasifikace řeči jako ochrana proti Dirty-Label Backdoor Poisoning útokům
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Šůstek Martin, Ing. (UPGM FIT VUT)
Joshi Sonal ()
Li Henry ()
Thebaud Thomas ()
Villalba Lopez Jesus Antonio (JHU)
Khudanpur Sanjeev (JHU)
Dehak Najim (JHU)
URL
Klíčová slova

joint energy-based modely, poisoning útoky, klasifikace řečových příkazů, dirty-label backdoor útoky

Abstrakt

Nově navržená technika využívá Joint Energy-based Model (JEM), který integruje jak diskriminativní, tak generativní přístupy ke zvýšení odolnosti systému proti dirty-label backdoor útokům. Náš přístup je zvláště účinný, když je spouštěč útoku krátký nebo stěží postřehnutelný. Simulujeme útok na datové sadě Speech Commands skládající se z 1s zvukových klipů. Při trénování používáme JEM k modelování náhodně vybraného okna dlouhého 610 ms. Během inference kombinujeme všech (40) možných oken s využitím generativní části JEM. Výsledný systém má mírně sníženou přesnost, ale výrazně zvýšenou robustnost, která je ukázána na více různých scénářích. Nahrazení JEM standardním diskriminačním modelem (Disc) překvapivě také vykazuje zvýšenou robustnost, avšak s menším účinkem ve srovnání s JEM, avšak zachovává přesnost klasifikace. Představujeme taktéž rozšíření motivované semi-supervised trénováním, které dále zlepšuje výsledky pro JEM, ale ne Disc. JEM může také těžit z Gaussova šumu během evaluace.

Rok
2023
Strany
1-8
Sborník
Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
Konference
2023 IEEE AUTOMATIC SPEECH RECOGNITION AND UNDERSTANDING WORKSHOP (ASRU), Taipei, TW
ISBN
979-8-3503-0689-7
Vydavatel
IEEE Signal Processing Society
Místo
Taipei, TW
DOI
10.1109/ASRU57964.2023.10389697
BibTeX 
@INPROCEEDINGS{FITPUB13087,
   author = "Martin \v{S}\r{u}stek and Sonal Joshi and Henry Li and Thomas Thebaud and Antonio Jesus Lopez Villalba and Sanjeev Khudanpur and Najim Dehak",
   title = "Joint Energy-Based Model for Robust Speech Classification System against Dirty-Label Backdoor Poisoning Attacks",
   pages = "1--8",
   booktitle = "Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)",
   year = 2023,
   location = "Taipei, TW",
   publisher = "IEEE Signal Processing Society",
   ISBN = "979-8-3503-0689-7",
   doi = "10.1109/ASRU57964.2023.10389697",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/13087"
}
Nahoru