Detail publikace

Neural Architecture Search and Hardware Accelerator Co-Search: A Survey

SEKANINA Lukáš. Neural Architecture Search and Hardware Accelerator Co-Search: A Survey. IEEE Access, roč. 9, č. 9, 2021, s. 151337-151362. ISSN 2169-3536. Dostupné z: https://ieeexplore.ieee.org/document/9606893
Název česky
Souběžné hledání architektur neuronových sítí a jejich hardwarových akcelerátorů: Přehled metod
Typ
článek v časopise
Jazyk
angličtina
Autoři
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY FIT VUT)
URL
Abstrakt

Hluboké neuronové sítě (DNN) nyní dominují v nejnáročnějších aplikacích strojového učení. Vzhledem k tomu, že DNN mohou mít složité architektury s miliony trénovatelných parametrů (tzv. vah), je jejich návrh a trénování obtížné i pro vysoce kvalifikované odborníky. S cílem snížit úsilí návrhářů byly vyvinuty metody hledání architektur neuronových sítí (NAS), které automatizují celý proces návrhu. Metody NAS typicky kombinují vyhledávání v prostoru kandidátních architektur a optimalizaci (učení) vah pomocí gradientní metody. V tomto článku se zabýváme klíčovými elementy takových metod NAS, které v různé míře cílí na hardwarovou implementaci výsledných DNN. Metody NAS jsme rozdělili do tří hlavních tříd: jedno-kriteriální NAS (neberou v úvahu hardwarovou realizaci), NAS optimalizující pro cílový hardware (DNN je optimalizována pro konkrétní hardwarovou platformu) a NAS optimalizující neuronovou síť i hardwarovou platformu (hardware je přímo optimalizován v rámci NAS). Ve srovnání s předchozími přehledovými články klademe důraz na metody NAS používající vícekriteriální přístup, a zaměřujeme se na popis metod souběžné optimalizace neuronové sítě a hardwarové platformy. Protože většina článků z této oblasti studuje NAS pro návrh klasifikátoru obrazů pomocí konvolučních neuronových sítí, je tímto směrem orientován i náš přehledový článek. Po přečtení článku by měl čtenář porozumět, proč a jak se metody NAS provádějící souběžně optimalizaci neuronové sítě a hardwarové platformy v současnosti používají pro vytváření špičkových implementací DNN.

 

Rok
2021
Strany
151337-151362
Časopis
IEEE Access, roč. 9, č. 9, ISSN 2169-3536
Vydavatel
Institute of Electrical and Electronics Engineers
DOI
10.1109/ACCESS.2021.3126685
UT WoS
000719556200001
EID Scopus
2-s2.0-85119718262
BibTeX 
@ARTICLE{FITPUB12620,
   author = "Luk\'{a}\v{s} Sekanina",
   title = "Neural Architecture Search and Hardware Accelerator Co-Search: A Survey",
   pages = "151337--151362",
   journal = "IEEE Access",
   volume = 9,
   number = 9,
   year = 2021,
   ISSN = "2169-3536",
   doi = "10.1109/ACCESS.2021.3126685",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/12620"
}
Nahoru