Detail publikace

Neural Architecture Search and Hardware Accelerator Co-Search: A Survey

SEKANINA, L. Neural Architecture Search and Hardware Accelerator Co-Search: A Survey. IEEE Access, 2021, vol. 9, no. 9, p. 151337-151362. ISSN: 2169-3536.
Název česky
Souběžné hledání architektur neuronových sítí a jejich hardwarových akcelerátorů: Přehled metod
Typ
článek v časopise
Jazyk
anglicky
Autoři
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
URL
Klíčová slova

Artificial neural networks, Accelerator architectures, Design optimization, Optimization methods, Machine learning, Image classification, Computer aided engineering, Approximation methods, Evolutionary computation, Digital circuits

Abstrakt

Hlubokéneuronové sítě (DNN) nyní dominují v nejnáročnějších aplikacích strojovéhoučení. Vzhledem k tomu, že DNN mohou mít složité architektury s milionytrénovatelných parametrů (tzv. vah), je jejich návrh a trénování obtížné i provysoce kvalifikované odborníky. S cílem snížit úsilí návrhářů bylyvyvinuty metody hledání architektur neuronových sítí (NAS), které automatizujícelý proces návrhu. Metody NAS typicky kombinují vyhledávání v prostorukandidátních architektur a optimalizaci (učení) vah pomocí gradientní metody. Vtomto článku se zabýváme klíčovými elementy takových metod NAS, které v různémíře cílí na hardwarovou implementaci výsledných DNN. Metody NAS jsme rozdělilido tří hlavních tříd: jedno-kriteriální NAS (neberou v úvahu hardwarovourealizaci), NAS optimalizující pro cílový hardware (DNN je optimalizována prokonkrétní hardwarovou platformu) a NAS optimalizující neuronovou síť ihardwarovou platformu (hardware je přímo optimalizován v rámci NAS). Vesrovnání s předchozími přehledovými články klademe důraz na metody NAS používajícívícekriteriální přístup, a zaměřujeme se na popis metod souběžné optimalizaceneuronové sítě a hardwarové platformy. Protože většina článků z této oblasti studujeNAS pro návrh klasifikátoru obrazů pomocí konvolučních neuronových sítí, jetímto směrem orientován i náš přehledový článek. Po přečtení článku by mělčtenář porozumět, proč a jak se metody NAS provádějící souběžně optimalizaci neuronovésítě a hardwarové platformy v současnosti používají pro vytváření špičkovýchimplementací DNN.

 

Rok
2021
Strany
151337–151362
Časopis
IEEE Access, roč. 9, č. 9, ISSN 2169-3536
DOI
10.1109/ACCESS.2021.3126685
UT WoS
000719556200001
EID Scopus
2-s2.0-85119718262
BibTeX 
@article{BUT175853,
  author="Lukáš {Sekanina}",
  title="Neural Architecture Search and Hardware Accelerator Co-Search: A Survey",
  journal="IEEE Access",
  year="2021",
  volume="9",
  number="9",
  pages="151337--151362",
  doi="10.1109/ACCESS.2021.3126685",
  issn="2169-3536",
  url="https://ieeexplore.ieee.org/document/9606893"
}
Nahoru