Detail publikace

ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining

MRÁZEK Vojtěch, VAŠÍČEK Zdeněk, SEKANINA Lukáš, HANIF Muhammad A. a SHAFIQUE Muhammad. ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining. In: Proceedings of the IEEE/ACM International Conference on Computer-Aided Design. Denver: Institute of Electrical and Electronics Engineers, 2019, s. 1-8. ISBN 978-1-7281-2350-9. Dostupné z: https://arxiv.org/abs/1907.07229
Název česky
ALWANN: Automatická aproximace vrstev neuronových sítích v akcelerátorech
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Mrázek Vojtěch, Ing., Ph.D. (UPSY FIT VUT)
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY FIT VUT)
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY FIT VUT)
Hanif Muhammad A. (TU-Wien)
Shafique Muhammad (TU-Wien)
URL
Abstrakt

V literatuře již bylo použito přibližné (aproximační) počítání pro redukci příkonu akcelerátorů hlubokých neuronových sítí (DNN). Tyto přibližné DNN však vyžadují náročný proces přetrénování, který však pro komplexní sítě neškáluje. V tomto článku demonstrujeme, že konvoluční operace mohou být aproximovány bez tohoto kroku. Metoda ALWANN poskytuje optimalizované implementace DNN pro akcelerátory s menším počtem procesních jednotek, než je počet vrstev DNN. Cílem algoritmu je přiřadit aproximační násobičky procesním jednotkám a namapovat jednotlivé vrstvy DNN na procesní jednotky. Tento problém je řešen za pomocí algoritmu NSGA-II. Navrhli jsme přímý přístup úpravy vah jednotlivých vrstev tak, aby se DNN adaptovala aproximacím, ale nemuselo dojít ke složitému přetrénování. Pro síť ResNet-50 jsme ukázali, že je možné ušetřit 30% energie násobení s poklesem klasifikační přesnosti o 0.6%. Navržená technika a aproximované vrstvy jsou k dispozici jako open-source rozšíření frameworku TensorFlow https://github.com/ehw-fit/tf-approximate.

Rok
2019
Strany
1-8
Sborník
Proceedings of the IEEE/ACM International Conference on Computer-Aided Design
Konference
IEEE/ACM International Conference On Computer-Aided Design, Denver, CO, US
ISBN
978-1-7281-2350-9
Vydavatel
Institute of Electrical and Electronics Engineers
Místo
Denver, US
DOI
10.1109/ICCAD45719.2019.8942068
UT WoS
000524676400028
EID Scopus
2-s2.0-85077802459
BibTeX 
@INPROCEEDINGS{FITPUB11959,
   author = "Vojt\v{e}ch Mr\'{a}zek and Zden\v{e}k Va\v{s}\'{i}\v{c}ek and Luk\'{a}\v{s} Sekanina and A. Muhammad Hanif and Muhammad Shafique",
   title = "ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining",
   pages = "1--8",
   booktitle = "Proceedings of the IEEE/ACM International Conference on Computer-Aided Design",
   year = 2019,
   location = "Denver, US",
   publisher = "Institute of Electrical and Electronics Engineers",
   ISBN = "978-1-7281-2350-9",
   doi = "10.1109/ICCAD45719.2019.8942068",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/11959"
}
Nahoru