Detail publikace

Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators

KLHŮFEK, J.; ŠAFÁŘ, M.; MRÁZEK, V.; VAŠÍČEK, Z.; SEKANINA, L. Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators. In 2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS). Kielce: Institute of Electrical and Electronics Engineers, 2024. p. 1-6. ISBN: 979-8-3503-5934-3.
Název česky
Výzkum synergie kvantizace a mapování v oblasti hardwarových akcelerátorů hlubokých neuronových sítí
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
URL
Klíčová slova

Quantization, Neural networks, Hardware accelerator

Abstrakt

Energetická účinnost a paměťová náročnost konvoluční neuronové sítě (CNN)
implementované na inferenčním akcelerátoru CNN závisí na mnoha faktorech, včetně
strategie kvantizace vah (tj. datových typů a bitových šířek) a mapování (tj.
umístění a plánování elementárních operací DNN na hardwarových jednotkách
akcelerátoru). Ukazujeme, že umožnění bohatých smíšených kvantizačních schémat
během implementace může otevřít dříve skrytý prostor mapování, která efektivněji
využívají hardwarové prostředky. CNN využívající kvantizované váhy a aktivace
a vhodná mapování mohou ve srovnání s méně pečlivě optimalizovanými
implementacemi CNN výrazně zlepšit kompromisy mezi přesností, energetickými
a paměťovými nároky. K nalezení, analýze a využití těchto mapování jsme: (i)
rozšiřujeme nejmodernější mapovací nástroj pro všeobecné použití (Timeloop)
o podporu smíšené kvantizace, která v současné době není k dispozici; (ii)
navrhujeme účinný víceúčelový optimalizační algoritmus pro nalezení
nejvhodnějších bitových šířek a mapování pro každou vrstvu DNN prováděnou na
akcelerátoru; a (iii) provádíme podrobné experimentální vyhodnocení k ověření
navržené metody. Na dvou CNN (MobileNetV1 a MobileNetV2) a dvou akcelerátorech
(Eyeriss a Simba) ukazujeme, že pro danou metriku kvality (např. přesnost na
ImageNet) dosahuje úspora energie až 37 %, aniž by došlo k poklesu přesnosti. 

Rok
2024
Strany
1–6
Sborník
2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS)
Konference
International Symposium on Design and Diagnostics of Electronic Circuits and Systems, Kielce, PL
ISBN
979-8-3503-5934-3
Vydavatel
Institute of Electrical and Electronics Engineers
Místo
Kielce
DOI
EID Scopus
BibTeX
@inproceedings{BUT188463,
  author="Jan {Klhůfek} and Miroslav {Šafář} and Vojtěch {Mrázek} and Zdeněk {Vašíček} and Lukáš {Sekanina}",
  title="Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators",
  booktitle="2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS)",
  year="2024",
  pages="1--6",
  publisher="Institute of Electrical and Electronics Engineers",
  address="Kielce",
  doi="10.1109/DDECS60919.2024.10508920",
  isbn="979-8-3503-5934-3",
  url="https://arxiv.org/abs/2404.05368"
}
Nahoru