Detail publikace
Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators
Šafář Miroslav, Bc. (UIFS)
Mrázek Vojtěch, Ing., Ph.D. (UPSY)
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY)
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
Quantization, Neural networks, Hardware accelerator
Energetická účinnost a paměťová náročnost konvoluční neuronové sítě (CNN)
implementované na inferenčním akcelerátoru CNN závisí na mnoha faktorech, včetně
strategie kvantizace vah (tj. datových typů a bitových šířek) a mapování (tj.
umístění a plánování elementárních operací DNN na hardwarových jednotkách
akcelerátoru). Ukazujeme, že umožnění bohatých smíšených kvantizačních schémat
během implementace může otevřít dříve skrytý prostor mapování, která efektivněji
využívají hardwarové prostředky. CNN využívající kvantizované váhy a aktivace
a vhodná mapování mohou ve srovnání s méně pečlivě optimalizovanými
implementacemi CNN výrazně zlepšit kompromisy mezi přesností, energetickými
a paměťovými nároky. K nalezení, analýze a využití těchto mapování jsme: (i)
rozšiřujeme nejmodernější mapovací nástroj pro všeobecné použití (Timeloop)
o podporu smíšené kvantizace, která v současné době není k dispozici; (ii)
navrhujeme účinný víceúčelový optimalizační algoritmus pro nalezení
nejvhodnějších bitových šířek a mapování pro každou vrstvu DNN prováděnou na
akcelerátoru; a (iii) provádíme podrobné experimentální vyhodnocení k ověření
navržené metody. Na dvou CNN (MobileNetV1 a MobileNetV2) a dvou akcelerátorech
(Eyeriss a Simba) ukazujeme, že pro danou metriku kvality (např. přesnost na
ImageNet) dosahuje úspora energie až 37 %, aniž by došlo k poklesu přesnosti.
@inproceedings{BUT188463,
author="Jan {Klhůfek} and Miroslav {Šafář} and Vojtěch {Mrázek} and Zdeněk {Vašíček} and Lukáš {Sekanina}",
title="Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators",
booktitle="2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS)",
year="2024",
pages="1--6",
publisher="Institute of Electrical and Electronics Engineers",
address="Kielce",
doi="10.1109/DDECS60919.2024.10508920",
isbn="979-8-3503-5934-3",
url="https://arxiv.org/abs/2404.05368"
}