Acceleration Techniques for Automated Design of Approximate Convolutional Neural Networks

Hlavním problémem spojeným s používáním aproximativních komponent, jako jsou aproximativní násobičky, v hlubokých konvolučních neuronových sítích (CNN) během procesu návrhu je nutnost jejich emulace. Ta je výpočetně nákladná kvůli nedostatečné nativní podpoře aproximativních operací v moderních CPU a GPU. Pro urychlení emulace aproximativních operací CNN na GPU navrhujeme softwarovou knihovnu TFApprox4IL rozšiřující TensorFlow o nové aproximované vrstvy. Tyto vrstvy podporují symetrické i asymetrické kvantizační režimy, aproximativní 8xN bitové násobičky emulované pomocí vyhledávacích tabulek, nový typ aproximativní vrstvy známý jako aproximativní depthwise konvoluce a trénování s ohledem na kvantizaci. Výkonnost TFApprox4IL je rozsáhle hodnocena při simulaci aproximovaných implementací sítí MobileNetV2 a ResNet na architekturách GPU Nvidia Pascal a Tesla. Kromě toho je TFApprox4IL vyhodnocován také v algoritmech vyhledávání neuronových architektur (NAS) pro automatický návrh architektur CNN, které přímo využívají aproximativní násobičky. Na dvou různých metodách NAS, EvoApproxNAS a Google Model Search (GMS), ukazujeme, jak lze aproximativní násobiče efektivně začlenit do procesu návrhu CNN. Pro odhad spotřeby energie aproximativních CNN je představen nástroj AxMultAT založený na technologiích Timeloop a Accelergy. V porovnání s vysoce optimalizovanou simulací CNN na GPU implementovanou pomocí exaktních aritmetických operací, která je k dispozici v rámci TensorFlow, je průměrná režie inference a trénování, zavedená nástrojem TFApprox4IL, 13,6× a 8,0× , v tomto pořadí, s ohledem na ResNet50V2 a MobileNetV2 CNN na datových sadách ImageNet a CIFAR-10. Tato režie se oproti předchozím metodám snížila o jeden řád.