TFApprox: Towards a Fast Emulation of DNN Approximate Hardware Accelerators on GPU

Energetickou efektivitu hardwarových akcelerátorů hlubokých neuronových sítí (DNN) lze zlepšit zavedením přibližných (aproximativních) aritmetických obvodů. Aby bylo možné kvantifikovat chybu způsobenou použitím těchto obvodů a vyhnout se nákladným prototypům hardwaru, je na CPU nebo GPU obvykle prováděn softwarová emulace akcelerátoru DNN. Tato emulace je však obvykle o dva až tři řády pomalejší než softwarová implementace DNN běžící na CPU nebo GPU a pracující se standardními aritmetickými instrukcemi s plovoucí desetinnou čárkou a běžnými knihovnami DNN. Důvodem je, že neexistuje žádná hardwarová podpora pro přibližné aritmetické operace na běžných CPU a GPU a tyto operace je nutné emulovat. Abychom tento problém vyřešili, navrhujeme efektivní metodu emulace pro přibližné obvody používané v daném akcelerátoru DNN, který je emulován na GPU. Všechny příslušné přibližné obvody jsou implementovány jako vyhledávací tabulky a jsou přístupné prostřednictvím texturové paměti GPU využívající akceleraci nástrojem CUDA. Využíváme skutečnost, že paměť textury je optimalizována pro náhodný přístup pro čtení a v některých architekturách GPU je dokonce implementována jako vyhrazená mezipaměť. Tato technika nám umožnila zkrátit inferenční čas emulovaného akcelerátoru DNN přibližně 200krát oproti optimalizované verzi pro CPU na komplexních DNN, jako je například ResNet. Navrhovaný přístup rozšiřuje knihovnu TensorFlow a je k dispozici online na adrese https://github.com/ehw-fit/tf-approximate.