ReD-CaNe: A Systematic Methodology for Resilience Analysis and Design of Capsule Networks under Approximations

Nedávný pokrok v Kapsulových neuronových sítích (Capsule Network, CapsNets) ukázal jejich vynikající schopnost učení, ve srovnání s tradičními konvolučními (CNN). Extrémně vysoká složitost CapsNets však omezuje jejich rychlé nasazení v reálných aplikacích. Ačkoli byla odolnost CNN rozsáhle zkoumána, aby se umožnila jejich energeticky účinná implementace, analýza odolnosti CapsNets je neprozkoumanou oblastí, která může poskytnout silný základ pro zkoumání technik k překonání složitosti těchto sítí. Inspirováni aproximačním počítáním umožňujícím energeticky efektivní implementace, provádíme rozsáhlou analýzu odolnosti dopředné cesty aproximovaných CapsNets. Naše metodika modeluje chyby vznikající z přibližných jednotek (jako násobičky) a analyzuje jejich dopad na přesnost klasifikace neuronové sítě. To umožňuje výběr přibližných komponent na základě odolnosti každé operace. Modifikujeme framework  TensorFlow tak, aby simuloval injekci aproximačního šumu (na základě modelů přibližných komponent) při různých výpočetních operacích dané sítě. Naše výsledky ukazují, že CapsNets jsou odolnější vůči chybám způsobeným výpočty, které se vyskytují během dynamického směrování (softmax funkce a aktualizace koeficientů), spíše než v jiných fázích, jako jsou konvoluce a aktivační funkce. Naše analýza je velmi užitečná při navrhování efektivních hardwarových akcelerátorů CapsNet s přibližnými komponentami. Podle našich nejlepších znalostí je to první důkaz koncepce využití aproximací na specializovaném hardwaru CapsNet.