Evolutionary Approximation and Neural Architecture Search

Metodyautomatického návrhu neuronových sítí (Neural Architecture Search, NAS) se vsoučasnosti používají k rutinnímu generování vysoce kvalitních architekturneuronových sítí pro dodané datové sady, a snižují tak úsilí návrhářů. MetodyNAS využívající vícekriteriální evoluční algoritmy jsou užitečné zejména tehdy,pokud cílem není pouze minimalizace chybu neuronové sítě, ale také sníženípočtu parametrů (vah) nebo spotřeby energie při inferenci. V článku popisujemevícekriteriální metodu NAS založenou na kartézském genetickém programování určenoupro automatizovaný návrh konvolučních neuronových sítí (CNN). Metoda umožňujepoužití aproximativních operací v CNN pro snížení spotřeby energie cílovéhardwarové implementace. Během procesu NAS je vyvíjena vhodná architektura CNNsoučasně s výběrem aproximativních násobiček tak, aby bylo dosaženo nejlepšíchkompromisů mezi přesností, velikostí sítě a spotřebou energie při inferenci.Nejvhodnější 8xN-bitové aproximativní násobičky jsou vybrány z knihovny aproximativníchnásobiček. Získané CNN jsou porovnávány s CNN vyvinutými jinými metodami NAS naproblémech CIFAR-10 a SVHN.