Detail publikace
Genetic Programming with Memory for Approximate Data Reconstruction
Jůza Tadeáš, Ing. (FIT VUT)
Tato kapitola se zabývá kompromisy mezi výpočtem a memorizací v kontextu genetického programování (GP). Zavádíme genetické programování s pamětí (GPM), v němž GP vyvíjí nejen výraz, ale také obsah malé lokální paměti s cílem přesněji aproximovat původní data. Konkrétně jsme evolučně vyvinuli dvojice výraz a paměť, které mohou sloužit jako generátory vah, a tím aproximovat váhy spojené s konvolučními vrstvami některých konvolučních neuronových sítí (CNN). To je potenciálně zajímavé pro efektivní implementace hardwarových akcelerátorů CNN, u nichž je přístup do paměti energeticky podstatně náročnější než aritmetické operace. V našem přístupu je většina vah aproximována pomocí evolučně navrženého výrazu; z paměti je třeba číst pouze jejich část. Pokud například paměť obsahuje 10% původních vah, může generátor vah vyvinutý pro konvoluční vrstvu aproximovat původní váhy tak, že CNN využívající vygenerované váhy vykazuje méně než 1% pokles klasifikační přesnosti na datové sadě MNIST. Požadavky na paměť se sníží o 3,1krát nebo 12,6krát pro 8bitové, resp. 32bitové váhy. Další experimenty provedené pro složitější sítě CNN a náročné referenční úlohy klasifikace obrázků ukazují různé dopady aproximace vah na přesnost klasifikace.
@INBOOK{FITPUB13219,
author = "Luk\'{a}\v{s} Sekanina and Tade\'{a}\v{s} J\r{u}za",
title = "Genetic Programming with Memory for Approximate Data Reconstruction",
pages = "199--218",
booktitle = "Genetic Programming Theory and Practice XXI",
year = 2025,
location = "Singapore, SG",
publisher = "Springer Nature Singapore",
ISBN = "978-981-9600-76-2",
doi = "10.1007/978-981-96-0077-9\_10",
language = "english",
url = "https://www.fit.vut.cz/research/publication/13219"
}