Paralelní výpočty na GPU

• 26 hod. přednášky
• 12 hod. pc laboratoře
• 14 hod. projekty

• 60 bodů závěrečná zkouška (písemná část)
• 10 bodů půlsemestrální test (písemná část)
• 30 bodů projekty

Detailně se seznámit s architekturou a programováním grafických karet v oblasti obecných výpočtů pomocí knihoven Nvidia CUDA a standardu OpenACC. Naučit se navrhovat akcelerované programy využívající potenciál grafických karet. Seznámit se dostupnými knihovnami pro akceleraci výpočtu na grafických kartách. 
Znalost využití grafických karet pro akceleraci obecných výpočtů, orientace v oblasti akcelerovaných výpočetních systémů a knihoven.
Pochopení důsledků hardwarových omezení na efektivitu softwarových řešení.

Látka vyučovaná v předmětech AVS, PRL a částečně PPP.

• Aktuální PPT prezentace přednášek v Elearningu.
• Dokumentace Nvidia: https://docs.nvidia.com/cuda/
• Kirk, D., and Hwu, W.: Programming Massively Parallel Processors: A Hands-on Approach, Elsevier, 2010, s. 256, ISBN: 978-0-12-381472-2. download.
• Dokumentace OpenACC: https://www.openacc.org/
• Sanders, J., & Kandrot, E: CUDA by Example: An Introduction to General-Purpose GPU Programming. Review Literature And Arts Of The Americas. Addison-Wesley, 2010. download.
• Storti,D., and Yurtoglu, M.: CUDA for Engineers: An Introduction to High-Performance Parallel Computing, Addison-Wesley Professional; 1 edition, 2015. ISBN 978-0134177410. link.
• Chandrasekaran, S., and Juckeland, G.: OpenACC for Programmers: Concepts and Strategies,  Addison-Wesley Professional, 2017, ISBN 978-0134694283. link.

1. Architektura grafických jednotek GPU. 
2. CUDA model vykonávání programu. 
3. CUDA hierarchie pamětí. 
4. Synchronizace a redukce. 
5. Dynamický paralelismus a unifikovaná paměť. 
6. Návrh a optimalizace algoritmů pro GPU. 
7. Víceproudové zpracování, překrytí komunikace a výpočtu. 
8. Multi-GPU systémy. 
9. Knihovna Nvidia Thrust. 
10. Základy knihovny OpenACC. 
11. Správa paměti v OpenACC. 
12. Optimalizace s OpenACC. 
13. Knihovny pro akceleraci výpočtů pomocí GPU.

1. CUDA: Paměťové přenosy, jednoduché kernely (3. týden)
2. CUDA: Práce se sdílenou pamětí (4. týden).
3. CUDA: Práce s texturní a konstantní pamětí (5. týden).
4. CUDA: Dynamický paralelismus, streamy (6. týden).
5. OpenACC: základní techniky (10. týden).
6. OpenACC: pokročilé techniky (11. týden).

• Vývoj aplikace v prostředí Nvidia CUDA
• Vývoj aplikace v prostředí OpenACC

• Vyhodnocení dvou projektů v celkovém rozsahu 14 hodin a půlsemestrální písemky.
• Zameškaná cvičení je možné nahradit v alternativní termínu.
• Pro udělení zápočtu je nutné získat min 20b ze 40b a minimálně 1b z každého projektu.