Praktické paralelní programování

• 26 hod. přednášky
• 16 hod. pc laboratoře
• 10 hod. projekty

• 60 bodů závěrečná zkouška (písemná část)
• 10 bodů půlsemestrální test (8 bodů písemná část, 2 bodů testová část)
• 30 bodů projekty

Seznámit se s architekturou distribuovaných superpočítačových systémů, jejich propojovacími sítěmi a úložištěm dat. Orientovat se v nabídce paralelních systémů, umět posoudit komunikační a výpočetní možnosti konkrétní architektury a predikovat výkonnost paralelních aplikací. Naučit se psát přenositelné programy pomocí standardizovaných rozhraní, jazyků a knihoven, zapisovat paralelismus a komunikaci procesů. Naučit se je prakticky používat a řešit problémy s využitím superpočítačů.
Přehled architektur současných superpočítačových systémů, jejich možností a budoucích trendů. Schopnost vyhodnotit efektivitu softwarových aplikací na daném výpočetním systému, identifikovat výkonnostní problémy a navrhnout jejich nápravu. Znalosti základních programových vzorů vysoce náročných aplikací. Praktické zkušenosti s prací na superpočítačích Anselm a Salomon.
Znalost možností a omezení paralelního zpracování, schopnost odhadnout výkonnost paralelních aplikací. Jazyková výbava pro komunikaci a synchronizaci procesů/vláken. Kompetence v technických a programových prostředcích pro náročné vědecké výpočty a simulace.

Von Neumannova architektura počítače, paměťová hierarchie, paměti cache a jejich organizace, programování v JSI a v C/C++. Dále znalosti z kurzů PRL a AVS.

• MPI Tutoriál: http://mpitutorial.com/
• Alternativní kurz o paralelním programování http://www.cs.kent.edu/~jbaker/ParallelProg-Sp11/

• Aktuální PPT prezentace přednášek v systému Moodle
• Pacecho, P.: Introduction to Parallel Programming. Morgan Kaufman Publishers, 2011, 392 s., ISBN: 9780123742605 URL: download
• Ananth Grama, Anshul Gupta, George Karypis, Vipin Kumar: Introduction to Parallel Computing, Addison-Wesley, 2003, 978-0201648652.Slides: download
• Victor Eijkhout: Parallel Programming in MPI and OpenMP Full book: download web version: https://theartofhpc.com/pcse/
• William Gropp, Ewing Lusk, Anthony Skjellum: Using MPI - 2nd Edition: Portable Parallel Programming with the Message Passing InterfaceUsing MPI - 2nd Edition: Portable Parallel Programming with the Message Passing Interface, MIT Press, 978-0262571326
• Hennessy, J.L., Patterson, D.A.: Computer Architecture - A Quantitative Approach. 5. vydání, Morgan Kaufman Publishers, Inc., 2012, 1136 s., ISBN 1-55860-596-7.

1. Ukazatele a zákony paralelního zpracování.
2. Architektury se zasíláním zpráv, současné superpočítačové systémy.
3. Topologie propojovacích sítí, směrovací algoritmy, přepínání, řízení toku.
4. Technologie HPC sítí (Infiniband).
5. Distribuované souborové systémy (Lustre, HPFS).
6. Zasílání zpráv MPI, párové komunikace, datové typy.
7. MPI kolektivní komunikace a komunikátory.
8. Hybridní programování OpenMP/MPI a jednostranné komunikace.
9. Knihovny pro paralelní výpočty, nástroje pro profilování a trasování aplikací.
10. Programovací vzory pro paralelní programování.
11. Případové studie: maticové výpočty, řešení systémů lin. rovnic (Gauss, Jordan, Jaccobi).
12. Případové studie: řešení diferenciálních rovnic (FDTD, spektrální metody, FEM/BEM).
13. Případové studie: Dynamika kapalin (Lattice-Boltzmann), N-Body simulace, Monte-Carlo.

1. MPI: Point-to-point komunikace.
2. MPI: Kolektivní komunikace.
3. MPI: Komunikátory.
4. MPI: Datové typy, redukce.
5. MPI: Paralelní vstup výstup.
6. Profilování a trasování paralelních aplikací.
7. Maticové výpočty (Transpozice, Gaussova eliminace).
8. Metody konečných diferencí

• Vývoj paralelní program v MPI superpočítači.

Vyhodnocení projektu v celkovém rozsahu 10 hodin, půlsemestrální písemka.

• Zameškaná cvičení je možné nahradit v alternativní termín (pondělí nebo pátek)
• V poslední týdnu semestru budou probíhat náhradní civčení