Course details
Neural Networks, Adaptive and Optimum Filtering
QB4 Acad. year 2019/2020 Summer semester
In its first part, the course is devoted to providing an overview of types of architecture of neural networks and to a detailed analysis of their properties. Applications of neural networks in signal and image processing and recognition are included in this treatment. In the second part, the course deals with the theory of optimum detection and restoration of signals in its classical and generalised forms, emphasising the common base of this whole area. The subject highlights the common view-points in the area of neural networks and in the area of optimised signal processing.
Guarantor
Language of instruction
Completion
Time span
- 39 hrs lectures
Assessment points
- 100 pts final exam
Department
Lecturer
Instructor
Subject specific learning outcomes and competences
Theoretical knowledge of areas of neural networks and optimum signal processing, ability to apply and, if necessary, to modify these methods for concrete problems.
Learning objectives
Gaining knowledge of theory of neural networks and theory of adaptive and optimum filtering, showing common view-points of both areas
Prerequisite knowledge and skills
signal and system theory, digital signal processing (e.g. the subjects BCZA, MMZS)
Syllabus of lectures
Výuka předmětu bude pouze formou samostudia doporučené literatury s ústni zkouškou na konci semestru (podrobné informace o látce a konkrétní literatuře budou zaslány přihlášeným studentům emailem).
- Architektury a klasifikace neuronových sítí. Neuron jako procesor a klasifikátor, metody tréninku, nenaučitelné problémy
- Dopředné sítě, jednoduchý a vícevrstvý perceptron. Učení - zpětné šíření chyby jako iterativní minimalizace střední kvadratické odchylky
- Řízené a neřízené učení. Zobecňování znalostí a optimální stupeň tréninku
- Sítě s vzájemnými vazbami. Hopfieldovy sítě, chování, stavový diagram, atraktory, učení. Sítě se skrytými uzly
- Využití relaxační minimalizace "energie" pro optimalizační úlohy, využití sítě jako asociativní paměti. Stochastický neuron a simulované žíhání, Boltzmannův stroj
- Rekursivní a Jordanovy sítě. Soutěživé učení
- Kohonenovy mapy, asociativní učení, automatická lokální organizace, zjemnění klasifikace
- Možnosti neuronových sítí jako signálových procesorů a analyzátorů, praktické aplikace ve zpracování a restauraci signálů a obrazů
- Optimální detekce a restaurace signálu - přístupy. Nelineární "přizpůsobené" filtry
- Model zkreslení, LMS-filtrace, diskretní Wienerův filtr v nestacionárním prostředí
- Kálmánova filtrace ve skalární verzi, vektorové zobecnění ve stacionárním a nestacionárním prostředí
- Adaptivní filtrace, adaptační algoritmy, rekursivní realizace adaptivní filtrace, filtrace metodou stochastického gradientu
- Typické aplikace adaptivní filtrace. Srovnání konceptů optimální a adaptivní filtrace s neuronově orientovaným přístupem
Course inclusion in study plans