Vícevrstvé dopředné neuronové sítě
Topologie
Vícevrstvé neuronové sítě jsou složené z několika vrstev neuronů, které jsou mezi sebou různě propojené. Obvykle jde o:
Vstupní vrstvu, kde jednotlivým neuronům jsou přířazené vstupy sítě. Někdy se jako vstupní vrstva označuje první vrtva neuronů, jindy je myšlen pouze vektor vstupů - je třeba definovat.
N skrytých vrstev.
Výstupní vrstvu, ze které lze vyčíst výsledné údaje.
Zapojení může být jednosměrné nebo obousměrné. V druhém případě lze vstup vložit na některý ze dvou konců sítě a z druhého konce poté vyčíst výstup. Tyto sítě jsou pak obousměrně dopředné.
Učení
Vícevrstvé dopředné neuronovky se učí s učitelem. Je tedy poskytnuta trénovací množina, která obsahuje dvojice (vstup, požadovaný výstup).
Varianty sítí
BP (Back-Propagation)
Učení BP
Učení základní sítě tohoto typu (back-propagation) a probíhá v následujících fázích postupně pro každý prvek trénovací množiny:
Dopředný chod.
Postupně je vypočítán výstup každé vrstvy při daném vstupu.
Výstupní vrstva tedy poskytne nějaké hodnoty, které jsou porovnány s požadovaným výstupem.
Zpětný chod (back-propagation).
Odchylka každé z hodnot je předána patříčnému neuronu výstupní vrstvy, který si podle ní spočítá, jak musí změnit své váhy, aby tuto odchylku zmenšil.
Neurony předchozí vrstvy provedou stejný proces, ovšem používají vypočítanou odchylku výstupní řady.
Takto se probublá celá síť až k první neuronové vrstvě.
Úprava vah neuronů.
Nyní si všechny neurony upraví své váhy na základě vypočítaných odchylek.
Úprava je obvykle ovlivněna koeficientem, který se postupně snižuje (aby síť postupně konvergovala k nějakému stavu - tlumené učení)
Celý proces se opakuje, dokud není globální odchylka dostatečně malá nebo dokud nevyprší daný čas. Pokud dojdou prvky trénovací množiny, jede se znovu. Pozn.: Celá trénovací množina musí alespoň jednou projít skrz síť.
Tento proces může mít různé varianty, např. váhy mohou být upravovány najednou až po celé jedné iteraci trénovací množiny. Při trénování je vhodné testovat přesnost na jiných, než trénovacích datech, tím lze odhalit přetrénování. Ideální chvíle pro ukončení trénování je ve chvíli, kdy se s dalším trénováním začíná zhrošovat přesnost výstupu na testovacích datech.
RBF (Radial Basis Functions)
radiální bázová funkce
gaussova aktivační funkce
použití
výhoda: klasifikace v kruhových oblastech
nevýhoda: při větším než potřebném počtu neuronů může třídu rozdělit na více malých, které jsou od sebe vzdálené
RCE (Restricted Coloumb Energy)
radiální bázová funkce
skoková aktivační funkce
výstupní vrstva: logické OR, tolik, kolik je tříd
neurony, které spadají do stejné třídy, jsou spojeny do OR výstupního neuronu této třídy
princip:
použití:
klasifikace
asociativní paměti
CPN (Counter Propagation Network)
-
výstupy kohonenovy vrstvy jsou použity při klasickém učení s učitelem ve vstupně-výstupních vrstvách
jde o oboustrannou síť - trénovací množiny jsou tedy dvě, z jedné a z druhé strany
učení:
Na trénovacích množinách se nechá konvergovat Kohonenova vrstva
Poté se na jednu z vstupně-výstupních vrstev vloží vstup a opačná vrstva se učí s učitelem podle očekávaného výstupu. To samé probíhá i opačným směrem.
použití:
klasifikace
asociativní paměti