Vícevrstvé dopředné neuronové sítě

ve vývoji, neučit se z toho ještě

(učení – princip algoritmu zpětného šíření chyby, odezva, možné aplikace)

Základy viz Základní termíny neuronových sítí

Topologie

Vícevrstvé neuronové sítě jsou složené z několika vrstev neuronů, které jsou mezi sebou různě propojené. Obvykle jde o:

Vstupní vrstvu, kde jednotlivým neuronům jsou přířazené vstupy sítě. Někdy se jako vstupní vrstva označuje první vrtva neuronů, jindy je myšlen pouze vektor vstupů - je třeba definovat.

N skrytých vrstev.

Výstupní vrstvu, ze které lze vyčíst výsledné údaje.

Zapojení může být jednosměrné nebo obousměrné. V druhém případě lze vstup vložit na některý ze dvou konců sítě a z druhého konce poté vyčíst výstup. Tyto sítě jsou pak obousměrně dopředné.

Učení

Vícevrstvé dopředné neuronovky se učí s učitelem. Je tedy poskytnuta trénovací množina, která obsahuje dvojice (vstup, požadovaný výstup). Učení základní sítě tohoto typu (back-propagation) a probíhá v následujících fázích postupně pro každý prvek trénovací množiny:

Dopředný chod.

Postupně je vypočítán výstup každé vrstvy při daném vstupu.

Výstupní vrstva tedy poskytne nějaké hodnoty, které jsou porovnány s požadovaným výstupem.

Zpětný chod (back-propagation).

Odchylka každé z hodnot je předána patříčnému neuronu výstupní vrstvy, který si podle ní spočítá, jak musí změnit své váhy, aby tuto odchylku zmenšil.

Neurony předchozí vrstvy provedou stejný proces, ovšem používají vypočítanou odchylku výstupní řady.

Takto se probublá celá síť až k první neuronové vrstvě.

Úprava vah neuronů.

Nyní si všechny neurony upraví své váhy na základě vypočítaných odchylek.

Úprava je obvykle ovlivněna koeficientem, který se postupně snižuje (aby síť postupně konvergovala k nějakému stavu - tlumené učení)

Celý proces se opakuje, dokud není globální odchylka dostatečně malá nebo dokud nevyprší daný čas. Pokud dojdou prvky trénovací množiny, jede se znovu. Pozn.: Celá trénovací množina musí alespoň jednou projít skrz síť.

Tento proces může mít různé varianty, např. váhy mohou být upravovány najednou až po celé jedné iteraci trénovací množiny. Při trénování je vhodné testovat přesnost na jiných, než trénovacích datech, tím lze odhalit přetrénování. Ideální chvíle pro ukončení trénování je ve chvíli, kdy se s dalším trénováním začíná zhrošovat přesnost výstupu na testovacích datech.

Varianty sítí

BP (Back-Propagation)

lineární bázová funkce

většinou sigmoidální aktivační funkce

použití

klasifikace

asociace

komprese dat

redukce dimenzí

predikce

řízení

RBF (Radial Basis Functions)

radiální bázová funkce

gaussova aktivační funkce

použití

funkční aproximátory

interpolace v n-dim prostoru

výhoda: klasifikace v kruhových oblastech

nevýhoda: při větším než potřebném počtu neuronů může třídu rozdělit na více malých, které jsou od sebe vzdálené

RCE (Restricted Coloumb Energy)

radiální bázová funkce

skoková aktivační funkce

výstupní vrstva: logické OR, tolik, kolik je tříd

neurony, které spadají do stejné třídy, jsou spojeny do OR výstupního neuronu této třídy

princip:

Vybere vstup z trénovací množiny.

Pro všechny neurony, do jejichž oblasti vzorek spadá:

Pokud je tento neuron přiřazen správné třídě, nic se neděje.

Pokud jde o neuron jiné třídy, je tomuto neuronu zmenšen poloměr tak, aby už tento vzorek do jeho oblasti nespadal a zároveň je vytvořen nový neuron se středem v bodě nového vzorku a s maximálním poloměrem

použití:

klasifikace

asociativní paměti

CPN (Counter Propagation Network)

obsahuje jednu skrytou Kohonenovu vrstvu (viz Jednovrstvé neuronové sítě), která sama klasifikuje vstupy bez učitele

výstupy kohonenovy vrstvy jsou použity při klasickém učení s učitelem ve vstupně-výstupních vrstvách

jde o oboustrannou síť - trénovací množiny jsou tedy dvě, z jedné a z druhé strany

učení:

Na trénovacích množinách se nechá konvergovat Kohonenova vrstva

Poté se na jednu z vstupně-výstupních vrstev vloží vstup a opačná vrstva se učí s učitelem podle očekávaného výstupu. To samé probíhá i opačným směrem.

použití:

klasifikace

asociativní paměti