Vícevrstvé dopředné neuronové sítě

(učení – princip algoritmu zpětného šíření chyby, odezva, možné aplikace)

Základy viz Základní termíny neuronových sítí

Vícevrstvé neuronové sítě jsou složené z několika vrstev neuronů, které jsou mezi sebou různě propojené. Obvykle jde o:

• Vstupní vrstvu, kde jednotlivým neuronům jsou přířazené vstupy sítě. Někdy se jako vstupní vrstva označuje první vrtva neuronů, jindy je myšlen pouze vektor vstupů - je třeba definovat.
• N skrytých vrstev.
• Výstupní vrstvu, ze které lze vyčíst výsledné údaje.

Zapojení může být jednosměrné nebo obousměrné. V druhém případě lze vstup vložit na některý ze dvou konců sítě a z druhého konce poté vyčíst výstup. Tyto sítě jsou pak obousměrně dopředné.

Vícevrstvé dopředné neuronovky se učí s učitelem. Je tedy poskytnuta trénovací množina, která obsahuje dvojice (vstup, požadovaný výstup).

• lineární bázová funkce
• většinou sigmoidální aktivační funkce
• použití
  • klasifikace
  • asociace
  • komprese dat
  • redukce dimenzí
  • predikce
  • řízení

Učení základní sítě tohoto typu (back-propagation) a probíhá v následujících fázích postupně pro každý prvek trénovací množiny:

• Dopředný chod.
  • Postupně je vypočítán výstup každé vrstvy při daném vstupu.
  • Výstupní vrstva tedy poskytne nějaké hodnoty, které jsou porovnány s požadovaným výstupem.
• Zpětný chod (back-propagation).
  • Odchylka každé z hodnot je předána patříčnému neuronu výstupní vrstvy, který si podle ní spočítá, jak musí změnit své váhy, aby tuto odchylku zmenšil.
  • Neurony předchozí vrstvy provedou stejný proces, ovšem používají vypočítanou odchylku výstupní řady.
  • Takto se probublá celá síť až k první neuronové vrstvě.
• Úprava vah neuronů.
  • Nyní si všechny neurony upraví své váhy na základě vypočítaných odchylek.
  • Úprava je obvykle ovlivněna koeficientem, který se postupně snižuje (aby síť postupně konvergovala k nějakému stavu - tlumené učení)
• Celý proces se opakuje, dokud není globální odchylka dostatečně malá nebo dokud nevyprší daný čas. Pokud dojdou prvky trénovací množiny, jede se znovu. Pozn.: Celá trénovací množina musí alespoň jednou projít skrz síť.

Tento proces může mít různé varianty, např. váhy mohou být upravovány najednou až po celé jedné iteraci trénovací množiny. Při trénování je vhodné testovat přesnost na jiných, než trénovacích datech, tím lze odhalit přetrénování. Ideální chvíle pro ukončení trénování je ve chvíli, kdy se s dalším trénováním začíná zhrošovat přesnost výstupu na testovacích datech.

• radiální bázová funkce
• gaussova aktivační funkce
• použití
  • funkční aproximátory
  • interpolace v n-dim prostoru
• výhoda: klasifikace v kruhových oblastech
• nevýhoda: při větším než potřebném počtu neuronů může třídu rozdělit na více malých, které jsou od sebe vzdálené

• radiální bázová funkce
• skoková aktivační funkce
• výstupní vrstva: logické OR, tolik, kolik je tříd
• neurony, které spadají do stejné třídy, jsou spojeny do OR výstupního neuronu této třídy
• princip:
  • Vybere vstup z trénovací množiny.
  • Pro všechny neurony, do jejichž oblasti vzorek spadá:
    • Pokud je tento neuron přiřazen správné třídě, nic se neděje.
    • Pokud jde o neuron jiné třídy, je tomuto neuronu zmenšen poloměr tak, aby už tento vzorek do jeho oblasti nespadal a zároveň je vytvořen nový neuron se středem v bodě nového vzorku a s maximálním poloměrem
• použití:
  • klasifikace
  • asociativní paměti

• obsahuje jednu skrytou Kohonenovu vrstvu (viz Jednovrstvé neuronové sítě), která sama klasifikuje vstupy bez učitele
• výstupy kohonenovy vrstvy jsou použity při klasickém učení s učitelem ve vstupně-výstupních vrstvách
• jde o oboustrannou síť - trénovací množiny jsou tedy dvě, z jedné a z druhé strany
• učení:
  • Na trénovacích množinách se nechá konvergovat Kohonenova vrstva
  • Poté se na jednu z vstupně-výstupních vrstev vloží vstup a opačná vrstva se učí s učitelem podle očekávaného výstupu. To samé probíhá i opačným směrem.
• použití:
  • klasifikace
  • asociativní paměti