Množství informace a entropie, zdroj diskrétních zpráv, kódování, Huffmanův kód, diskrétní kanál a Shannonova věta o kódování.

Náhodný jev - představuje událost, která za určitých podmínek buď nastane nebo nenastane