Grafické a multimediální procesory

Zdůvodněte typy a použití kvantování u standardů IVAC (Image, Video and Audio Coding)

Číslicové zpracování signálu IVA vyžaduje vzorkovat analogový signál a kvantovat jej do konečného počtu úrovní. Predpokládáme přitom, že vzorkovací frekvence je vyšší než Nyqistova frekvence, takže ve frekvenční doméně pak nedochází k aliasingu. Návrh kvantizéru (vzorkovače) znamená stanovit vstupní rozhodovací úrovně, výstupní reprezentační úrovně a jejich počet. Hodnotí se úroven zkreslení. Návrh kvantizéru může být ovlivněn vlastnostmi psychovizuálního a psychoakustického vnímání. Kvantizéry klasifikujeme na typy bez paměti (každý vzorek se kvantuje nezávisle) a kvantizéry s pamětí, kdy je hodnota výstupu závislá na předchozích vzorcích. Dále můžeme kvantizéry rozdělit na uniformní (s konstantním kvantovacím krokem) a neuniformní, symetrické a nesymetrické a na „uprostřed ploché“ nebo „uprostřed rostoucí“. Vstupem kvantizéru je hodnota f, výstupem kvantizéru je hodnota g. Kvantovací chyba je rovna g − f.

Vysvětlete různé principy a použití predikčního kódování, predikční chyba

Při predikčním kódování se na základě hodnot předchozích vzorků vytvoří predikovaná hodnota vzorku pro další vzorkovací okamžik a tato predikovaná hodnota se porovná se skutečnou hodnotou vzorku. Diferenční signál mezi predikovanou a skutečnou hodnotou vzorku (predikční chyba) se kóduje a přenáší. Často je používána diferenční PCM (DPCM).

Diferenciální pulsní kódová modulace (DPCM, Differential Pulse-Code Modulation) nejrozšířenější metoda predikčního kódování. Proces predikce může být zdokonalen adaptivní predikcí a/nebo kvantováním.

Adaptivní predikce umožňuje dosáhnout celkového zlepšení predikce na základě lokální aktivity obrazu, pohybu, změn scény nebo jiného smysluplného kritéria. Např. může být k dispozici několik různých prediktorů, z nichž se vždy vybere ten, který dává minimální absolutní chybu predikce.

Vysvětlete princip a použití transformačního kódování DCT, ztrátová a bezeztrátová komprese, klikatý sken

Popište waveletovou transformaci a její použití

Vysvětlete princip a použití estimace pohybu, principy vyhledávání

Metoda estimace pohybu (Motion Estimation – ME) se používá ke zvýšení přesnosti predikce mezi sousedními snímky/obrazy. Vlastní provedení této techniky může být:

Estimace pohybu pixel za pixelem, označovaná též jako pixelový rekurzívní algoritmus (Pixel-Recursive Algorithm – PRA).
Algoritmy PRA se používají málo, protože jsou složité a algoritmy estimace pohybu mají někdy problémy s konvergencí. Objektově orientované estimace, byly vytvořeny pro kódování obrazu. To se zde příliš nehodí, protože estimace pohybu závisí na identifikaci nebo lokalizaci objektu, nebo alespoň jeho obrysu v obou snímcích nebo obrazech. Rovněž režie s reprezentací objektu je tak vysoká, že se přínos zlepšené predikce na snížení bitové rychlosti ztratí. Jako kompromisní i když neoptimální řešení se pro mezisnímkové hybridním kódování s kompenzací pohybu (Motion Compensation – MC) všeobecně rozšířila metoda se srovnáváním bloků BMA. Na pohybově kompensované predikční chyby se místo 2D transformace může použít podpásmové kódování, vektorové kvantování VQ, waveletová transformace nebo jiná ověřená metoda.

Estimace pohybu blok za blokem, zvaná též algoritmus se srovnáváním bloků (Block-Matching Algorithm – BMA).
U BMA se odhaduje pohyb bloku pixelů, např. M × N v intervalu (půl)snímku. Rozsah vektoru pohybu (Motion Vector – MV) je omezen vyhledávacím oknem. BMA ignoruje rotace a předpokládá u všech pixelů v bloku (M × N) stejný pohyb. S tímto omezením je cílem najít nejlepší shodu (nebo alespoň nejmenší deformaci) mezi bloky M × N současného (půl)snímku a odpovídajícího bloku v předchozím (půl)snímku v rozsahu vyhledávacího okna.

Vysvětlete princip a použití podpásmového kódování

Podpásmové kódování (Sub-band coding) je další způsob frekvenčního rozkladu. U SBC se 1D nebo 2D signál rozdělí na několik frekvenčních podpásem třeba i různých šířek pomocí banků filtrů. Použitím přesných rekonstrukčních filtrů lze rekonstruovat původní signál naprosto dokonale. Způsob kódování lze s výhodou přizpůsobit frekvencím. Signály ve vysokofrekvenčních pásmech se mohou kvantovat hrubě nebo zcela zanedbat. Tento postup je použit u kódování zvuku v MPEG-1 a 2.

Popište principy JPEG, kódovací řetězec, režimy

Popište principy ITU-T H.261, celý kódovací řetězec, datové formáty

Popište principy MPEG-1/2, snímky I, P, B, atd., přeskládání obrázků

Popište typy predikce videa zavedené v MPEG-1 a její problémy

Popište způsob kódování zvuku u MPEG-1/2

Popište princip psychoakustického kódování zvuku, maskování, kritická pásma

Popište principy MPEG-2

Popište metody komprese použité u JPEG a MPEG-1/2

Popište typy predikce použité v JPEG a MPEG-1/2

Popište postup zakódování bloku 8x8 pixelů podle JPEG

Popište principy činnosti a výstavby grafické karty, vývoj až po ty nejvyspělejší

Popište paměti pro podporu grafických operací (s přidanou logikou i vyspělejší VDRAM)

Popište min 3 uspořádání 2D/3D grafického řetězce s různým stupněm zřetězení

Popište 1- až n-rozměrné multiprocesorové propojovací struktury (Origin/Onyx)

Popište možnosti paralelizace činnosti geometrického stupně

Popište možnosti paralelizace činnosti rastrovacího stupně

Popište postup rasterizace trojúhelníku a možnosti jeho urychlení paralelizací

Popište paralelní zpracování a rasterizaci obrazu

Popište strukturu GF7800, nebo 8800, nebo Fermi nebo Larrabee

Popište principy a použití GPGPU

Popište typy, principy a použití signálového procesoru

Popište principy činnosti multimediálního procesoru, typy, koncepce

Vysvětlete princip MIP-mapování textur a obvodovou podporu metody

Popište bilineární a trilineární interpolaci, kde a k čemu se používá (MIP)

Popište principy rozšíření instrukčního souboru MMX

Popište principy rozšíření instrukčního souboru SSE a SSE2, příp. další

Popište koncepci multimediálního procesoru VLIW

Popište vlastnosti ortogonálních bázových funkcí, zdůvodněte vlastnosti a popište jejich použití

Popište princip kódování délkou sledů, jaké problémy se musí řešit a kde se používá

Popište princip 2D kódování délkou sledů faxu G4

Popište RL kódování bitových ploch

Popište princip procesoru se zpracováním toků

Popište princip komprese textur

Kódování zpráv u digitálního faxu G3 a G4

Popište kompletní zpracování barevné informace v digitání videokameře, kompenzace pohybu

Popište míry pro hodnocení odliąnosti dvou obrazů/bloků obrazů, kde a proč se používají