A tantárgy az alábbi témakörök ismeretére épít:
A tantárgy szerepe a képzés céljának megvalósításában:
A tantárgy részletes tematikája magyarul és angolul:
Az információelmélet abból az alapvető tényből fejlődött ki, hogy az információt mérni lehet. Az entrópiával a kölcsönös információval és I-divergenciával lehet alsó és felső becslést adni sok mérnökileg is releváns problémára. A kurzus során vázoljuk az információ technológia alapvető mérnöki problémáinak matematikai modelljeit, foglalkozunk: forrás kódolással (adattömörítés változó és állandó hosszúságú kódszavakkal) és csatorna kódolással (ahol zajos csatornán kell az adatokat megbízhatóan továbbítani). Tételeinkhez felhasználjuk a tipikus sorozatok elméletét, és a típusok módszerét is, mely módszerek a modern statisztikában is egyre nagyobb teret nyernek. Bebizonyítjuk a Lempel–Ziv-algoritmus aszimptotikus optimalitását, és a polár kódok elméletével is megismerkedünk.(A polár kódok az 5G szabványba is bekerültek). A kurzus végén bepillantunk néhány az Információelméletben manapság divatos témába is.(Network Coding, Caching, Information Secrecy).
Követelmények szorgalmi időszakban:
Házi feladat és/vagy kiselőadás, amelyek teljesítésével megajánlott jegy is szerezhető.
Követelmények vizsgaidőszakban:
Konzultációs lehetőségek:
Jegyzet, tankönyv, felhasználható irodalom:
Thomas M. Cover, Joy A. Thomas:Elements of Information Theory Wiley 2006
Imre Csiszár, János Körner:Information Theory Cambridge University Press 2011
Paul C. Shields:The Ergodic Theory of Discrete Sample Path AMS 1996
Nyomtatóbarát változat
