Бірлескен және шартты энтропия

Алдыңғы бөлімде жеке жұп оқиғаларды қарап шыққан соң дереккөздердің орташа бағасына өтейік.

4.2 суретте қазіргі жағдай көрсетілген

Алфавит Х = {x_i, …, x_M}

Ықтималдық p(x_i)

Шартты ықтималдық p(y_j, x_i)

және p (x_i, y_j)

Алфавит Y={y_j, …, y_N}

Ықтималдық p(y_j)

4.2 Сурет. Екі байланысқан дискретті дереккөз.

Екі дереккөздің бірлескен энтропиясы барлық жұп оқиғалардың ақпараттарының математикалық күтімі ретінде анықталады.

Екі Х және Y жадсыз дискретті дереккөздерінің бірлескен энтропиясы

Ескерту. Бұл жерде бірлескен оқиғалардың барлық жұптары қарап шығылған, яғни

Барлық жұп оқиғалардың шартты ақпараттарын ортақтастырып, шартты энтропияны аламыз.

4.1 Кесте. Жұм символдарының р(х_і, у_і) бірлескен ықтималдықтарын және жеке р(х_і) һәм р(у_і) символдарының ықтималдықтарын бағалау.

Екі Х және У жадсыз дискретті дереккөзінің шартты энтропиясы

(4.14)-те -ті -ке және -ке алмас- тырсақ, шығады

Осылайша, бірлескен энтропия бір дереккөздің энтропиясының және басқа бір дереккөздің энтропиясының біршама бөлігінің қосындысы ретінде көрсетілуі мүмкін. Тәуелсіз дереккөздер үшін екінші дереккөздің энтропиясы қосындыға толықтай кіреді, себебі және . Байланысқан дереккөздер үшін әрдайым Сондықтан, жалпы жағдайда, орынды болатын

Мысал: Байланысқан дереккөздер.

Қазір төбедегі анықтамаларды және формулаларды толық айқындайтын сандық мысалды жан-жақты реттеудің сәті түсіп тұр. Бұл мақсат үшін шешу тәсілі практикада тікелей қолданылатын мәселе таңдалып алынған еді.

Бізде дискретті Х және У дереккөздерінің 100000 бірлескен (х_і, у_і) жұп оқиғалардың таңдау нұсқасы бар болсын және әр дереккөздің алфавитінде төрт оқиға болсын. (х₁, у₁) жұбы 1000 мәрте ұшырасқан болсын.

Онда (х₁, у₁) жұбын бағалау ықтималдығы 10000/10000 = 0,1-ге тең. Басқа жұп оқиғалардың бағалаулары олардың қатысты жиіліктерімен есептеліп 4.1 кестеде көрсетілген. Алынған бағалаулар жұп оқиғалардың ықтималдықтарына жақын деп есептейік және алдағыда ықтималдықтар турасында айтатын боламыз. (х_і, у_і) оқиғаларының ықтималдықтары қатарлар мен бағандардың қосындысынан алынған. бақылау сомасы оң жақ төмен бұрышта көрсетілген.

Енді, энтропияны есептеуге қажетті барлық ықтималдықтар бізге мағлұм болған кезде, анықтайтынымыз:

1. X және Y дереккөздерінің энтропияларын;

2. Дереккөздердің бірлескен энтропиясын;

3. Екі шартты энтропияны;

Бақылау үшін есептелетін:

4. шартты ықтималдықтары;

5. шартты энтропиясын анықтаймыз.

Ескерту. Оңайлық үшін үтірден соң нақты 4 таңбаға дейін есептеу жүргіземіз.

Шешім:

1.

2.

3. (4.16)-дан ұзын есептеулерсіз, алатынымыз:

4.2 Кесте. шартты ықтималдығы.

4. 4.2 кестеде 4.1 кестеге сәйкес есептелген шартты ықтималдықтар көрсетілген. Сонымен қатар біз стохастикалық матрица алғанымызға назар аударайық. Әр қатар үшін шартты ықтималдықтар сомасы 1-ге тең.

5.

Орытындылар

Алдыңғы бөлімдерде келтірілген барлық тұжырымдар математикалық формада 4.3 кестеде көрсетілген. Ақпараттар теориясының негізгі идеясы дереккөз ақпаратын анықталмағандық шамасы ретінде көрсету болып табылады. Бұл анықталмағандық осы дереккөздің алфавитіндегі кездейсоқ оқиғаларға жүргізілген тәжірибелер арқылы айқындалады. Мұндай қадам кестенің үш бағанын түсіндіреді.

Ақпарат кездейсоқ оқиғалардан негізделген соң, бірінші бағанға оқиғалар ықтималдығы және жұп оқиғалардың бірлескен ықтималдығы негізгі шамалар ретінде түсінігі енгізіледі. Жұп оқиғалар үшін шартты ықтималдық түсінігі енгізіледі. Екінші бағанда оқиға ақпаратының және жұп оқиғалар һәм шартты және өзара ақпараттар анықтамасы беріледі. Соңғы үшінші бағанда энтропияның дереккөз анықталмағандығы ретіндегі түсінігі енгізіледі.

Дереккөз энтропиясы екі дереккөздің бірлескен және шартты энтропиялары сәйкес оқиғалар ақпаратының математикалық күтімі ретінде түсіндіріледі. Шартты ықтималдық – басқа оқиға жүзеге асқандағы бір оқиғаның ықтималдығы, сондықтан шартты ақпарат және шартты энтропия түсініктері шартты ықтималдықтан шығады.

 

4.3 Кесте. символды жадсыз Х және Y дискретті дереккөздері.

Өзара ақпараттың ықтималдықтар теориясында аналогы жоқ. Бұл ақпараттық техникада негізгі рөл атқаратын ақпараттар теориясын жаңадан түсіну. Өзара ақпарат канал түсінігін ол арқылы ақпарат тасымалдау мүмкіндігімен байланыстырады. Бұл түсінік осы кітаптың 7 бөлімінде толық қаралады.

 

 

БӨЛІМ

СТАЦИОНАРЛЫ

ДИСКРЕТТІ ЖАДТЫ

ДЕРЕККӨЗДЕР

Энтропия

Ақпараттың аналогтық дереккөздерінің сигналдары сызық арқылы шектелген, сондықтан уақытта салыстырылған. Мәселен телефондық желідегі ұқсас сөйлесу сигналы мысал бола алады. Белгілеуден соң, ұқсас дереккөз дискреттікке айналады, және, мәселен, сигналды 256 деңгейге кванттаған соң, біз 8-битті 0-ден 255-ке дейінгі екілік толық сандар реттілігін аламыз. 5.1 суретте көрсетілгендей екі жақын сандардың мәндері ұқсас, себебі телефондық сигнал жиіліктің тар алқабында тасымалданады. Жақын есептеулердің уақытша қатынасына, яғни есептеу жадына байланысты, оның анықталмағандығы (ақпарат) ұқсас жадсыз дереккөзге қарағанда төмендейді, сол себепті қысу тәсілдерінің негізгі мақсаты, әсіресе видеосигналдарды тасымалдау кезінде, шығынның төмендеуі болып табылады.

5.1 Сурет. Үздіксіз сигнал.

Жадты дискретті дереккөздердің энтропиясын қалай анықтаймыз деген сұрақ туындайды. Мақсат қоюдан бастайық.

Анықтама 5.1.1. Дискретті Х дереккөзіне дереккөзінің алфавитіне тиесілі оқиғасының реттілігі орындалуы болып табылатын уақытта дискретті стохастикалық процесс деген анықтама берсек те болады.

Ескерту. Түсініспеушілік болмауы үшін біз алфавит құрамын грек әріптерімен белгіледік. Бұл жағдайда -ші оқиғаның айнымалысының орнына X алфавитінің кез-келген саны қойылуы мүмкін.

Анықтама 5.1.2. Оқиға реттіліктерінің бірлескен ықтималдықтары уақыт санағының бастапқы нүктесінің таңдауына тәуелді емес болған жағдайда дискретті дереккөз стационарлы болып табылады.

Ескерту. Бақылаулардың санақ нүктесінен тәуелсіз болуы біз таңдауды уақыттың кез-келген сәтінен бастай аламыз дегенді білдіреді, яғни статистика бақылау уақтысының басталуына тәуелді емес.

Анықтама 5.1.3. Стационарлы дискретті дереккөз математикалық тұрғыда болғандағы кез-келген таңдауы үшін барлық бірлескен ықтималдықтары мағлұм болған жағдайда толық сипатталған.

Стационарлы жадты дискретті дереккөздің энтропиясының анықтамасы бірдей нәтижеге әкелетін екі амалдан шығады. Бірінші амалда біз бірлескен энтропия, ал екіншісінде шартты энтропия түсінігін қолданамыз. Екі жағдайда да біз келесі сауалға жауап іздейміз: «Егер дереккөз жадысы бірнеше реттілік оқиғаларға таралса, алдыңғы оқиғалар блогы мәлім болған жағдайда, бөлек оқиғада қандай қосымша дерек бар?»