border=0

Foarbyld 2.2

Yn it fekje binne 2 wite ballen en 4 swarte. Twa ballen wurde út 'e kast yngeand sûnder werom. Sykje de entropy dy't ferbûn is mei de earste en twadde ekstra, lykas de entropy fan beide ekstracts. Wy sille de ûnderfining fan α beskôgje ekstraksje fan 'e earste bal. It hat twa resultaten: A 1 - de wite bal is útbrocht; syn probabiliteit p (A 1 ) = 2/6 = 1/3; Resultaat A 2 - in swart bal wurdt útnommen; syn probleem is p (A 2 ) = 1 - p (A 1 ) = 2/3. Dizze gegevens kinne gebrûk meitsje fan (2.4) om fuortendaliks H ( α) te finen:

H ( α ) = - p (A 1 ) log 2 p (A 1 ) - p (A 2 ) log 2 p (A 2 ) = -1/3 log 2 1/3 - 2/3 log 2 2/3 = 0.918 bits.

Underfining β - de twadde bal ekstra útfiere, hat ek twa resultaten: Yn 1 - in wyt bal wurdt útnommen; Yn 2 - in swarte bal is útdield, mar har probwjittingen sille ôfhinkje fan wat de útkomst fan 'e eksperiment is α. Yn it bysûnder:

mei A 1 : p A 1 ( B 1 ) = 1/5 p A1 ( B 2 ) = 4/5;

mei A 2 : p A 2 ( B 1 ) = 2/5 p A 2 ( B 2 ) = 3/5.

Dêrtroch is de entropy dy't it twadde eksperimint assosjearre is bedoeld en, neffens (2.8) en (2.9), is lyk oan:

Uteinlik, fanôf (2.10): H (α ¼ β) = 0,918 + 0,888 = 1,806 bits.

Sjoch ek:

De problemen fan ien fan 'e twa resultaten fan ûnôfhinklike en net kompatibele eveneminten is lyk oan' e bedoeling fan har kâns.

Foarbyld 2.1

Foarbyld 5.4

Foarbyld 10.1

Utjefte fan it kodierprobleem, Shannon's earste teorem

Gean werom nei Tafel Ynhâld: Teoretyske Stiftingen fan Computer Science

2019 @ bibinar.info