border=0

Entropy as mjit fan wissichheid

Lokale eveneminten kinne beskreaun wurde mei it begryp "probabiliteit" (sjoch taheakke A). De relaasjes fan wittenskiplike teoryen kinne ús sykje (berekkenje) de kâns op sawol ienige willekeurige eveneminten en komplekse eksperiminten dy't ferskate ûnôfhinklike of relateare eveneminten kombinearje. It is lykwols mooglik om willekeurige eveneminten te beskriuwen net allinich yn termen fan wittheden.

It feit dat in evenemint aksintaal betsjut dat it folslein fertrouwen yn har gefolch is, dat, op 'e oare helte, skea yn' e útkomsten fan eksperiminten dy't ferbân hâlde mei dit barren. Fansels is it grûn fan ûnwissens foar ferskillende situaasjes oars. Bygelyks as de ûnderfining bestiet út it bepalen fan 'e leeftiid fan in willekeurich selektearre 1e july-learling fan in folsleine ôfdieling fan in heger ûnderwiisynstelling, dan mei in hege groei fan wissichheid it kin bepale wurde dat hy minder as 30 jier âld wêze sil; Hoewol persoanen ûnder 35 leeftyd kinne studearje yn 'e folsleine ôfdieling, wurde meastal graduaten fan' e njoggentige ôfstudinten persoanlik studearje. Minder minder siik hat in ferlykbere ûnderfining, as it kontrolearjen is oft de leeftiid fan in willekeurige keazen studint minder dan 18 jier âld is. Foar praktyk is it wichtich om in nûmerike skatting te meitsjen fan 'e ûnwissichheid fan ferskate eksperiminten. Litte wy besykje om sa'n kwantitative maat fan 'e ûnwissigens te fieren.

Wy begjinne mei in ienfâldige situaasje wêr't ûnderfining n like probabele útkomsten hat. It is fanselssprekkend dat de ûnwissigens fan elk fan har ôfhinkt fan n , i. It maat fan 'e ûnwissens is in funksje fan it oantal resultaten f (n).

Jo kinne guon yndielen fan dizze funksje oantsjutte:

1. f (1) = 0, om't mei n = 1 it útkomst fan it eksperimint net willekeurich is en dêrom gjin wissichheid;

2. f (n) nimt mei groeiende n , omdat it grutter it oantal mooglike resultaten is, hoe makliker it wurdt om it resultaat fan 'e eksperiment te foarsjen.

Om de eksplisite foarm fan 'e funksje f (n) te bepalen , beskôgje wy twa ûnôfhinklike eksperiminten α β * mei de nûmers fan lykwols wierskynlike resultaten, resp. N α en n β . Tink derom dat in komplekse ûnderfining is, dy't bestiet yn 'e simultane útfiering fan eksperiminten α en β; it oantal mooglike resultaten is n αn β , en, allegear binne lykwols wierskynlik. Fansels is de ûnwissigens fan 'e útkomst fan sa'n komplekse ûnderfining α ^ β grutter as de ûnwissichens fan' e erfaring α, om't de ûnwissichheid β oan tafoege wurdt; It maat fan ûnwissens yn in komplekse eksperimint is f (n α n β ). Oan 'e oare kant binne de ûnwissigensmaatregels fan yndividuele α en β respektivelik f (n α ) en f (n β ). Yn it earste gefal (komplekse ûnderfining) ferskynt de totale (totale) ûnwissichheid fan mienskiplike eveneminten, yn 'e twadde - de ûnwissens fan elk fan' e eveneminten apart. Troch it ûnôfhinklikens fan α en β folget lykwols dat dat yn in komplekse eksperimint gjin ynfloed op elkoar en, benammen, α kinne de ynfloed fan 'e β net beynfloedzje, en oarsom. Dêrom moat it mjit fan totale ûnwissichheid lykweardich wêze fan 'e bedoeling fan' e maatregels fan ûnwissichheid fan elke eksperiment, d. it maat fan 'e ûnwissens is additiv:

* Om ferwizings te finen mei willekeurige resultaten, sille wy Grykske letters (α, β, ensfh.) Brûke en individuele resultaten fan eksperiminten (eveneminten), Latynske haadbrieven (A, B , ensfh.) Oanwize.

Litte wy no tinke oer wat de eksplisite foarm fan de funksje f (n) wêze kin, sadat it eigenskippen (1) en (2) en relaasje (2.1) foldien binne? It is maklik om te sjen dat it funksje log (n) dizze set fan eigenskippen foldocht en jo kinne bepale dat it de ienige fan al besteande funksjes is. Sa:

As mjit fan 'e ûnwissigens fan' e eksperiment mei n lykwols probabele útkomsten kin men it nûmerloch (n) nimme.

It moat fêststeld wurde dat de kar fan 'e basis fan' e logaritme yn dit gefal net sa is, om't troch de bekende formule foar de transformaasje fan 'e logaritme út ien basis nei de oare is.

De oergong nei in oare basis bestiet út it ynlieden fan 'e konstante faktorprotokol b , dy't itselde is foar beide dielen fan ekspresje (2.1), dy't lykweard is foar in wiziging yn' e skaal (dat is de grutte fan in ienheid) fan 'e mjitting fan' e wissichheid. Om't dit sa is, is it mooglik om in handich te kiezen (fan guon oanfoljende oerienkomsten) basis fan 'e logaritme. Dizze handige grûnslach feroaret yn 2, omdat yn dit gefal de ûnwissichheid yn in eksperimint behannele is dat allinoar twa lykwols probabele útkomsten hat, dy't bepaald wurde, bygelyks TRUE (Wier) en FALSE (False) , as in ienheid fan mjitten brûkt en de apparatuer fan wiskundige logika .

De ienheid fan mjitten fan ûnwissichheid yn twa mooglike ekwantelbere resultaten fan ûnderfining hjit bit * .

* De namme fan it bit komt út 'e Ingelske binêre digit, dy't letterlik "binêre digit" of "binêre ienheid" betsjut.

Sa hawwe wy in eksplisite foarm fan in funksje fêststeld dy't beskreaun is fan in mjit fan 'e ûnwissichheid fan in eksperimint dat n likegoed wierskynlike resultaten hat:

Dizze wearde hjit entropy. Yn 'e takomst sille wy it neame .

Ferneare de ûnderfining mei n lykwols probabele resultaten. Sûnt elke útkomst is willekeurich, hat it bydroegen oan 'e ûnwissigens fan' e hiele erfaring, mar om't alle n resultaten lykweardich binne, is it leefber te hâlden dat har ûnwittens itselde is. Fanút it eigendom fan tafoeging fan ûnwissichheid, lykas it feit dat neffens (2.2) de folsleine ûnwissichheid is lyk oan log 2 n , folget dat de wissichheid troch ien útkomst ynfierd is

dêr't p = de probabiliteit fan ien fan 'e yndividuele útkomsten is.

Sa wurdt de ûnwissigens ynfierd troch elk fan 'e lykweardige resultaten is lyk oan:

Litte wy it besykje om de formule (2.3) te fergrutere nei de situaasje as de resultaten fan eksperiminten net- unyk binne, bygelyks p (A 1 ) en p (A 2 ). Dan:

It útdrukking fan dizze ekspresje nei de situaasje as it ûnderfining α hat ungewoane resultaten А 1 , А 2 ... А p , wy krije:

De wearde dy't op dizze wize yntrodusearre is, lykas al neamd, wurdt de entropy fan it wispûnderferskat neamd. Mei de formule foar de gemiddelde wearde fan diskrete willekeurige fariabelen (A.11) kinne wy ​​skriuwe:

A ( α ) - jout de útkomsten mooglik yn 'e erfaring fan α.

Entropy is in mjitting fan 'e ûnwissichheid fan' e ûnderfining, dêr't willekeurige eveneminten foarkomme, en is lyk oan de gemiddelde ûnwissichheid fan alle mooglike útkomsten.

Foar praktyk is de formule (2.4) wichtich yn dat it ien jildt om de ûnwittens fan ferskate eksperiminten te ferlykjen mei willekeurige resultaten.





Sjoch ek:

A.3. Conditional probability

Foarbyld 9.2.

Circuits fan logyske eleminten en ferlies

Haadstik 9. Understanding fan de steat masine

Begjin definieare

Gean werom nei Tafel Ynhâld: Teoretyske Stiftingen fan Computer Science

2019 @ bibinar.info