ISO/IEC DIS 2382-16	ISO/IEC DIS 2382-16 (Revision of ISO 2382-16:1978)
16 Infoteooria	16 Information theory
16.01 Üldmõisted	16.01 General Terms
16.01.01 infoteooria Informatsiooni kvantitatiivsete mõõtudega tegelev teadusharu.	16.01.01 information theory The branch of learning concerned with quantitative measures of information.
16.01.02 sideteooria Matemaatiline distsipliin, mis käsitleb mürast ja muudest häiringutest mõjutatud sõnumiedastuse tõenäosuslikke aspekte.	16.01.02 communication theory The mathematical discipline dealing with the probabilistic features of the transmission of messages in the presence of noise and any other disturbances.
16.01.03 informatsioon (infoteoorias) Teadmus, mis kahandab või kõrvaldab mingi teatava, võimalike sündmuste piiritletud kogumisse kuuluva sündmuse toimumise määramatust. MÄRKUS. Infoteoorias tuleb mõistet "sündmus" mõista nii nagu tõenäosusteoorias. Sündmus võib olla näiteks - teatava elemendi esinemine antud elemendikogumis; - teatava märgi või sõna esinemine antud sõnumis või sõnumi teatud kohas; - katse iga võimalik eraldi tulemus.	16.01.03 information (in information theory) Knowledge which reduces or removes uncertainty about the occurrence of a specific event from a given set of possible events. NOTE - In information theory, the concept "event" is to be understood as used in the theory of probability. For instance, an event may be: - the presence of a specific element in a given set of elements; - the occurrence of a specific character or word in a given message or in a given position of a message; - any one of the distinct results an experiment may yield.
16.02 Sõnumid ja sõnumivahetus	16.02 Messages and their communication
16.02.01 sõnum (infoteoorias ja sideteoorias) Informatsiooni edastuseks mõeldud korrastatud * märgisari.	16.02.01 message (in information theory and communication theory) An ordered series of characters intended to convey information.
16.02.02 sõnumiallikas infoallikas Sidesüsteemi osa, millest sõnumid eeldatavalt lähtuvad.	16.02.02 message source information source That part of a communication system from which messages are considered to originate.
16.02.03 sõnumineel infoneel Sidesüsteemi osa, milles sõnumid eeldatavalt vastu võetakse.	16.02.03 message sink information sink That part of a communication system in which messages are considered to be received.
16.02.04 kanal (sideteoorias) Sidesüsteemi osa, mis ühendab sõnumiallikat * sõnumineeluga. MÄRKUS 1. Sõnumiallika ja kanali sisendi vahel võib olla kooder, kanali väljundi ja sõnumineelu vahel aga dekooder. Üldiselt ei loeta neid kaht üksust kanali osadeks, teatud juhtudel võidakse neid aga vaadelda vastavalt sõnumiallika ja sõnumineelu osana. MÄRKUS 2. Infoteoorias võib Shannoni järgi iseloomustada kanalit kõigi sõnumineelus vastu võetavate sõnumite esinemise tinglike tõenäosuste kogum antud sõnumi väljumisel sõnumiallikast.	16.02.04 channel (in communication theory) That part of a communication system that connects the message source with the message sink. NOTE - 1 An encoder may be inserted between the message source and the input to the channel, and a decoder between the output of the channel and the message sink. Generally, these two units are not considered a being parts of the channel. In certain cases, however, they may be considered as parts of the message source and message sink, respectively. NOTE - 2 In information theory according to Shannon, the channel can be characterized by the set of conditional probabilities of occurrence of all the messages received at the message sink when a given message emanates from the message source.
16.02.05 sümmeetriline kahendkanal Kanal, mis on määratud kahendmärkidest koosnevate sõnumite edastuseks ja millele on omane, et kumbagi märgi teiseks märgiks muutumise tinglikud tõenäosused on võrdsed.	16.02.05 symmetric binary channel A channel that is designed to convey messages consisting of binary characters and that has the property that the conditional probabilities of changing any one character to the other character are equal.
16.02.06 statsionaarne sõnumiallikas statsionaarne infoallikas Sõnumiallikas, milles iga sõnum võib tekkida tõenäosusega, mis ei sõltu ta tekkimise ajast.	16.02.06 stationary message source stationary information source A message source from which each message has a probability of occurrence independent from the time of its occurrence.
16.03 Kvantitatiivsed põhiterminid	16.03 Basic quantitative terms
16.03.01 otsusesisaldus Vastastikku välistuvate sündmuste lõplikku hulka kuuluvate sündmuste arvu logaritm, st matemaatiliselt esitatuna: H0 = log n, kus n on sündmuste arv. MÄRKUS 1. Selle definitsiooni kohta kehtib artikli 16.01.03 märkus. MÄRKUS 2. Logaritmi alus määrab kasutatava ühiku. Levinumad ühikud on: šannon (tähis: Sh) - kui logaritmi alus on 2, naturaalühik (tähis: nat) - kui logaritmi alus on e, hartli (tähis: Hart) - kui logaritmi alus on 10. Teisendustabel: 1 Sh = 0,693 nat = 0,301 Hart 1 nat = 1,433 Sh = 0,434 Hart 1 Hart = 3,322 Sh = 2,303 nat MÄRKUS 3. Otsusesisaldus ei sõltu sündmuste toimumise tõenäosustest. MÄRKUS 4. Vastastikku välistuvate sündmuste lõplikust hulgast ühe kindla sündmuse väljavalimiseks vajalike b-kordsete elementaarotsuste arv võrdub vähima täisarvuga, mis on suurem-võrdne otsusesisaldusega, mille määrab logaritm alusega b; see kehtib, kui b on täisarv. Näide: Olgu {a,b,c} kolmest sündmusest koosnev hulk. Ta otsusesisaldus on H0 = (lb 3) Sh = 1,580 Sh = (ln 3) nat = 1,098 nat = (lg 3) Hart = 0,477 Hart	16.03.01 decision content The logarithm of the number of events in a finite set of mutually exclusive events, that is in mathematical notation: H0 = log n where n is the number of events. NOTE - 1 The note in 16.01.03 is applicable to this definition. NOTE - 2 The base of the logarithm determines the unit used. Commonly used units are: shannon (symbol : Sh) for logarithms of base 2, natural unit (symbol : nat) for logarithms of base e, hartley (symbol : Hart) for logarithms of base 10. Conversion table: 1 Sh = 0,693 nat = 0,301 Hart 1 nat = 1,433 Sh = 0,434 Hart 1 Hart = 3,322 Sh = 2,303 nat NOTE - 3 The decision content is independent of the probabilities of the occurrence of the events. NOTE - 4 The number of b-fold decisions needed to select a specific event out of a finite set of mutually exclusive events equals the smallest integer which is greater than of equal to the decision content defined with the logarithm of base b. This is applicable when b is an integer. Example: Let {a,b,c} be a set of three events. Its decision content is: H0= (lb 3) Sh= 1,580 Sh = (ln 3) nat= 1,098 nat = (lg 3) Hart= 0,477 Hart
16.03.02 infosisaldus Kindla tõenäosusega sündmuse toimumist puudutava informatsiooni kvalitatiivne mõõt, võrdub selle tõenäosuse pöördväärtuse logaritmiga, st matemaatilises väljenduses: I(x) = log 1/p(x) = -log p(x) kus p(x) on sündmuse x toimumise tõenäosus. MÄRKUS 1. Selle definitsiooni kohta kehtib artikli 16.01.03 märkus. MÄRKUS 2. Võrdtõenäoliste sündmuste hulga puhul võrdub iga sündmuse infosisaldus selle hulga otsusesisaldusega. Näide. Olgu {a,b,c} kolmest sündmusest koosnev hulk ning olgu nende sündmuste toimumise tõenäosused p(a) = 0,5, p(b) = 0,25 ja p(c) = 0,25. Nende sündmuste infosisaldused on: I(a) = lb (1/0,50) Sh = 1 Sh I(b) = lb (1/0,25) Sh = 2 Sh I(c) = lb (1/0,25) Sh = 2 Sh	16.03.02 information content A quantitative measure of information about the occurrence of an event of definite probability, equal to the logarithm of the reciprocal of this probability, that is in mathematical notation: I(x) = log 1/p(x) = -log p(x) where p(x) is the probability of the occurrence of the event x. NOTE - 1 Note 3 of 16.01.03 is applicable to this definition. NOTE - 2 For a set of equiprobable events, the information content of each event is equal to the decision content of the set. Example: Let {a,b,c} be a set of three events and let p(a) = 0,5, p(b) = 0,25 and p(c) = 0,25 be the probabilities of their occurrences. The information contents of these events are: I(a) = lb (1/0,50) Sh = 1 Sh I(b) = lb (1/0,25) Sh = 2 Sh I(c) = lb (1/0,25) Sh = 2 Sh
16.03.03 entroopia keskmine infosisaldus {negentroopia} Vastastikku välistuvate sündmuste lõplikku täielikku hulka kuuluvate sündmuste infosisalduse keskväärtus, st matemaatilises väljenduses: kus X = {x1 ... xn} on sündmuste xi (i = 1 ... n) hulk, I(xi) on sündmuste xi infosisaldused ja p(xi) on nende sündmuste toimumise tõenäosused, kusjuures Näide: Olgu X = {a,b,c} kolmest sündmusest koosnev hulk ning olgu nende sündmuste toimumise tõenäosused p(a) = 0,5, p(b) = 0,25 ja p(c) = 0,25. Selle hulga entroopia on: H(X) = p(a)I(a) + p(b)I(b) + p(c)I(c) = 1,5 Sh.	16.03.03 entropy average information content negentropy (deprecated) The mean value of the information content of the events in a finite set of mutually exclusive and jointly exhaustive events, that is in mathematical notation: where X = {x1 ... xn} is the set of events xi(i = 1 ... n), I(xj) are the information contents of the events xi; and p(xi) the probabilities of the occurrences of these events, subject to Example: Let X = {a,b,c} be a set of three events and let p(a) = 0,5, p(b) = 0,25 and p(c) = 0,25 be the probabilities of their occurrences. The entropy of this set is: H(X) = p(a)I(a) + p(b)I(b) + p(c)I(c) = 1,5 Sh
16.03.04 suhteline entroopia relatiivne entroopia Entroopia H ja otsusesisalduse H0 suhe Hr; matemaatilises väljenduses: Hr = H/H0 Näide: Olgu X = {a,b,c} kolmest sündmusest koosnev hulk ning olgu nende sündmuste toimumise tõenäosused p(a) = 0,5, p(b) = 0,25 ja p(c) = 0,25. Selle hulga suhteline entroopia on: Hr = 1,5 Sh/1,580 Sh = 0,95.	16.03.04 relative entropy The ratio Hr of the entropy H to the decision content H0; in mathematical notation: Hr = H/H0 Example: Let {a,b,c} be a set of three events and let p(a) = 0,5, p(b) = 0,25, and p(c) = 0,25 be the probabilities of their occurrences. The relative entropy of this set is: Hr = 1,5 Sh / 1,580 Sh = 0,95.
16.03.05 liiasus (infoteoorias) Kogus R, mille võrra otsusesisaldus H0 ületab entroopia H; matemaatilises väljenduses: R = H0 - H MÄRKUS. Tavaliselt saab sobivaid koode kasutades esitada sõnumeid väiksema arvu märkidega; liiasust võib pidada sobiva kodeerimisega saavutatava sõnumi keskmise pikkuse kahanemise piirmõõduks. Näide: Olgu X = {a,b,c} kolmest sündmusest koosnev hulk ning olgu nende sündmuste toimumise tõenäosused p(a) = 0,5, p(b) = 0,25 ja p(c) = 0,25. Selle hulga liiasus on: R = 1,58 Sh - 1,50 Sh = 0,08 Sh.	16.03.05 redundancy (in information theory) The amount R by which the decision content H0 exceeds the entropy H; in mathematical notation: R = H0 - H NOTE - Usually, messages can be represented with fewer characters by using suitable codes; the redundancy may be considered as a measure of the decrease of the average length of the messages accomplished by appropriate coding. Example: Let {a,b,c} be a set of three events and let p(a) = 0,5, p(b) = 0,25, and p(c) = 0,25 be the probabilities of their occurrences. The redundancy of this set is: R = 1,58 Sh - 1,50 Sh = 0,08 Sh.
16.04 Kvantitatiivsed tuletatud terminid	16.04 Derived quantitative terms
16.04.01 suhteline liiasus Liiasuse R ja otsusesisalduse H0 suhe r; matemaatilises väljenduses: r = R/H0. MÄRKUS. Suhteline liiasus on ühtlasi suhtelise entroopia Hr ühenitäiend: r = 1 - Hr.	16.04.01 relative redundancy The ratio r of the redundancy R to the decision content Ho; in mathematical notation: r = R/H0. NOTE - The relative redundancy is also equal to the complement to one of the relative entropy Hr: r = 1 - Hr.
16.04.02 tinglik infosisaldus Sündmuse x toimumist teise sündmuse y toimumisel puudutava informatsiooni kvantitatiivne mõõt, võrdub sündmuse x tingliku tõenäosuse p(x¦y) pöördväärtuse logaritmiga; matemaatilises väljenduses on see mõõt I(x¦y) = log (1/p(x¦y)). MÄRKUS. Tinglik infosisaldus on ühtlasi väärtus, mille võrra kahe sündmuse ühisinfosisaldus ületab teise sündmuse infosisalduse: I(x¦y) = I(x,y) - I(y).	16.04.02 conditional information content A quantitative measure of information about the occurrence of an event x given the occurrence of another event x given the occurrence of another event y, equal to the logarithm of the reciprocal of the conditional probability p(x¦y) of the event x given the event y, in mathematical notation, this measure is: I(x¦y) = log 1/p(x¦y) NOTE - The conditional information content is also the amount by which the joint information content of the two events exceeds the information content of the second: I(x¦y) = I(x,y) - I(y).
16.04.03 ühisinfosisaldus Kahe sündmuse x ja y toimumist puudutava informatsiooni kvantitatiivne mõõt, võrdub nende toimumise ühistõenäosuse p(x,y) pöördväärtuse logaritmiga: I(x,y) = log (1 / p(x,y)).	16.04.03 joint information content A quantitative measure of information about the occurrence of two events x and y, equal to the logarithm of the reciprocal of their joint probability of occurrence p(x,y): I(x,y) = log (1 / p(x,y))
16.04.04 tinglik entroopia keskmine tinglik infosisaldus Vastastikku välistuvate sündmuste lõplikku täielikku hulka kuuluvate sündmuste tingliku infosisalduse keskväärtus teise vastastikku välistuvate sündmuste lõplikku täielikku hulka kuuluvate sündmuste toimumisel; matemaatilises väljenduses on see mõõt kus X = {x1 ... xn} on sündmuste xi (i = 1 ... n) hulk, Y = {y1 ... ym} on sündmuste yj (1 ... m) hulk, I(xi¦yj) on xi tinglik infosisaldus yj puhul ning p(xi,yj) on mõlema sündmuste toimumise ühistõenäosus.	16.04.04 conditional entropy mean conditional information content average conditional information content The mean value of the conditional information content of the events in a finite set of mutually exclusive and jointly exhaustive events, given the occurrence of the events in another set of mutually exclusive and jointly exhaustive events; in mathematical notation, this measure is: where X = {x1 ... xn} is the set of events xi (i = 1 ... n), Y = {y1 ... ym} is the set of events yj = (1 ... m), I(xi¦yj) is the conditional information content of xi given yj, and p(xi,yj) the joint probability that both events occur.
16.04.05 määramatus Sõnumiallika teatava sõnumihulga tinglik entroopia teatava sõnumihulga korral sõnumineelus, mis on ühendatud sõnumiallikaga teatava kanali kaudu. MÄRKUS. Määramatus on keskmine lisainfosisaldus, mis tuleb iga sõnumi kohta anda sõnumineelu, et korrigeerida häiringulisest kanalist mõjutatud vastuvõetud sõnumeid.	16.04.05 equivocation The conditional entropy of a specific set of messages at a message source given a specific set of messages at a message sink which is connected to the message source by a specific channel. NOTE - The equivocation is the mean additional information content that must be supplied per message at the message sink to correct the received messages affected by a noisy channel.
16.04.06 irrelevantsus hajuvus Sõnumineelu teatava sõnumihulga tinglik entroopia teatava sõnumihulga korral sõnumiallikas, mis on ühendatud sõnumineeluga teatava kanali kaudu.	16.04.06 irrelevance prevarication spread The conditional entropy of a specific set of messages at a message sink given a specific set of messages at a message source connected to the message sink by a specific channel.
16.04.07 edastatav infosisaldus edastatav informatsioon vastastikune informatsioon Sündmuse x toimumisega kaasneva infosisalduse I(x) ja teise sündmuse y toimumisel sama sündmusega x kaasneva tingliku infosisalduse I(x¦y) vahe; matemaatilises väljenduses on see mõõt T(x,y) = I(x) - I(x¦y) MÄRKUS 1. Kaks sündmust x ja y on eriti sõnum mingi kanali * sõnumiallikas ja sõnum sama kanali sõnumineelus. MÄRKUS 2. Edastatava infosisalduse saab väljendada ka kujul T(x,y) = I(x) + I(y) - I(x¦y), kus I(y) on sündmuse y infosisaldus. Siit järeldub ta sümmeetria x ja y suhtes: T(x,y) = T(y,x).	16.04.07 transinformation content transferred information transmitted information mutual information The difference between the information content I(x) conveyed by the occurrence of an event x, and the conditional information content I(x¦y) conveyed by the occurrence of the same event, given the occurrence of another event y; in mathematical notation, this measure is: T(x,y) = I(x) - I(x¦y). NOTE - 1 The two events x and y are particularly a message at the message source of a channel and a message at the message sink of the channel. NOTE - 2 The transinformation content can also be expressed as: T(x,y) = I(x) + I(y) - I(x¦y) where I(y) is the information content of the event y. From this follows that it is symmetric in x and y. T(x,y) = T(y,x).
16.04.08 keskmine edastatav infosisaldus Kahe sündmuse edastatava infosisalduse keskväärtus eeldusel, et kumbki sündmus kuulub ühte kahest lõplikust ja täielikust vastastikku välistuvate sündmuste hulgast; matemaatilises väljenduses on see mõõt kus X = {x1 ... xn} on sündmuste xi(i = 1 ... n) hulk, Y = {y1 ... ym} on sündmuste yj(1 ... m) hulk, T(xi, yj) on xj ja yj edastatav infosisaldus ning p(xi,yj) on mõlema sündmuse toimumise ühistõenäosus. MÄRKUS 1. Keskmine edastatav infosisaldus on sümmeetriline X ja Y suhtes. Ühtlasi võrdub ta ühe hulga entroopia ja selle hulga teise hulga suhtes tingliku entroopia vahega: T(X,Y) = H(X) - H(X¦Y) = H(Y) - H(Y¦X) = T(Y,X) MÄRKUS 2. Keskmine edastatav infosisaldus on kanali kaudu edastatava informatsiooni mõõt, kusjuures X on teatav sõnumihulk sõnumiallikas ja Y on teatav sõnumihulk sõnumineelus. Ta võrdub sõnumiallika entroopia ja määramatuse vahega või sõnumineelu entroopia ja irrelevantsuse vahega.	16.04.08 mean transinformation content average transinformation content The mean value of the transinformation content of two events, each in one of two finite sets of mutually exclusive and jointly exhaustive events; in mathematical notation, this measure is: where X = {x1 ... xn} is the set of events xi(i = 1 ... n), Y = {y1 ... ym} is the set of events yj = (1 ... m), T(xi,yj) is the transinformation content of xi and yj, and p(xi, yj) the joint probability that both events occur. NOTE - 1 The mean transinformation content is symmetric in X and Y. It is also equal to the difference between the entropy of one of the two sets of events and the conditional entropy of this set relative to the other. T(X,Y) = H(X) - H(X¦Y) = H(Y) - H(Y¦X) = T(Y,X) NOTE - 2 The mean transinformation content is a quantitative measure of information transmitted through a channel, when X is a specific set of messages at the message source and Y is a specific set of messages at the message sink. It is equal to the difference between the entropy at the message source and the equivocation, or the difference between the entropy at the message sink and the irrelevance.
16.04.09 märgi keskmine entroopia märgi keskmine infosisaldus Kõigi statsionaarsest sõnumiallikast lähtuvate võimalike sõnumite keskmine entroopia ühe märgi kohta, matemaatiliselt määratletuna piirprotsessiga: kus Hm on kõigi allikast lähtuvate m-märgiliste jadade hulga entroopia. MÄRKUS 1. Märgi keskmist entroopiat võib väljendada näiteks šannonites märgi kohta. MÄRKUS 2. Kui allikas pole statsionaarne, ei tarvitse piirväärtus eksisteerida.	16.04.09 character mean entropy character mean information content character average information content character information rate The mean per character of the entropy for all possible messages from a stationary message source, defined in mathematical notation by the limit: where Hm is the entropy of the set of all sequences of m characters from the source. NOTE - 1 The character mean entropy may be expressed in a unit such as the shannon per character. NOTE - 2 The limit may not exist if the source is not stationary.
16.04.10 (keskmine) infoedastuskiirus Märgi keskmise entroopia H' ja märgi keskmise kestuse jagatis; matemaatilises väljenduses: H* = H' / t(X), kus X = {x1 ... xn} on märkide xi (i=1 ... n) hulk ja on märgi xi (mis esineb tõenäosusega p(xi)) kestuse t(xi) keskväärtus. MÄRKUS. Keskmist infokiirust võib väljendada näiteks šannonitena sekundis.	16.04.10 (average) information rate The quotient of the character mean entropy H' by the mean duration of a character, in mathematical notation, this quantity is H* = H' / t(X) where X = {x1 ... xn} is the set of characters xi (i=1 ... n), and is the mean value of the duration t(xi) of a character xi which occurs with probability p(xi). NOTE - The average information rate may be expressed in a unit such as the shannon per second.
16.04.11 märgi keskmine edastatav infosisaldus Kõigi statsionaarsest sõnumiallikast lähtuvate võimalike sõnumite * keskmine edastatav infosisaldus keskmiselt ühe märgi kohta, matemaatiliselt määratletuna piirprotsessiga: kus Tm on kõigi m-märgiliste üksteisele vastavate sisend- ja väljundjadade paaride keskmine edastatav infosisaldus. MÄRKUS. Märgi keskmist edastatavat infosisaldust võib väljendada näiteks šannonites märgi kohta.	16.04.11 character mean transinformation content The mean per character of the mean transinformation content for all possible messages from a stationary message source, defined in mathematical notation by the limit: where Tm is the mean transinformation content for all pairs of corresponding input and output sequences of m characters each. NOTE - The character mean transinformation content may be expressed in a unit such as the shannon per character.
16.04.12 keskmine vastastikuse informatsiooni edastuskiirus Märgi keskmise edastatava infosisalduse T' ning sisend- ja väljundmärgipaaride keskmise kestuse jagatis; matemaatilises väljenduses: T* = T' / t(X,Y), kus X = {x1 ... xn} on sisendmärkide xi (i = 1 ... n) hulk, Y = {y1 ... ym} on väljundmärkide yj (j = 1 ... m) hulk ja on ühistõenäosusega p(xi,yj) esineva märgipaari (xi,yj) kestuse t(xi,yj) keskväärtus. MÄRKUS. Keskmist edastatava informatsiooni kiirust võib väljendada näiteks šannonitena sekundis.	16.04.12 average transinformation rate The quotient of the character mean transinformation content T' by the mean duration of a pair of input and output characters; in mathematical notation, this quantity is: T* = T' / t(X,Y) where X = {x1 ... xn} is the set of input characters xi (i=1 ... n), Y = {y1 ... ym} is the set of output characters yj = (1 ... m), and is the mean value of the duration t(xi, yj) of the pair of characters (xi, yj) which occurs with joint probability p(xi, yj). NOTE - The average transinformation rate may be expressed in a unit such as the shannon per second.
16.04.13 kanali läbilaskevõime kanali läbitusvõime Spetsiifiliste kitsendustega toimiva kanali edastusvõime mõõt sõnumite edastusel mingist piiritletud sõnumiallikast, väljendatuna maksimaalse märgi keskmise edastatava infosisaldusena ajaühikus või maksimaalse võimaliku keskmise vastastikuse informatsiooni edastuskiirusena, mille võib sobiva koodi kasutamisel saavutada suvalise väikese vigade tõenäosusega.	16.04.13 channel capacity The measure of the ability of a given channel subject to specific constraints to transmit messages from a specified message source expressed either as the maximum possible character mean transinformation content or as the maximum possible average transinformation rate, which can be achieved with an arbitrary small probability of errors by use of an appropriate code.