Dywergencja Kullbacka-Leiblera


Dywergencja Kullbacka-Leiblera w encyklopedii

Z Wikipedii, wolnej encyklopedii To jest najnowsza wersja przejrzana, która została oznaczona 16 maj 2019. Od tego czasu wykonano 1 zmianę, która oczekuje na przejrzenie. Przejdź do nawigacji Przejdź do wyszukiwania

Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa p {\displaystyle p} i q . {\displaystyle q.} Czasem zwana jest też odległością Kullbacka-Leiblera, nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ( d K L ( p , q ) d K L ( q , p ) ) {\displaystyle (d_{KL}(p,q)\neq d_{KL}(q,p))} ani nie spełnia nierówności trójkąta[1][2].

Spis treści

Definicja | edytuj kod

Dywergencja Kullbacka-Leiblera dana jest wzorem[1][2]:

d K L ( p , q ) = i p ( i ) log 2 p ( i ) q ( i ) , {\displaystyle d_{KL}(p,q)=\sum _{i}p(i)\log _{2}{\frac {p(i)}{q(i)}},}

dla rozkładów dyskretnych, oraz

d K L ( p , q ) = p ( x ) log 2 p ( x ) q ( x ) d x , {\displaystyle d_{KL}(p,q)=\int \limits _{-\infty }^{\infty }p(x)\log _{2}{\frac {p(x)}{q(x)}}\;dx,}

dla rozkładów ciągłych. Dla przykładu, w typowym zastosowaniu p {\displaystyle p} reprezentuje dane rzeczywiste, zaś q {\displaystyle q} teoretyczny model.

Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne. d K L {\displaystyle d_{KL}} jest jedyną wartością tego typu charakteryzującą się pewnymi użytecznymi właściwościami charakteryzującymi miary entropii (m.in. jest ciągła i addytywna)[3][4].

Oryginalna propozycja | edytuj kod

Dywergencja K-L została przedstawiona przez S. Kullbacka i R.A. Leiblera w pracy z 1951[5], i w podręczniku z 1959; skupiali się oni na poniższej symetrycznej postaci[6]:

d K L ( p , q ) + d K L ( q , p ) . {\displaystyle d_{KL}(p,q)+d_{KL}(q,p).}

Jak zwraca uwagę Kullback, podobną wartość wykorzystywało wcześniej m.in. małżeństwo Jeffreys[7]. W 1987 zadeklarował, że spośród dziewięciu stosowanych wówczas dla tego wskaźnika nazw osobiście preferuje termin ang. discrimination information[8].

Uogólnienia i związki | edytuj kod

Dywergencja Kullbacka-Leiblera jest przypadkiem dywergencji Bregmana i f {\displaystyle f} -dywergencji[9]. Informacja wzajemna to dywergencja ze wspólnego rozkładu do produktu rozkładów[10][11]:

I ( X ; Y ) = d KL ( P ( X , Y ) P ( X ) P ( Y ) ) = E X { d KL ( P ( Y X ) P ( Y ) ) } = E Y { d KL ( P ( X Y ) P ( X ) ) } . {\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=d_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))\\&=\operatorname {E} _{X}\{d_{\text{KL}}(P(Y\mid X)\parallel P(Y))\}\\&=\operatorname {E} _{Y}\{d_{\text{KL}}(P(X\mid Y)\parallel P(X))\}.\end{aligned}}}

Interpretacja i zastosowania | edytuj kod

Dywergencja K-L może być rozumiana jako generalizacja entropii Shannona[3], oraz negatywna postać uogólnionej entropii Boltzmanna[12]. Może reprezentować na przykład zmianę (przyrost lub stratę) lub różnicę (niedobór lub nadmiar) informacji pomiędzy dwoma rozkładami.

Jej minimalizacja jest stosowana na przykład przy wyborze optymalnych modeli statystycznych oraz systemów kodowania.

Choć d k l {\displaystyle d_{kl}} nie jest pseudoodległością, jej hesjan wyznacza tensor metryczny określany jako miara informacji Fishera.

Kryteria informacyjne | edytuj kod

Wybór modeli statystycznych w oparciu o d K L {\displaystyle d_{KL}} pozwalają zrealizować tzw. kryteria informacyjne. Akaike zauważył, że pomimo iż w praktyce hipotetyczny prawdziwy model jest nieznany i niedostępny jako odniesienie, to wyraża się jako nieokreślona stała, co nadal pozwala na dokonanie optymalizacji[12][13]:

d K L ( p ? , q ) = const E f l o g ( q | x ) . {\displaystyle d_{KL}(p_{?},q)={\text{const}}-E_{f}[log(q|x)].}

Po przekształceniach i uwzględnieniu poprawki na obciążenie oszacowania, wartością asymptotycznie minimalizującą oczekiwane d K L {\displaystyle d_{KL}} (maksymalizującą relatywną entropię) i pozwalającą na porównywanie alternatywnych modeli jest tzw. kryterium informacyjne Akaikego:

AIC = 2 ln ( L ( θ | x ) + 2 K , {\displaystyle {\text{AIC}}=-2\ln(L(\theta |x)+2K,}

gdzie L {\displaystyle L} to funkcja wiarygodności, a K {\displaystyle K} to liczba estymowanych parametrów modelu. W intuicji oferowanej przez Bozdogana, pierwszy wyraz wzoru odpowiada oczekiwanemu niedopasowaniu modelu badawczego do danych spoza próby, i do prawdziwego modelu, a drugi złożoności, przekładającej się na nadmierne dopasowanie do próby[12]. Wybór modelu wiąże się bowiem w praktyce z balansowaniem między tymi problemami (z kompromisem między obciążeniem a wariancją)[14].

W późniejszej literaturze przedstawiono kolejne propozycje kryteriów informacyjnych, opartych o tę samą zasadę, z dodatkowymi doprecyzowaniami, na przykład kryterium Schwarza lub Watanabe-Akaikego[12][15].

Przypisy | edytuj kod

  1. a b David John CameronD.J.C. MacKay David John CameronD.J.C., Information theory, inference, and learning algorithms, Cambridge, UK: Cambridge University Press, 2003, s. 34, ISBN 0-521-64298-1, OCLC 52377690 [dostęp 2019-04-04] .
  2. a b Christopher MichaelCh.M. Bishop Christopher MichaelCh.M., Pattern recognition and machine learning, New York: Springer, 2006, s. 55, ISBN 0-387-31073-8, OCLC 71008143 [dostęp 2019-04-04] .
  3. a b ArthurA. Hobson ArthurA., Bin-KangB.K. Cheng Bin-KangB.K., A comparison of the Shannon and Kullback information measures, „Journal of Statistical Physics”, 7 (4), 1973, s. 301–310, DOI10.1007/BF01014906, ISSN 0022-4715 [dostęp 2019-04-04]  (ang.).
  4. ImreI. Csiszar ImreI., Why Least Squares and Maximum Entropy? An Axiomatic Approach to Inference for Linear Inverse Problems, „The Annals of Statistics”, 19 (4), 1991, s. 2032–2066, ISSN 0090-5364, JSTOR2241918 [dostęp 2019-04-04] .
  5. S.S. Kullback S.S., R.A.R.A. Leibler R.A.R.A., On Information and Sufficiency, „The Annals of Mathematical Statistics”, 22 (1), 1951, s. 79–86, DOI10.1214/aoms/1177729694, ISSN 0003-4851 [dostęp 2019-04-04]  (ang.).
  6. SolomonS. Kullback SolomonS., Information theory and statistics, Gloucester, Mass.: Peter Smith, 1959, s. 6, 22, ISBN 0-8446-5625-9, OCLC 4140346 [dostęp 2019-04-04] .
  7. HaroldH. Jeffreys HaroldH., Bertha SwirlesB.S. Jeffreys Bertha SwirlesB.S., Methods of Mathematical Physics (3rd.ed.), Cambridge University Press, 1956 [dostęp 2019-04-04] .
  8. Letters to the Editor, „The American Statistician”, 41 (4), 1987, s. 338–341, DOI10.1080/00031305.1987.10475510, ISSN 0003-1305 [dostęp 2019-04-04]  (ang.).
  9. A.A. Cichocki A.A., S.S. Amari S.S., Information geometry of divergence functions, „Bulletin of the Polish Academy of Sciences. Technical Sciences”, 58 (nr 1), 2010, s. 183–195, ISSN 0239-7528 [dostęp 2019-04-04]  (ang.).
  10. XiaocongX. Xu XiaocongX. i inni, Multimodal registration of remotely sensed images based on Jeffrey’s divergence, „ISPRS Journal of Photogrammetry and Remote Sensing”, 122, 2016, s. 97–115, DOI10.1016/j.isprsjprs.2016.10.005 [dostęp 2019-04-04]  (ang.).
  11. NicolasN. Veyrat-Charvillon NicolasN., François-XavierF.X. Standaert François-XavierF.X., Mutual Information Analysis: How, When and Why? ChristopheCh. Clavier, KrisK. Gaj (red.), t. 5747, Berlin, Heidelberg: Springer Berlin Heidelberg, 2009, s. 429–443, DOI10.1007/978-3-642-04138-9_30, ISBN 978-3-642-04137-2 [dostęp 2019-04-04] .
  12. a b c d HamparsumH. Bozdogan HamparsumH., Model selection and Akaike’s Information Criterion (AIC): The general theory and its analytical extensions, „Psychometrika”, 52 (3), 1987, s. 345–370, DOI10.1007/BF02294361, ISSN 0033-3123 [dostęp 2019-04-04]  (ang.).
  13. HirotoguH. Akaike HirotoguH., Information Theory and an Extension of the Maximum Likelihood Principle, EmanuelE. Parzen, KunioK. Tanabe, GenshiroG. Kitagawa (red.), New York, NY: Springer New York, 1998, s. 199–213, DOI10.1007/978-1-4612-1694-0_15, ISBN 978-1-4612-7248-9 [dostęp 2019-04-04] .
  14. Scott I.S.I. Vrieze Scott I.S.I., Model selection and psychological theory: A discussion of the differences between the Akaike information criterion (AIC) and the Bayesian information criterion (BIC)., „Psychological Methods”, 17 (2), 2012, s. 228–243, DOI10.1037/a0027127, ISSN 1939-1463, PMID22309957, PMCIDPMC3366160 [dostęp 2019-04-04]  (ang.).
  15. SumioS. Watanabe SumioS., Asymptotic Equivalence of Bayes Cross Validation and Widely Applicable Information Criterion in Singular Learning Theory, „arXiv:1004.2316 [cs]”, 14 kwietnia 2010, arXiv:1004.2316 [dostęp 2019-04-04] .
Na podstawie artykułu: "Dywergencja Kullbacka-Leiblera" pochodzącego z Wikipedii
OryginałEdytujHistoria i autorzy