Bootstrap (statystyka)


Bootstrap (statystyka) w encyklopedii

Z Wikipedii, wolnej encyklopedii Przejdź do nawigacji Przejdź do wyszukiwania

Bootstrap[1] (pol. metody samowsporne) – wprowadzone przez Bradleya Efrona metody szacowania rozkładu błędów estymacji, za pomocą wielokrotnego losowania ze zwracaniem z próby. Są przydatne szczególnie, gdy nie jest znana postać rozkładu zmiennej w populacji. Ponieważ bootstrap w podstawowej wersji nie czyni założeń co do rozkładu w populacji, może być zaliczony do metod nieparametrycznych.

Spis treści

Próba bootstrap | edytuj kod

Próbą bootstrap (lub próbą typu bootstrap) nazywamy n {\displaystyle n} -elementową próbę losową X {\displaystyle \mathbf {X} ^{*}} z rozkładu pewnej ustalonej n {\displaystyle n} -elementowej próby X = ( x 1 , x 2 , , x n ) {\displaystyle \mathbf {X} =(x_{1},x_{2},\dots ,x_{n})} z populacji Ω . {\displaystyle \Omega .}

Innymi słowy jest to próba powstała przez losowanie ze zwracaniem n {\displaystyle n} elementów z X . {\displaystyle \mathbf {X} .}

Zasada bootstrap | edytuj kod

Niech T {\displaystyle T} będzie pewną statystyką, dającą się przedstawić jako funkcja dystrybuanty:

θ = T ( F ) {\displaystyle \theta =T(F)}

i w przypadku zastosowania do rozkładu empirycznego jej wynikiem jest estymator θ ^ : {\displaystyle {\widehat {\theta }}{:}}

θ ^ = T ( F ^ ) . {\displaystyle {\widehat {\theta }}=T({\widehat {F}}).}

Warunki te spełnia szeroka klasa statystyk.

Zasada bootstrap mówi, że rozkład statystyki

T ( F ( X ) ) T ( F ( X ) ) , {\displaystyle T(F(\mathbf {X} ^{*}))-T(F(\mathbf {X} )),}

przy ustalonej realizacji X , {\displaystyle X,} jest bliski rozkładowi statystyki

T ( F ( X ) ) T ( F ( Ω ) ) , {\displaystyle T(F(\mathbf {X} ))-T(F(\Omega )),}

czyli rozkładowi błędów estymacji parametru θ {\displaystyle \theta } w populacji.

Metoda bootstrap | edytuj kod

Zgodnie z zasadą bootstrap w celu oszacowania rozkładu błędów estymacji, należy:

  1. wielokrotnie ( k {\displaystyle k} razy) wylosować niezależne próby losowe bootstrap X 1 , X 2 , , X k {\displaystyle \mathbf {X} _{1}^{*},\mathbf {X} _{2}^{*},\dots ,\mathbf {X} _{k}^{*}} na podstawie jednej realizacji X . {\displaystyle \mathbf {X} .}
  2. obliczyć dla nich wartości: θ ^ 1 = T ( F ( X 1 ) ) θ ^ , {\displaystyle {\widehat {\theta }}_{1}^{*}=T(F(\mathbf {X} _{1}^{*}))-{\widehat {\theta }},} θ ^ 2 = T ( F ( X 2 ) ) θ ^ , {\displaystyle {\widehat {\theta }}_{2}^{*}=T(F(\mathbf {X} _{2}^{*}))-{\widehat {\theta }},} , {\displaystyle \dots ,} θ ^ k = T ( F ( X k ) ) θ ^ . {\displaystyle {\widehat {\theta }}_{k}^{*}=T(F(\mathbf {X} _{k}^{*}))-{\widehat {\theta }}.}

Otrzymany rozkład ( θ ^ 1 , θ ^ 2 , , θ ^ k ) {\displaystyle ({\widehat {\theta }}_{1}^{*},{\widehat {\theta }}_{2}^{*},\dots ,{\widehat {\theta }}_{k}^{*})} jest przybliżeniem rozkładu błędów estymacji za pomocą statystyki T {\displaystyle T} zastosowanej do próby n {\displaystyle n} -elementowej parametru θ {\displaystyle \theta } w populacji.

Liczba k {\displaystyle k} powinna być możliwie duża (im większa tym dokładniejsze oszacowanie). W literaturze podawane są coraz większe liczby, w miarę jak rosną możliwości obliczeniowe komputerów.

Błąd standardowy typu bootstrap | edytuj kod

Histogram uzyskanego rozkładu błędów można przedstawić na wykresie. Można też obliczyć dla niego rozmaite dalsze statystyki, takie jak błąd standardowy:

SE θ ^ = 1 k 1 i = 1 k ( θ ^ i θ ¯ ) 2 , {\displaystyle \operatorname {SE} _{{\widehat {\theta }}^{*}}={\sqrt {{\frac {1}{k-1}}\sum \limits _{i=1}^{k}({\widehat {\theta }}_{i}^{*}-{\overline {\theta ^{*}}})^{2}}},}

gdzie:

θ ¯ = i = 1 k θ ^ i k . {\displaystyle {\overline {\theta ^{*}}}={\frac {\sum \limits _{i=1}^{k}{\widehat {\theta }}_{i}^{*}}{k}}.}

Przedziały ufności typu bootstrap | edytuj kod

Najprostszą metodą stworzenia przedziału ufności estymatora za pomocą rozkładu θ ^ {\displaystyle {\widehat {\theta }}^{*}} jest przybliżenie go rozkładem normalnym. Jest to metoda bardzo prosta, poszukiwany przedział ma postać:

( θ ^ z 1 α 2 SE θ ^ ,     θ ^ + z 1 α 2 SE θ ^ ) . {\displaystyle \left({\widehat {\theta }}-z_{1-{\tfrac {\alpha }{2}}}\operatorname {SE} _{{\widehat {\theta }}^{*}},\ \ {\widehat {\theta }}+z_{1-{\tfrac {\alpha }{2}}}\operatorname {SE} _{{\widehat {\theta }}^{*}}\right).}

Metoda ta nie zawsze daje się jednak zastosować, gdyż często błąd nie ma rozkładu normalnego. Wymaga ona zatem sprawdzenia normalności rozkładu i arbitralnej decyzji, czy jest on wystarczająco normalny.

Alternatywną metodą jest percentylowy przedział ufności typu bootstrap, który może być stosowany przy dowolnej postaci rozkładu błędów:

( θ ^ q 1 α 2 ,     θ ^ + q 1 α 2 ) , {\displaystyle \left({\widehat {\theta }}-q_{1-{\tfrac {\alpha }{2}}}^{*},\ \ {\widehat {\theta }}+q_{1-{\tfrac {\alpha }{2}}}^{*}\right),}

gdzie q α {\displaystyle q_{\alpha }^{*}} to kwantyl rzędu α {\displaystyle \alpha } z rozkładu θ ^ θ ^ . {\displaystyle {\widehat {\theta }}^{*}-{\widehat {\theta }}.}

Jeszcze inna metoda postuluje najpierw wykonanie studentyzacji rozkładu przed wyliczeniem przedziału percentylowego. To, która metoda daje najdokładniejsze wyniki, zależy od typu rozkładu w populacji (w szczególności obecności obserwacji odstających) oraz założonej metody oceny dokładności.

Testowanie hipotez metodą bootstrap | edytuj kod

Metoda bootstrap jest też używana do weryfikacji hipotez statystycznych, o ile da się tę weryfikację sprowadzić do badania błędu estymacji za pomocą statystyki spełniającej warunki bootstrapu.

Na przykład gdy hipotezą zerową jest wartość oczekiwana w populacji μ = 10 , {\displaystyle \mu =10,} a w próbie uzyskaliśmy średnią X ¯ = 9 , 23 , {\displaystyle {\overline {\mathbf {X} }}=9{,}23,} wówczas wartość p {\displaystyle p} jest prawdopodobieństwem, że średnia z próby będzie się różniła od średniej w populacji o co najmniej 10 9 , 23 = 0 , 77. {\displaystyle 10-9{,}23=0{,}77.} Prawdopodobieństwo to można oszacować, losując próby bootstrap z X {\displaystyle \mathbf {X} } i sprawdzając w jakim odsetku losowań średnia wykracza poza przedział ( 9 , 23 0 , 77 ,   9 , 23 + 0 , 77 ) . {\displaystyle (9{,}23-0{,}77,\ 9{,}23+0{,}77).}

Odmiany metody | edytuj kod

Istnieje wiele odmian bootstrapu. W jednej z nich próby bootstrap nie są losowane bezpośrednio z próby X , {\displaystyle \mathbf {X} ,} lecz z rozkładu podobnego do rozkładu X , {\displaystyle \mathbf {X} ,} z wygładzoną dystrybuantą.

Istnieją też bardziej skomplikowane procedury bootstrapu dla próbkowania bez zwracania, problemów obejmujących dwie próby, regresji, szeregów czasowych, próbkowania hierarchicznego i innych problemów statystycznych.

Odmiana bootstrapu zwana bagging jest stosowana przy konstruowaniu modeli klasyfikacyjnych i regresyjnych, ograniczając zjawisko przeuczenia (Breiman 1984).

Przypisy | edytuj kod

  1. Etymologia w artykule bootstrap.

Bibliografia | edytuj kod

  • Jacek Koronacki, Jan Mielniczuk: Statystyka dla studentów kierunków technicznych i przyrodniczych. Warszawa: WNT, 2001, s. 445–454. ISBN 83-204-2684-7.
  • Bradley Efron: The jackknife, the bootstrap, and other resampling plans. Philadelphia: Pa. Society for Industrial and Applied Mathematics, 1982.
  • L. Breiman, J.H. Friedman, R.A. Olshen, C.J. Stone: Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software, 1984.

Linki zewnętrzne | edytuj kod

Kontrola autorytatywna (metoda):
Na podstawie artykułu: "Bootstrap (statystyka)" pochodzącego z Wikipedii
OryginałEdytujHistoria i autorzy