Pitanje:
Primjeri gdje metoda momenata može pobijediti najveću vjerojatnost u malim uzorcima?
Glen_b
2013-12-23 05:30:08 UTC
view on stackexchange narkive permalink

Procjenitelji najveće vjerojatnosti (MLE) asimptotički su učinkoviti; praktični ishod vidimo u tome što oni često rade bolje od procjena trenutka (MoM) (kada se razlikuju), čak i pri malim veličinama uzorka.

Ovdje "bolje od" znači u smislu da obično imaju manje varijance kada su obje nepristrane, a općenito obično manja pogreška srednjeg kvadrata (MSE).

Međutim, pojavljuje se pitanje:

Postoje li slučajevi u kojima MoM može pobijediti MLE - na MSE , recimo - u malim uzorcima?

(gdje to nije neka čudna / degenerirana situacija - tj. s obzirom na to da uvjeti za postojanje ML / moraju biti asimptotski učinkoviti) / p>

Sljedeće pitanje tada bi bilo "koliko velik može biti mali?" - to jest, ako postoje primjeri, postoje li neki koji još uvijek imaju relativno velike uzorke, možda čak i sve konačne veličine uzorka?

[Mogu pronaći primjer pristranog procjenitelja koji može pobijediti ML u konačnim uzorcima, ali to nije MoM.]


Napomena dodana retrospektivno: moj fokus ovdje je prvenstveno na univarijantnom slučaju (odakle zapravo dolazi moja temeljna znatiželja). Ne želim isključiti multivarijantne slučajeve, ali također ne želim posebno zalutati u proširene rasprave o James-Steinovoj procjeni.

Nema problema; to se događa svima nama, a i meni češće nego vama. Vjerojatno sam to trebao staviti točno u naslov, ali to je već bilo prilično dugo.
@cardinal Sad sam pojasnio kriterije.
Postoje i drugi načini na koje metoda trenutka može "pobijediti" maksimalnu vjerojatnost. Na primjer, u problemima normalne procjene smjese MLE je notorno teško izračunati, dok MoM nije.
@vqv Svakako je to smisao u kojem MoM može biti poželjniji.
Budući da imam tendenciju suosjećati s plebejcima, obavještavam da je u uzorku i.i.d. Uniformira $ U (0, \ theta) $, MoM procjenitelj za $ \ theta $ ima isti MSE s patricijom (MLE) ako je veličina uzorka $ 1 $, ili $ 2 $ ... Ali, nažalost, za veće veličine uzorka , patricij ponovno tvrdi svoj suverenitet ...
Ne razumijem dobro metodu trenutaka;može li uključiti ponderiranu procjenu najmanjih kvadrata?Ako je tako (pogotovo ako se dijagonalno ponderirani najmanji kvadratići računaju kao MoM), mogao bih imati drugi odgovor za vas :)
@NickStauner Metoda momenata sastoji se od procjene skupa parametara izjednačavanjem uzoraka trenutaka niskog reda s odgovarajućim momentima populacije.
u redu;to zvuči više-manje poput onoga što bih očekivao.Čitao sam da se WLS temelji na trenucima 4. reda, ali pretpostavljam da ga moram još proučiti.(Ubrzo ću ipak objaviti sim studiju koja će je uspoređivati s ML za SEM!)
Pogledajte [ovaj slučaj] (http://stats.stackexchange.com/a/121080/805).Možda bi vrijedilo proširiti tu poveznicu u neki oblik odgovora i ovdje.
Osam odgovori:
Alecos Papadopoulos
2013-12-23 09:57:55 UTC
view on stackexchange narkive permalink

To se može smatrati ... varanjem, ali OLS procjenjivač je MoM procjenitelj. Razmotrimo standardnu ​​specifikaciju linearne regresije (sa stohastičkim regresorima $ K $, pa su veličine uvjetovane matricom regresora) i uzorak veličine $ n $. Označi $ s ^ 2 $ OLS procjeniteljem varijance $ \ sigma ^ 2 $ pojma pogreške. Nepristran je pa

$$ MSE (s ^ 2) = \ operatorname {Var} (s ^ 2) = \ frac {2 \ sigma ^ 4} {nK} $$

Razmotrimo sada MLE od $ \ sigma ^ 2 $. To je

$$ \ hat \ sigma ^ 2_ {ML} = \ frac {n-K} {n} s ^ 2 $$ Je li pristrano. Njegov MSE je

$$ MSE (\ hat \ sigma ^ 2_ {ML}) = \ operatorname {Var} (\ hat \ sigma ^ 2_ {ML}) + \ Big [E (\ hat \ sigma ^ 2_ {ML}) - \ sigma ^ 2 \ Big] ^ 2 $$ Izražavanjem MLE-a u smislu OLS-a i upotrebom izraza za varijansu procjenitelja OLS-a dobivamo

$$ MSE (\ šešir \ sigma ^ 2_ {ML}) = \ lijevo (\ frac {nK} {n} \ desno) ^ 2 \ frac {2 \ sigma ^ 4} {nK} + \ lijevo (\ frac {K} {n} \ desno) ^ 2 \ sigma ^ 4 $$$$ \ Rightarrow MSE (\ hat \ sigma ^ 2_ {ML}) = \ frac {2 (nK) + K ^ 2} {n ^ 2} \ sigma ^ 4 $ $

Želimo uvjete (ako postoje) pod kojima

$$ MSE (\ hat \ sigma ^ 2_ {ML}) > MSE ( s ^ 2) \ Rightarrow \ frac {2 (nK) + K ^ 2} {n ^ 2} > \ frac {2} {nK} $$

$$ \ Rightarrow 2 (nK) ^ 2 + K ^ 2 (nK) > 2n ^ 2 $$$$ 2n ^ 2 -4nK + 2K ^ 2 + nK ^ 2 - K ^ 3 > 2n ^ 2 $$ Pojednostavljenjem dobivamo $$ -4n + 2K + nK - K ^ 2 > 0 \ Rightarrow K ^ 2 - (n + 2) K + 4n < 0 $$ Je li moguće da ovaj kvadrat u $ K $ dobije negativne vrijednosti? Njezin diskriminant nam treba biti pozitivan. Imamo $$ \ Delta_K = (n + 2) ^ 2 -16n = n ^ 2 + 4n + 4 - 16n = n ^ 2 -12n + 4 $$, što je još jedan kvadrat, ovog puta u $ n $. Ovaj diskriminant je $$ \ Delta_n = 12 ^ 2 - 4 ^ 2 = 8 \ cdot 16 $$ pa $$ n_1, n_2 = \ frac {12 \ pm \ sqrt {8 \ cdot 16}} {2} = 6 \ pm 4 \ sqrt2 \ Rightarrow n_1, n_2 = \ {1, 12 \} $$ uzeti u obzir činjenicu da je $ n $ cijeli broj. Ako je $ n $ unutar ovog intervala, imamo $ \ Delta_K <0 $, a kvadrat u $ K $ uvijek uzima pozitivne vrijednosti, tako da ne možemo dobiti traženu nejednakost. Dakle: treba nam veličina uzorka veća od 12.

S obzirom na to korijeni za $ K $ -kvadratni su

$$ K_1, K_2 = \ frac {(n + 2) \ pm \ sqrt {n ^ 2 -12n + 4}} {2} = \ frac n2 +1 \ pm \ sqrt {\ lijevo (\ frac n2 \ desno) ^ 2 +1 -3n } $$

Sveukupno: za veličinu uzorka $ n>12 $ i broj regresora $ K $ tako da $ \ lceil K_1 \ rceil <K< \ lfloor K_2 \ rfloor $ imamo $ $ MSE (\ hat \ sigma ^ 2_ {ML}) > MSE (s ^ 2) $$ Na primjer, ako je $ n = 50 $, tada se utvrdi da broj regresora mora biti $ 5<K<47 $ da bi nejednakost ostala. Zanimljivo je da je za mali broj regresora MLE bolji u MSE smislu.

DODATAK
Jednadžba za korijene $ K $ -kvadrata može se napisati

$$ K_1, K_2 = \ lijevo (\ frac n2 +1 \ desno) \ pm \ sqrt {\ lijevo (\ frac n2 +1 \ desno) ^ 2 -4n} $$ koje brzi pogled mislim podrazumijeva da će donji korijen uvijek biti 5 USD (uzimajući u obzir ograničenje "cjelobrojne vrijednosti") - pa će MLE biti MSE učinkovit kada regresori do 5 USD za bilo koji (konačna) veličina uzorka.

+1 u svakom slučaju (Hmm. Je li OLS $ s ^ 2 $ zapravo MoM?) Ovo je zanimljiv način da se ispune uvjeti. (Zapravo sam ga htio ograničiti na jednoznačni slučaj kako bih izbjegao argumente poput James-Steinovih procjenitelja, ali s druge strane ne želim retrospektivno mijenjati pitanje kada je ovo možda legitiman odgovor na postavljeno.)
Pa, teoretski uvjet trenutka koji dolazi sa specifikacijom je $ E (u'u \ mid X) = \ sigma ^ 2 $. U mjeri u kojoj koristimo analogni primjer $ E (u'u \ mid X) $ kao procjenitelj za $ \ sigma ^ 2 $, rekao bih da jest.
@AlecosPapadopoulos "Analog uzorka", tvrdio bih, uzeo bi $ n $ za nazivnik, tj. Bio bi isti kao MLE. Ako teoretska očekivanja zamjenjujete empirijskim očekivanjima, kako biste mogli završiti s $ n - K $ u nazivniku? Uvjeti prirodnog trenutka trebali bi biti $ E [X_k (Y - X \ beta)] = 0 $ i $ E [(Y - X \ beta) ^ 2] = \ sigma ^ 2 $, a zamjena empirijskim očekivanjima donijela bi vam $ n $ u nazivniku.
@guy To je valjana primjedba. Ispravljanje stupnjeva slobode za mene je uvijek bilo konceptualno pitanje Metode trenutaka. Napokon, "analog uzorka" nije strog pojam i povezan je s konceptom "sredstva uzorka" kroz asimptotsku korespondenciju potonjeg s očekivanom vrijednošću - ali u asimptotskom okviru, dijeleći s $ nK $ umjesto $ n $ ne čini nikakvu razliku. Za mene to ostaje neriješena stvar. S druge strane, procjenitelj najveće vjerojatnosti konkretno se određuje jednadžbama vjerojatnosti, a može se i ne mora podudarati s MoM (CONTD)
@guy (NASTAVAK). Dakle, ono što vi kažete je da MoM procjenitelj varijance pogreške u ovom slučaju _je_ procjenitelj najveće vjerojatnosti, pa rezultat koji sam izveo ne uspoređuje MoM s ML, već ML s OLS (potonji je kategorija sama za sebe). .. da, može se tvrditi da je to (također) slučaj.
Postoji li nešto poput "procjene" MoM-a? To je "procjenitelj MoM-a, zar ne? Ako uzmete slučajno odabrani OLS ostatak, $ e $, tada je $ E (e ^ 2) = \ frac {n-k} {n} \ sigma ^ 2 $. To je savršeno dobar trenutak, zar ne? I daje savršeno dobar MoM za $ \ sigma ^ 2 $, zar ne? Naime, uobičajeni OLS procjenjivač, $ s ^ 2 $.
@Bill Slažem se, Bill, i ja mislim da MoM procjenitelj nije tako strogo definiran kao drugi procjenitelji, tako da ne postoji "jedan" MoM ... što ostavlja točku na korisnikova korisnika $ guy $ koji je bio sporan - ni pogrešno, ni ispravno, već po mom mišljenju valjano, iz istih razloga mislim da je i vaš komentar valjan.
Tvrdite li da će OLS dominirati MLE-om ako je broj regresora 6?Zar protiv toga ne postoje asimptotski argumenti?
@CagdasOzgenc Ovo je nit o rezultatima "malog uzorka" kao što to navodi naslov OP-ovog pitanja.$ n $ uvijek se pretpostavlja da je konačan.Međutim, shvaćam da Dodatak može aludirati na asimptotski rezultat, pa sam ga pojasnio.
@CagdasOzgenc Pogledajte osnovni uvjet koji glasi da kvadratni polinom u $ K $ mora imati negativnu vrijednost.Ovaj polinom ima $ n $ u koeficijentima.Ispitajte što se događa s vrijednošću ovog polinoma ako $ n \ to \ infty $.
Hibernating
2013-12-23 19:07:34 UTC
view on stackexchange narkive permalink

"U ovom članku razmatramo novu parametrizaciju dvoparametarske inverzne Gaussove raspodjele. Procjenitelje parametara inverzne Gaussove raspodjele nalazimo metodom momenata i metodom maksimalne vjerojatnosti. Zatim, uspoređujemo učinkovitost procjenitelja za dvije metode na temelju njihove pristranosti i srednje kvadratne pogreške (MSE). Za to popravljamo vrijednosti parametara, izvodimo simulacije i prijavljujemo MSE i pristranost za procjene dobivene objema metodama. Zaključak je da kada su veličine uzorka 10, metoda momenata ima tendenciju da bude učinkovitija od metode najveće vjerojatnosti za procjene oba parametra (lambda i theta) .... " pročitajte više

Danas se ne može (ili ne smije) vjerovati svemu objavljenom, ali posljednja stranica lista djeluje obećavajuće. Nadam se da se ovo odnosi na vašu bilješku dodanu retrospektivno.

Ako dobro razumijem tablice u tom članku, vjerujem da ste u pravu - čini se da je u nekim veličinama uzorka metoda trenutka (MME u radu) nadmašila MLE, barem na procjeni $ \ theta $. (Međutim, neki od rezultata simulacije izgledaju više nego čudno - npr. Napredovanje krajnjeg desnog stupca na str. 49) - ovo mi je vrlo zanimljiv rezultat jer se inverzni Gaussian relativno široko koristi.
Dobar nalaz! Čak i ako su rezultati isključeni, lijepo je vidjeti negdje izričito navedenu tvrdnju.
Rad na koji sam se povezao u odgovoru proizašao je iz magistarske teze koja je u cijelosti dostupna ovdje: http://digi.library.tu.ac.th/thesis/st/0415/ Vidi npr. odjeljak 5.2 za odgovarajuću izjavu. Šest ljudi, uključujući redovitog profesora, potpisalo je ovaj rezultat.
Alexandre Patriota
2014-01-02 11:35:12 UTC
view on stackexchange narkive permalink

Metoda trenutaka (MM) može pobijediti pristup maksimalne vjerojatnosti (ML) kada je moguće navesti samo neke trenutke populacije. Ako je raspodjela loše definirana, procjenitelji ML neće biti dosljedni.

Pod pretpostavkom konačnih trenutaka i i.d. opažanja, MM može pružiti dobre procjenitelje s lijepim asimptotskim svojstvima.

Primjer: Neka $ X_1, \ ldots, X_n $ bude iid uzorak $ X \ sim f $, gdje $ f: \ mathbb {R} \ to \ mathbb {R} _ + $ je nepoznata funkcija gustoće vjerojatnosti. Definirajte $ \ nu_k = \ int _ {\ mathbb {R}} x ^ kf (x) dx $ $ k $ -ti trenutak i uzmite u obzir da je interes procijeniti četvrti trenutak $ \ nu_4 $.

Neka $ \ bar {X_k} = \ frac {1} {n} \ sum_ {i = 1} ^ n X_i ^ k $, onda pretpostavljajući da $ \ nu_8 < \ infty $, teorem o središnjoj granici jamči da $ $ \ sqrt {n} (\ bar {X_4} - \ nu_4) \ stackrel {d} {\ to} N (0, \ nu_8 - \ nu_4 ^ 2), $$ gdje je "$ \ stackrel {d} {\ to} $ "znači" konvergira u distribuciji u ". Štoviše, prema teoremu Slutskog,

$$ \ frac {\ sqrt {n} (\ bar {X_4} - \ nu_4)} {\ sqrt {\ bar {X_8} - \ bar {X_4} ^ 2}} \ stackrel {d} {\ to} N (0, 1) $$ od $ \ bar {X_8} - \ bar {X_4} ^ 2 \ stackrel {P} {\ to} \ nu_8 - \ nu_4 ^ 2 $ (konvergencija u vjerojatnosti).

To jest, možemo izvući (približne) zaključke za $ \ nu_4 $ pomoću trenutnog pristupa (za velike uzorke), samo moramo napraviti neke pretpostavke o populacijski trenuci od interesa. Ovdje se procjenitelji najveće vjerojatnosti ne mogu definirati bez poznavanja oblika $ f $.

Simulacijska studija:

Patriota et al. (2009) proveli su neke simulacijske studije kako bi provjerili stope odbijanja testiranja hipoteza u modelu pogrešaka u varijablama. Rezultati sugeriraju da pristup MM stvara stope pogrešaka prema nultoj hipotezi bliže nominalnoj razini od one ML za male uzorke.

Povijesna bilješka:

Metodu momenata predložio je K. Pearson 1894. godine "Prilozi matematičkoj teoriji evolucije". Metodu najveće vjerojatnosti predložio je R.A. Fisher 1922. "O matematičkim osnovama teorijske statistike". Oba su rada objavljena u Filozofskim transakcijama Londonskog kraljevskog društva, serija A.

Fisher, RA (1922). O matematičkim osnovama teorijske statistike, Filozofske transakcije Kraljevskog društva u Londonu, Serija A, 222, 309-368.

Patriota, AG, Bolfarine, H, de Castro, M (2009). Heteroscedastički strukturni model pogrešaka u varijablama s pogreškom jednadžbe, Statistička metodologija 6 (4), 408-423 ( pdf)

Pearson, K (1894). Prilozi za matematičku teoriju evolucije, Filozofske transakcije Kraljevskog društva u Londonu, Serija A, 185, 71-110.

Vaš odgovor zvuči kao potencijalno zanimljiv. Možete li to malo proširiti? Nisam siguran da baš vidim.
@Glen_b, molim vas, provjerite pomaže li vam moj posljednji dodatak.
Hvala na tome; Vjerujem da vidim na čemu ciljaš.
U redu, to je općeniti komentar, ali mislim da odgovara na vaše pitanje. Ako pružite ukupne informacije o ponašanju podataka, sasvim je prirodno da pristup ML nadmašuje pristup MM. U radu [1] provodimo neke simulacijske studije kako bismo provjerili stope odbijanja testiranja hipoteza u modelu pogrešaka u varijablama. Rezultati sugeriraju da pristup MM stvara stope pogrešaka prema nultoj hipotezi bliže nominalnoj razini od one ML za male uzorke. [1] http://www.ime.usp.br/~patriota/STAMET-D-08-00113-revised-v2.pdf
Ovo je netipičan primjer metode trenutaka (MoM). MoM se obično koristi u problemima parametarske procjene, gdje postoji dobro definirana parametarska obitelj raspodjela. S druge strane, ovdje možete definirati _neparametrijsku_procjenu maksimalne vjerojatnosti. Empirijska funkcija raspodjele, recimo F-hat, neparametrijska je procjena najveće vjerojatnosti nepoznate funkcije raspodjele F. S obzirom na to da je 4. trenutak funkcionalan od F, neparametarski MLE 4. trenutka je 4. trenutak F-hat-a . To je isto kao i uzorak 4. trenutka.
MoM se primjenjuje kad god su potrebni trenuci dobro definirani (odnosno pod blagim uvjetima). Općenito, pristup ML zahtijeva mnogo više uvjeta od MoM-a. MoM se obično razvija u probleme parametarske procjene u nastavne svrhe, ali njegove primjene daleko nadilaze parametarski kontekst.
Glen_b
2014-01-02 17:37:33 UTC
view on stackexchange narkive permalink

Pronašao sam jedan:

Za asimetričnu eksponencijalnu raspodjelu snage

$$ f (x) = \ frac {\ alpha} {\ sigma \ Gamma (\ frac {1 } {\ alpha})} \ frac {\ kappa} {1+ \ kappa ^ 2} \ exp \ lijevo (- \ frac {\ kappa ^ \ alpha} {\ sigma ^ \ alpha} [(x- \ theta) ^ +] ^ \ alpha - \ frac {1} {\ kappa ^ \ alpha \ sigma ^ \ alpha} [(x- \ theta) ^ -] ^ \ alpha \ desno) \ ,, \ quad \ alpha, \ sigma , \ kappa>0, \ text {i} x, \ theta \ in \ mathbb R $$

rezultati simulacije Delicado i Goria (2008) sugeriraju da za neke od parametara na manjim veličinama uzorka, metoda momenata može nadmašiti MLE; na primjer u poznatom - $ \ theta $ slučaju veličine uzorka 10, pri procjeni $ \ sigma $, MSE MoM-a je manji nego za ML.

Delicado i Goria (2008),
Mali uzorak usporedbe metoda najveće vjerojatnosti, momenata i L-momenata za asimetričnu eksponencijalnu raspodjelu snage,
Analiza podataka & časopisa Journal
Svezak 52. izdanje 3., siječanj, str.

(također pogledajte http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf)

Joz
2014-06-26 04:59:58 UTC
view on stackexchange narkive permalink

Prema simulacijama Hoskinga i Wallisa (1987) u "Procjeni parametara i kvantila za generaliziranu Paretovu distribuciju", parametri dvoparametarske generalizirane Pareto distribucije dani u cdf-u

$ G (y) = \ početak {slučajevi} 1- \ lijevo (1+ \ frac {\ xi y} {\ beta} \ desno) ^ {- \ frac {1} {\ xi}} & \ xi \ neq 0 \ \ 1- \ exp \ lijevo (- \ frac {y} {\ beta} \ desno) & \ xi = 0 \ end {slučajevi} $

ili gustoća

$ g (y) = \ početak {slučajevi} \ frac {1} {\ beta} \ lijevo (1+ \ frac {\ xi y} {\ beta} \ desno) ^ {- 1- \ frac {1} {\ xi}} & \ xi \ neq 0 \\ \ frac {1} {\ beta} \ exp \ lijevo (- \ frac {y} {\ beta} \ desno) & \ xi = 0 \ end {slučajevi} $

su pouzdaniji ako se procjenjuju pomoću MOM-a za razliku od ML-a. Ovo vrijedi za uzorke do veličine 500. Procjene MOM daju

$ \ widehat \ beta = \ frac {\ overline y \ overline {y ^ 2}} {2 (\ overline {y ^ 2} - (\ \ overline y) ^ 2)} $

i

$ \ widehat \ xi = \ frac {1} {2} - \ frac {(\ overline y ) ^ 2} {2 (\ overline {y ^ 2} - (\ overline y) ^ 2)} $

sa

$ \ overline {y ^ 2} = \ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 $

Rad sadrži podosta pogrešaka pri upisu (barem moja verzija sadrži). Rezultate za MOM procjenitelje dane gore ljubazno je pružio "heropup" u ovoj niti.

Hvala za ovo. To je jedan od najjednostavnijih primjera onoga što sam do sada tražio.
rozsasarpi
2014-11-11 23:28:24 UTC
view on stackexchange narkive permalink

Dodatni izvori u korist MOM:

Hong, H. P. i W. Ye. 2014. Analiza ekstremnih terenskih opterećenja snijegom za Kanadu pomoću zapisa visine snijega. Natural Hazards 73 (2): 355-371.

Korištenje MLM-a moglo bi dati nerealna predviđanja ako je veličina uzorka mala (Hosking i sur. 1985; Martin i Stedinger 2000).


Martins, ES i JR Stedinger. 2000. Opći generalizirani generalizirani kvantilni procjenitelji krajnje vrijednosti za hidrološke podatke. Istraživanje vodnih resursa 36 (3): 737-744.

Sažetak:

Generalizirana distribucija ekstremnih vrijednosti (GEV) s tri parametra pronašla je široku primjenu za opisivanje godišnjih poplave, kiše, brzine vjetra, visine valova, visine snijega i druge maksimume. Prethodne studije pokazuju da su procjenitelji maksimalne vjerojatnosti (MLE) parametara nestabilni i preporučuju procjenitelje L trenutka. Najnovija istraživanja pokazuju da procjenitelji kvantila metode momenata imaju za -0,25 < κ < 0,30 manju pogrešku srednjeg kvadrata od L momenata i MLE. Ispitivanje ponašanja MLE u malim uzorcima pokazuje da se mogu generirati apsurdne vrijednosti parametra oblika GEV κ. Korištenje Bayesove prethodne raspodjele za ograničavanje vrijednosti κ na statistički / fizički razumni raspon u generaliziranoj analizi maksimalne vjerojatnosti (GML) uklanja ovaj problem. U našim primjerima GML procjenitelj učinio je znatno bolje od procjena kvantila trenutka i L momenta za - 0,4 ≤ κ ≤ 0.

U odjeljcima Uvod i Pregled literature citiraju dodatne radove koji zaključuju da MOM u nekim slučajevima nadmašuju MLE (opet modeliranje ekstremnih vrijednosti), npr.

Hosking i sur. [1985a] pokazuju da su paramerestimimatori MLE malog uzorka vrlo nestabilni i preporučuju procjenitelje ponderirane s vjerojatnosti (PWM) koji su ekvivalent L procjeniteljima trenutka [Hosking, 1990]. [...]

Hosking i sur. [1985a] pokazali su da su procjenitelji ponderiranih momenata (PM) ili ekvivalentnih L momenata (LM) za raspodjelu GEV bolji od procjenitelja najveće vjerojatnosti (MLE) u smislu varijanse biasanda za veličine uzorka koji variraju od 15 do 100. Madsen i sur. [1997a] pokazao je da kvantitativni procjenitelji metode momenta (MOM) imaju manji RMSE (root-mean-squareer ror) za -0,25 < K < 0,30 od LM iMLE pri procjeni stogodišnjeg događaja za veličine uzorka od 10-50. MLE-ovi su poželjniji samo kada je K > 0,3 i veličine uzoraka skromne (n > = 50).

K (kappa) je parametar oblika GEV-a.

radova koji se pojavljuju u navodnicima:

Hosking J, Wallis J, Wood E (1985) Procjena generalizirane raspodjele ekstremnih vrijednosti metodom vjerovatnoća ponderiranih trenutaka. Technometrics 27: 251–261.

Madsen, H., PF Rasmussen i D. Rosbjerg (1997) Usporedba metoda godišnjeg maksimalnog niza i serija djelomičnog trajanja za modeliranje ekstremnih hidroloških događaja, 1 , Modeliranje na licu mjesta, Vodni resursi. Res., 33 (4), 747-758.

Hosking, J. R. M., L-momentovi: Analiza i procjena raspodjela pomoću linearnih kombinacija statistike poretka, J. R. Stat. Soc., Ser. B, 52, 105-124, 1990.


Uz to, imam isto iskustvo kao što je zaključeno u gornjim radovima, u slučaju modeliranja ekstremnih događaja s malom i umjerenom veličinom uzorka (<50- 100 što je tipično) MLE može dati nerealne rezultate, simulacija pokazuje da je MOM robusniji i ima manji RMSE.

kjetil b halvorsen
2014-11-13 16:43:25 UTC
view on stackexchange narkive permalink

U procesu odgovora na ovo: Procjena parametara binoma Slučajno sam naletio na ovaj članak:

Ingram Olkin, A John Petkau, James V Zidek: Usporedba N procjenitelji za binomnu raspodjelu. Jasa 1981.

što daje primjer gdje metoda trenutaka, barem u nekim slučajevima, pobjeđuje najveću vjerojatnost. Problem je procjena $ N $ u binomnoj distribuciji $ \ text {Bin} (N, p) $ gdje su oba parametra nepoznata. Čini se na primjer u pokušaju procjene brojnosti životinja kada ne možete vidjeti sve životinje, a vjerojatnost viđenja $ p $ je također nepoznata.

Jedna stvar koja je vrlo lijepa u ovom primjeru je da je vrlo jednostavno prenijeti situaciju - mnogi ljudi su upoznati s binomom (barem u konceptu, ako ne i uvijek s imenom).
Xi'an
2020-08-10 17:33:21 UTC
view on stackexchange narkive permalink

Primjer koji je doduše povezan s fenomenom James-Stein, iako u prvoj dimenziji.

U slučaju procjene kvadratne norme $ \ theta = || \ mu || ^ 2 $ vektora Gaussove srednje vrijednosti, pri promatranju $ X \ sim \ mathcal N_p (\ mu, \ mathbf I_p) $ , MLE $$ \ hat \ theta ^ \ text {MLE} = || x || ^ 2 $$ ide prilično loše [u smislu kvadrata gubitka pogreške] u usporedbi s procjeniteljem trenutka $$ \ hat \ theta ^ \ text {MM} = || x || ^ 2-p $$ sama nadmašila lijevo skraćenu verziju $$ \ hat \ theta ^ \ text {TMM} = (|| x || ^ 2-p) ^ + $$ Iznenađujuće je da MLE $ \ theta $ temelji se na izvornoj MLE distribuciji $$ \ hat \ theta ^ \ text {MLE } \ sim \ chi ^ 2_p (\ theta) $$ je različit i naoko prihvatljiv, stoji između $ \ hat \ theta ^ \ text {TMM} $ i $$ \ hat \ theta ^ \ text {JS} = (|| x || ^ 2-p + 1) ^ + $$



Ova pitanja su automatski prevedena s engleskog jezika.Izvorni sadržaj dostupan je na stackexchange-u, što zahvaljujemo na cc by-sa 3.0 licenci pod kojom se distribuira.
Loading...