Pitanje:
Je li ispitivanje normalnosti 'u osnovi beskorisno'?
shabbychef
2010-09-08 22:47:22 UTC
view on stackexchange narkive permalink

Bivši kolega jednom mi je raspravljao na sljedeći način:

Obično primjenjujemo testove normalnosti na rezultate procesa koji pod nulom generiraju slučajne varijable koje su samo asimptotski ili gotovo normalno (s tim da 'asimptotski' dio ovisi o nekoj količini koju ne možemo učiniti velikom); U eri jeftine memorije, velikih podataka i brzih procesora, testovi normalnosti trebali bi uvijek odbaciti nulu normalne distribucije za velike (iako ne suludo velike) uzorke. I tako bi se, obrnuto, testovi normalnosti trebali koristiti samo za male uzorke kada oni vjerojatno imaju manju snagu i manje kontrole nad stopom tipa I.

Je li to valjan argument? Je li ovo dobro poznat argument? Postoje li dobro poznati testovi za "fuzzier" nulsku hipotezu od normalnosti?

Za referencu: Mislim da ovo nije trebao biti wiki zajednice.
Nisam bio siguran da postoji 'točan odgovor' ...
Pogledajte http://meta.stats.stackexchange.com/questions/290/what-is-community-wiki
U određenom smislu, to vrijedi za sve testove konačnog broja parametara. S fiksnim iznosom od $ k $ (broj parametara na kojima se provodi test) i uzrastom od $ n $ bez granica, svaka razlika između dviju skupina (bez obzira na to koliko je mala) uvijek će u jednom trenutku razbiti nulu. Zapravo, ovo je argument u korist Bayesovih testova.
Za mene to nije valjan argument. Svejedno, prije bilo kakvog odgovora trebate malo formalizirati stvari. Možda griješite i možda niste, ali sada ono što imate nije ništa više od intuicije: za mene rečenica "U eri jeftine memorije, velikih podataka i brzih procesora testovi normalnosti uvijek trebaju odbaciti nulu normale" trebaju pojašnjenja :) Mislim da ako pokušate dati formalniju preciznost, odgovor će biti jednostavan.
Tema u odjeljku "Jesu li veliki skupovi podataka neprikladni za testiranje hipoteza" govori o uopćavanju ovog pitanja. (http://stats.stackexchange.com/questions/2516/are-large-data-sets-inapproperty-for-hypothesis-testing)
"odbiti nulu normalne raspodjele" treba detaljno i točno objasniti prije nego što se može dati odgovor na pitanje.Štoviše, postoji razlika između velikog uzorka (nasuprot malog uzorka) i izraza: veliki uzorci.Postoji razlika između n-veličine uzorka i k-uzorka teorije statistike.Razjasnimo to.
šesnaest odgovori:
#1
+244
Joris Meys
2010-09-09 03:23:19 UTC
view on stackexchange narkive permalink

To nije argument. Činjenica je (pomalo snažno navedena) da formalni testovi normalnosti uvijek odbacuju velike veličine uzoraka s kojima danas radimo. Čak je lako dokazati da će, kad n postane veliko, i najmanje odstupanje od savršene normalnosti dovesti do značajnog rezultata. A kako svaki skup podataka ima određeni stupanj slučajnosti, niti jedan skup podataka neće biti savršeno normalno distribuirani uzorak. Ali u primijenjenoj statistici pitanje nije jesu li podaci / rezidualni ... sasvim normalni, ali dovoljno normalni da pretpostavke vrijede.

Dopustite mi da ilustriram s Shapiro-Wilkov test. Kôd u nastavku gradi skup distribucija koji se približavaju normalnosti, ali nisu potpuno normalni. Zatim ispitujemo shapiro.test odstupa li uzorak iz ovih gotovo normalnih raspodjela od normalnosti. U R:

  x <- replicate (100, {# generira 100 različitih testova na svakoj distribuciji c (shapiro.test (rnorm (10) + c (1,0,2,0,1)) $ p.value, # $ shapiro.test (rnorm (100) + c (1,0,2,0,1)) $ p.value, # $ shapiro .test (rnorm (1000) + c (1,0,2,0,1)) $ p.value, # $ shapiro.test (rnorm (5000) + c (1,0,2,0,1)) $ p.value) # $} # rnorm daje slučajno izvlačenje iz normalne distribucije) imena redaka (x) <- c ("n10", "n100", "n1000", "n5000") rowMeans (x<0.05) # udio značajnih odstupanja n10 n100 n1000 n5000 0,04 0,04 0,20 0,87 

Posljednji redak provjerava koji udio simulacija za svaku veličinu uzorka značajno odstupa od normalnosti. Dakle, u 87% slučajeva, uzorak od 5000 opažanja značajno odstupa od normalnosti prema Shapiro-Wilksu. Ipak, ako vidite qq crteže, nikada ne biste odlučili o odstupanju od normalnosti. Ispod vidite kao primjer qq-grafikone za jedan skup slučajnih uzoraka

alt text

s p-vrijednostima

  n10 n100 n1000 n5000 0,760 0,681 0,164 0,007  
ovo je super! Šamaram se jer sam nisam eksperimentirao ...
Uz napomenu, središnji granični teorem čini formalnu provjeru normalnosti nepotrebnom u mnogim slučajevima kada je n velik.
da, pravo pitanje nije jesu li podaci stvarno distribuirani normalno, ali jesu li dovoljno normalni da bi temeljna pretpostavka normalnosti bila razumna u praktične svrhe analize, a ja bih mislio da je argument temeljen na CLT-u normalno [sic] dovoljno za to.
+1: sjajan odgovor, vrlo intuitivan. Možda pomalo van teme, ali kako bi bilo primijeniti drugu metodu bez qq-plotova (zbog nedostatka vizualizacije)? Koji su logični koraci ovdje poduzeti za dobivanje p-vrijednosti?
@posdef: to su samo p-vrijednosti testa shapiro-wilks, kako bi ukazale na to da proturječe qq-plotama.
@joris: Mislim da je možda došlo do nesporazuma; Shapiro-Wilks daje p_ {n5000} = 0,87, dok drugi izračun daje p_ {n5000} = 0,007. Ili sam nešto krivo razumio?
Doista. 0,87 je udio skupova podataka koji daju odstupanje od normalnosti, što znači da će u 87% skupova podataka iz gotovo normalne distribucije Shapiro-Wilks imati p-vrijednost manju od 0,05. Drugi je dio samo primjer nekih skupova podataka koji to ilustriraju.
@joris: Vidim, hvala što si mi to uredio :)
Ovo je još jedan primjer zašto se vrijednosti p moraju pomicati prema dolje kako veličina uzorka raste. 0,05 nije dovoljno strog u svijetu velikih podataka. Samo moja znatiželja - što će se dogoditi ako vrijednost postavite tako da ovisi o veličini uzorka?
Wow hvala na odgovoru! Kako ste crtali qq crteže?
@maximus s funkcijom `qqnorm`u R
Središnji granični teorem @joris-meys ne pomaže ako nije poznato standardno odstupanje populacije. Vrlo sitni poremećaji u slučajnoj varijabli mogu iskriviti varijancu uzorka i učiniti distribuciju testne statistike vrlo udaljenom od $ t $ raspodjele, kako je pokazao Rand Wilcox.
** Čini se da se ovaj odgovor ne odnosi na pitanje: ** on samo pokazuje da SW test ne postiže svoju nominalnu razinu pouzdanosti, pa stoga identificira manu u tom testu (ili barem u `R` provedbi istog) . Ali to je sve - nema utjecaja na opseg korisnosti ispitivanja normalnosti općenito. Početna tvrdnja da testovi normalnosti uvijek odbacuju na velikim uzorcima jednostavno je netočna.
@whuber Ovaj odgovor bavi se pitanjem. Cijela poanta pitanja je "blizu" u "skoro normalnosti". S-W testira kakva je šansa da se uzorak izvadi iz normalne raspodjele. Kako distribucije koje sam konstruirao ** namjerno ** nisu normalne, očekivali biste da S-W test učini ono što obećava: odbaci nulu. Cijela je stvar u tome što je to odbijanje besmisleno u velikim uzorcima, jer odstupanje od normalnosti tamo ne rezultira gubitkom moći. Dakle, test je točan, ali besmislen, kao što pokazuju QQplots
@FrankHarrell Ne vidim vašu poantu. Rand Wilcox je govorio o veličinama uzoraka od 30 i više. Pitanje je o vrlo velikim uzorcima. 30 nije ni velik. 5000, to je veliko (i zapravo nije toliko veliko). Radeći matematiku koju je radio Rand Wilcox, varijansa srednje vrijednosti prilično dobro prati raspodjelu hi-kvadrata za uzorak od 5000, čak i ako potječe iz prilično iskrivljene raspodjele.
Činjenica da iz uzorka često ne možemo reći može li se taj uzorak adekvatno analizirati metodom pretpostavke normalnosti dovoljna mi je. A Wilcox daje primjere gdje je nenormalnost (onečišćenje normalne raspodjele drugom normalnom raspodjelom s većom varijancom) toliko neprimjetna da je ne možete vidjeti u funkciji gustoće, no sitni djelić nenormalnosti uzrokuje veliko izobličenje u testovima 'radne karakteristike. Još jedno pitanje koje većina statističara zapravo nije riješila jest da standardna devijacija možda neće imati smisla kod asimetrije.
Ta je činjenica istinita, ali nema veze s CLT-om. CLT je prilično specifičan o tome pod kojim uvjetima vrijedi aproksimacija. Bacate različite stvari na istu hrpu. Da, Wilcox daje te primjere. Ne, on ne govori o velikim uzorcima ili odbacivanju CLT-a, daleko od toga da je čak i jednak. S pravom ističe da ljudi zaboravljaju na uvjete pod kojima se CLT drži. Slažem se s vama da testiranje razlika s veličinom uzorka od 5000 nema smisla bez navođenja minimalne relevantne razlike. Ali to je sasvim drugo pitanje.
Oslanjao sam se na ono što ste napisali i pogrešno shvatio što mislite pod "gotovo normalnom" distribucijom. Sada vidim - ali * samo * čitanjem koda i pažljivim testiranjem - da simulirate iz tri standardne normalne distribucije sa sredstvima od 0, 1, 1 i 2 dolara i kombinirate rezultate u 2: 2: Omjer 1 $. Ne biste li se * nadali * da će dobar test Normalnosti u ovom slučaju odbiti nulu? Ono što ste učinkovito pokazali je da QQ grafički prikazi nisu baš dobri u otkrivanju takvih smjesa, to je sve!
Niti jedna stvarna distribucija života nije sasvim normalna. Dakle, s dovoljno velikim uzorcima, svi testovi normalnosti trebali bi odbiti nulu. Tako da, SW radi ono što treba. Ali to je bezvrijedno za primijenjene statistike. Nema smisla ići npr. Na Wilcoxon kad ima uzorak od 5000 i gotovo normalnu distribuciju. I upravo je u tome bila primjedba OP-a: ima li smisla testirati normalnost kod velikih uzoraka? Odgovor: ne. Zašto? jer ste otkrili (ispravno) odstupanje koje nije važno za vašu analizu. Kao što ističu QQ parcele
Btw, QQ dijagrami nisu namijenjeni otkrivanju takvih smjesa. To su grafički alati koji vam daju poštenu ideju o tome hoćete li izgubiti snagu ili čak dobiti pristrane procjene prilikom korištenja određenih testova. To im je sve. Za 99% statističkih pitanja u praktičnoj znanosti to je više nego dovoljno.
Ne slažem se s tobom; Samo (blago) prigovaram što se važne stavke koje ste nedavno iznijeli u ovim komentarima nisu pojavile u vašem odgovoru.
@whuber Možete slobodno ažurirati :) inače ću ga ažurirati kad nađem malo više vremena. Živjeli.
@JorisMeys Možete li mi uputiti papir ili dokaz da će "kada n postane veliko, čak i najmanje odstupanje od savršene normalnosti dovesti do značajnog rezultata"?:)
@Milos Čak se i u izvornom radu autor već pozivao na statistiku kao osjetljivu, čak i s malim uzorcima (n <20).Također je osjetljiv na izvanredne vrijednosti, prema istom časopisu iz 1965.Također imajte na umu da W statistika ima najviše 1 (što ukazuje na savršenu normalnost) i pogledajte kritične vrijednosti W za odbacivanje nule.Pri n = 10, to je 0,84.Pri n = 50, to je 0,947.Dakle, pri n = 50, daleko manje odstupanje bit će značajno.Pri n = 5000, čak je i W vrijednost od 0,999 vrlo značajna.To je osnovna statistika.
Ovaj bi se primjer mogao koristiti kao argument da neuspjeh takvog "testa normalnosti" treba biti argument _za_ primjenu regresije ili drugih metoda klasifikacije (umjesto da se odmah primijeni transformacija).
@JorisMeys Hvala na ilustrativnom odgovoru.Vaš post jasno ilustrira problem, ali koje je rješenje?Postoji li "gotovo normalan" test?Nešto konceptualno poput TOST testa ekvivalencije?Suočavam se s točnim problemom kada recenzent koji traži opravdanje za pretpostavku normalnosti - QQ crteži izgledaju dobro, ali test je značajan zbog velike veličine uzorka.
@thc Samo upotrijebite QQ zavjeru da to opravdate.A ako je veličina uzorka dovoljno velika, teorem o središnjoj granici već u mnogim slučajevima pruža pretpostavku o normalnosti.
Teorem o središnjoj granici ponekad može biti koristan kada se gleda razina testa, ali ne pomaže u snazi;općenito se relativna učinkovitost (u usporedbi s najmoćnijim dostupnim testom) obično ne povećava s veličinom uzorka.
#2
+179
Harvey Motulsky
2010-09-09 07:35:31 UTC
view on stackexchange narkive permalink

Kad razmišljamo o tome je li ispitivanje normalnosti 'u biti beskorisno', prvo treba razmisliti za što bi trebalo biti korisno. Mnogi ljudi (pa ... barem mnogi znanstvenici) pogrešno razumiju pitanje na koje odgovara test normalnosti.

Pitanje provjerava normalnost odgovora: Postoje li uvjerljivi dokazi o bilo kakvom odstupanju od Gaussova ideala? S umjereno velikim stvarnim skupovima podataka, odgovor je gotovo uvijek da.

Na pitanje na koje znanstvenici često očekuju odgovor na test normalnosti: Odstupaju li podaci dovoljno od Gaussova ideala da bi "zabranili" upotrebu testa koji pretpostavlja Gaussovu raspodjelu? Znanstvenici često žele da test normalnosti bude sudac koji odlučuje kada će napustiti konvencionalne (ANOVA, itd.) Testove i umjesto toga analizirati transformirane podatke ili upotrijebiti neparametrijski test temeljen na rangu ili pristup ponovnom uzorkovanju ili bootstrapu. U tu svrhu testovi normalnosti nisu vrlo korisni.

+1 za dobar i informativan odgovor. Smatram korisnim vidjeti dobro objašnjenje za uobičajeni nesporazum (koji sam slučajno i sam doživio: http://stats.stackexchange.com/questions/7022/parameter-estimation-for-normal-distribution-in-java) . Ono što mi ipak nedostaje je alternativno rješenje za ovaj uobičajeni nesporazum. Mislim, ako su testovi normalnosti pogrešan put, kako provjeriti je li normalna aproksimacija prihvatljiva / opravdana?
Ne postoji zamjena za (zdrav) razum analitičara (ili, dobro, istraživača / znanstvenika). I iskustvo (naučeno iskušavanjem i viđenjem: kakve zaključke dolazim ako pretpostavim da je to normalno? Koja je razlika ako ne?). Grafika su vaši najbolji prijatelji.
Sviđa mi se ovaj rad koji naglašava ono što ste naveli: Micceri, T. (1989.).Jednorog, normalna krivulja i druga nevjerojatna stvorenja.Psihološki bilten, 105 (1), 156-166.
Gledanje grafike je sjajno, ali što ako ih je previše za ručno ispitivanje?Možemo li formulirati razumne statističke postupke kako bismo ukazali na moguće probleme?Razmišljam o situacijama poput A / B eksperimentatora u velikim razmjerima: http://www.exp-platform.com/Pages/SevenRulesofThumbforWebSiteExperimenters.aspx.
#3
+127
MånsT
2012-06-08 13:57:33 UTC
view on stackexchange narkive permalink

Mislim da testovi za normalnost mogu biti korisni kao pratitelji grafičkim ispitivanjima. Ipak ih se mora koristiti na pravi način. Po mom mišljenju, to znači da mnogi popularni testovi, poput Shapiro-Wilk, Anderson-Darling i Jarque-Bera testova, nikada ne bi trebali biti korišteni.

Prije nego što objasnim svoje stajalište , dopustite mi nekoliko napomena:

  • U zanimljivom nedavnom radu Rochon i sur. proučavao utjecaj Shapiro-Wilkovog testa na t-test s dva uzorka. Dvostupanjski postupak ispitivanja normalnosti prije izvođenja, na primjer, t-testa, nije bez problema. Zatim opet, niti dvostupanjski postupak grafičkog ispitivanja normalnosti prije izvođenja t-testa. Razlika je u tome što je utjecaj potonjeg puno teže istražiti (jer bi od statističara bilo potrebno grafički istražiti normalnost 100 000 USD $ ili otprilike tako ...).
  • Korisno je kvantificirati nenormalnost , na primjer izračunavanjem iskrivljenosti uzorka, čak i ako ne želite provesti formalni test.
  • Multivarijantnu normalnost može biti teško grafički procijeniti a konvergencija prema asimptotskoj raspodjeli može biti spora za multivarijantne statistike. Testovi normalnosti stoga su korisniji u multivarijatnom okruženju.
  • Testovi normalnosti možda su posebno korisni za praktičare koji koriste statistiku kao skup metoda crnog okvira . Kada se normalnost odbije, liječnik bi se trebao uzbuniti i umjesto da provodi standardni postupak temeljen na pretpostavci normalnosti, razmislite o upotrebi neparametrijskog postupka, primjeni transformacije ili savjetovanju s iskusnijim statističarom.
  • Kao što su drugi istaknuli, ako je $ n $ dovoljno velik, CLT obično štedi dan. Međutim, ono što je "dovoljno veliko" razlikuje se za različite klase raspodjele.

(U mojoj definiciji) test normalnosti usmjeren je protiv klase alternativa ako je osjetljiva na alternative iz te razreda, ali nije osjetljiv na alternative iz drugih razreda. Tipični primjeri su testovi usmjereni na iskrivljenje ili kurtotične alternative. Najjednostavniji primjeri koriste iskrivljenost uzorka i kurtozu kao statistiku ispitivanja.

Usmjereni testovi normalnosti nedvojbeno su često bolji od omnibus testova (kao što su Shapiro-Wilk i Jarque-Bera testovi) jer to je uobičajeno je da su samo neke vrste nenormalnosti zabrinjavajuće za određeni inferencijalni postupak .

Razmotrimo Studentov t-test kao primjer. Pretpostavimo da imamo i.i.d. uzorak iz distribucije s iskošenom $ \ gamma = \ frac {E (X- \ mu) ^ 3} {\ sigma ^ 3} $ i (suvišnom) kurtozom $ \ kappa = \ frac {E (X- \ mu) ^ 4} {\ sigma ^ 4} -3. $ Ako je $ X $ simetrično je oko svoje srednje vrijednosti, $ \ gamma = 0 $ . I $ \ gamma $ i $ \ kappa $ su 0 za normalnu distribuciju.

Pod pretpostavkama pravilnosti dobivamo sljedeće asimptotsko proširenje za cdf testne statistike $ T_n $ : $$ P (T_n \ leq x) = \ Phi (x) + n ^ {- 1/2} \ frac {1} {6} \ gamma (2x ^ 2 + 1) \ phi (x) -n ^ {- 1} x \ Veliki (\ frac {1} {12} \ kappa (x ^ 2-3) - \ frac {1} {18} \ gamma ^ 2 (x ^ 4 + 2x ^ 2- 3) - \ frac {1} {4} (x ^ 2 + 3) \ Big) \ phi (x) + o (n ^ {- 1}), $$

gdje je $ \ Phi (\ cdot) $ cdf, a $ \ phi (\ cdot) $ pdf standardne normalne distribucije.

$ \ gamma $ prvi put se pojavljuje u $ n ^ {- 1/2} $ span> pojam, dok se $ \ kappa $ pojavljuje u terminu $ n ^ {- 1} $ . Asimptotska izvedba $ T_n $ mnogo je osjetljivija na odstupanja od normalnosti u obliku iskrivljenosti nego u obliku kurtoze.

Simulacijama se može provjeriti da li to vrijedi i za male $ n $ . Stoga je Studentov t-test osjetljiv na iskrivljenost, ali relativno robustan u odnosu na teške repove, i razumno je prije primjene t-testa koristiti test normalnosti koji je usmjeren na iskrivljene alternative .

Kao osnovno pravilo ( nije zakon prirode), zaključivanje o sredstvima osjetljivo je na iskrivljenost, a zaključak o odstupanjima osjetljiv je na kurtozu.

Korištenje usmjerenog testa za normalnost ima prednost u postizanju veće moći protiv '' opasnih '' alternativa i manje snage protiv alternativa koje su manje '' opasne '', što znači da je manja vjerojatnost da ćemo odbiti normalnost zbog odstupanja od normalnost koja neće utjecati na izvedbu našeg inferencijalnog postupka. Nenormalnost se kvantificira na način koji je relevantan za problem u pitanju. To nije uvijek lako grafički izvesti.

Kako $ n $ postaje sve veće, iskrivljenost i kurtoza postaju manje važni - a usmjerena ispitivanja vjerojatno će otkriti odstupaju li ove količine od 0 čak i za malu količinu. U takvim se slučajevima čini razumnim, na primjer, testirati je li $ | \ gamma | \ leq 1 $ ili (gledajući prvi pojam gore navedenog proširenja) $$ | n ^ {- 1/2} \ frac {1} {6} \ gamma (2z _ {\ alpha / 2} ^ 2 + 1) \ phi (z _ {\ alpha / 2}) | \ leq 0,01 $$ , a ne $ \ gamma = 0 $ . Ovo rješava neke probleme s kojima se inače susrećemo kad se $ n $ poveća.

Ovo je sjajan odgovor!
"uobičajeno je da su samo neke vrste nenormalnosti zabrinjavajuće za određeni inferencijalni postupak."- naravno, onda treba koristiti test usmjeren prema toj vrsti nenormalnosti.Ali činjenica da netko koristi test normalnosti implicira da mu je stalo do * svih * aspekata normalnosti.Pitanje je: je li test normalnosti u tom slučaju dobra opcija.
Ispitivanje dostatnosti pretpostavki za pojedine testove postaje uobičajeno, što srećom uklanja neke pretpostavke.
@Carl: Možete li dodati neke reference / primjere za to?
@kjetilbhalvorsen To je bilo prije dvije godine i ne sjećam se sada što sam tada imao na umu.Dakle, ako želite te informacije, vi, ja ili bilo tko možemo ih potražiti ili bolje izvući kako se to može učiniti iz početka.
Čini se da ovaj odgovor ima dva odgovora.Početni odgovor je jedan za statističare koji kaže da "mnogi popularni testovi ... nikada ne bi trebali biti korišteni."Unutar posta ipak postoji implicirani drugi odgovor za nestaliste, koji je da su ovi testovi "posebno korisni za praktičare koji koriste statistiku kao skup metoda crne kutije", a "testovi za normalnost korisniji su u multivarijatnimpostavljanje. "Jesam li dobro razumio?
#4
+60
dsimcha
2010-09-18 07:32:42 UTC
view on stackexchange narkive permalink

IMHO-ovi testovi normalnosti apsolutno su beskorisni iz sljedećih razloga:

  1. Na malim uzorcima postoji velika vjerojatnost da je stvarna raspodjela populacije u osnovi nenormalna, ali test normalnosti nije moćan da ga pokupi.

  2. Na velikim uzorcima stvari poput T-testa i ANOVA prilično su robusne u odnosu na nenormalnost.

  3. Cijela ideja normalno raspoređene populacije ionako je samo prikladna matematička aproksimacija. Nijedna veličina koja se obično statistički obrađuje ne bi mogla imati distribucije s podrškom svih stvarnih brojeva. Na primjer, ljudi ne mogu imati negativnu visinu. Nešto ne može imati negativnu masu ili veću masu nego što postoji u svemiru. Stoga sigurno možemo reći da ništa nije točno normalno distribuirano u stvarnom svijetu.

Razlika električnog potencijala primjer je stvarne veličine koja može biti negativna.
@nico: Sigurno da može biti negativan, ali postoji neka konačna granica, jer u Svemiru postoji samo toliko protona i elektrona. Naravno, ovo je nebitno u praksi, ali to je moja poanta. Ništa se ** točno ** ne distribuira normalno (model je pogrešan), ali postoji mnogo stvari koje su dovoljno blizu (model je koristan). U osnovi, već ste znali da je model pogriješio, a odbijanje ili odbijanje nule u osnovi ne daje informacije o tome je li ipak korisno.
@dsimcha - smatram da je to zaista pronicljiv, koristan odgovor.
@dsimcha, $ t $ -test i ANOVA nisu robusni prema ne-normalnosti. Vidi radove Randa Wilcoxa.
@dsimcha "model je pogrešan".Nisu li SVI modeli ipak "pogrešni"?
Ipak, ako ste podatke transformirali s (x- \ mu) / sigma, uvijek možete dopustiti negativne vrijednosti bez uništavanja normalnosti, zar ne?
#5
+31
Frank Harrell
2013-08-01 16:52:06 UTC
view on stackexchange narkive permalink

Mislim da predtestiranje normalnosti (što uključuje neformalne procjene pomoću grafike) promašuje poantu.

  1. Korisnici ovog pristupa pretpostavljaju da procjena normalnosti ima na snazi ​​blizu 1,0.
  2. Neparametrijski testovi kao što su Wilcoxon, Spearman i Kruskal-Wallis imaju učinkovitost od 0,95 ako vrijedi normalnost.
  3. S obzirom na 2. može se unaprijed odrediti uporaba neparametrijskih test ako se uopće ima mogućnost da podaci ne proizlaze iz normalne raspodjele.
  4. Redni kumulativni modeli vjerojatnosti (model proporcionalnih kvota koji je član ove klase) generaliziraju standardne neparametrijske testove. Redni modeli potpuno su nepromjenljivi u odnosu na $ Y $, robusni su, snažni i omogućuju procjenu kvantila i srednje vrijednosti $ Y $.
imajte na umu da je učinkovitost od 0,95 * asimptotična *: FWIW Pretpostavljam da je učinkovitost znatno niža za tipične konačne veličine uzorka ... (iako doduše ovo nisam vidio niti sam pokušao istražiti)
Istražio sam relativnu učinkovitost u malim uzorcima za niz uobičajenih testova;relativna efikasnost malog uzorka obično je niža od ARE, ali u uobičajenim veličinama uzorka općenito nije mnogo;ARE je općenito prilično koristan vodič.
#6
+17
Emil Friedman
2013-11-27 02:18:47 UTC
view on stackexchange narkive permalink

Prije nego što postavite pitanje je li test ili bilo kakva gruba provjera normalnosti "korisna", morate odgovoriti na pitanje koje stoji iza pitanja: "Zašto pitate?"

Na primjer, ako samo želite ograničiti pouzdanost oko srednje vrijednosti niza podataka, odstupanja od normalnosti mogu ili ne moraju biti važna, ovisno o tome koliko podataka imate i koliko su veliki odlasci. Međutim, odstupanje od normalnosti presudno je presudno ako želite predvidjeti koja će biti najekstremnija vrijednost u budućim promatranjima ili u populaciji iz koje ste uzeli uzorke.

#7
+13
Henrik
2010-09-09 13:59:39 UTC
view on stackexchange narkive permalink

Dopustite mi da dodam jednu sitnicu:
Izvođenje testa normalnosti bez uzimanja u obzir njegove alfa-pogreške povećava vašu ukupnu vjerojatnost izvođenja alfa-pogreške.

Nikada nećete zaboraviti da svaki dodatni test to radi sve dok ne kontrolirate nakupljanje alfa-pogrešaka. Stoga je još jedan dobar razlog za odbacivanje ispitivanja normalnosti.

Pretpostavljam da mislite na situaciju u kojoj se prvo radi test normalnosti, a zatim se pomoću rezultata tog testa odlučuje koji će se test izvesti sljedeći.
Pozivam se na opću korisnost testova normalnosti kada se koristi kao metoda kako bi se utvrdilo je li prikladno koristiti određenu metodu ili ne. Ako ih primijenite u tim slučajevima, u smislu vjerojatnosti počinjenja alfa pogreške, bolje je izvršiti robusniji test kako biste izbjegli nakupljanje alfa pogreške.
Pozdrav Henrik, donosite zanimljiv slučaj višestrukih usporedbi kojih se u ovom slučaju nisam sjetio - hvala. (+1)
Ovo za mene nema smisla. Čak i ako se odlučite između, recimo, ANOVA-e ili metode zasnovane na rangu koja se temelji na testu normalnosti (loša ideja, naravno), na kraju dana ipak biste izvršili samo jedan test usporedbe interesa. Ako pogrešno odbacite normalnost, još uvijek niste donijeli pogrešan zaključak u vezi s ovom određenom usporedbom. Možda izvodite dva testa, ali jedini slučaj u kojem možete zaključiti da faktor takav i takav utječe na to da drugi test također odbacuje $ H_0 $, * ne * kada to čini samo prvi. Dakle, nema nakupljanja alfa-pogrešaka ...
To nas na neki način vraća na uobičajene kritike ispitivanja značaja ništetnih hipoteza (Zašto se ne prilagoditi svim testovima koje ćete provesti u svojoj karijeri? I ako da, kako zaključci koje daje čitav niz podataka mogu biti različiti ovisno o namjera / buduća karijera istraživača?) ali zapravo ta dva testa nisu povezana kako dolaze. Primjerice, slučaj koji treba ispraviti za test jer ste godinama objavili nešto o istoj temi čini se puno snažnijim.
Naravno, ako koristite neki neprikladan test, stopa pogrešaka može biti daleko od njegove nominalne razine, ali to bi također bio slučaj ako ste test izvodili izravno. Jedini način na koji bi test normalnosti mogao povećati pogreške tipa I jest ako je test koji upotrebljavate kada se normalnost odbije zapravo manje robustan prema određenom problemu s vašim podacima od redovnog testa. U svakom slučaju, čini se da sve to nije povezano s pojmom nakupljanja alfa pogrešaka.
Drugi način na koji bi test normalnosti mogao povećati pogreške tipa I jest ako govorimo o "ukupnoj vjerojatnosti izvođenja alfa-pogreške". Sam test ima stopu pogrešaka, pa ** sveukupno **, povećava se naša vjerojatnost pogreške. Naglasak na ** jednoj maloj stvari ** pretpostavljam ...
@NickStauner Upravo sam to želio poručiti. Hvala što ste ovu točku učinili još jasnijom.
@Gala Zapravo, stopa pogreške tipa I završnog provedenog testa (parametarska ili neparametarska odabrana na temelju testa normalnosti) napuhana je čak i za normalno raspoređene ostatke (inflacija stope pogreške tipa I često može biti i gora, ako imate-normalni ostaci, ovisno o tome koju kombinaciju testova koristite).Ispitivanja nisu nepovezana, a to se iznova pokazuje u literaturi.
@Björn za mene još uvijek nema smisla.Imate li neki primjer ili prikaz ove literature koju bih mogao pregledati?
#8
+11
Cliff AB
2015-05-20 01:12:34 UTC
view on stackexchange narkive permalink

Nekad sam mislio da su testovi normalnosti potpuno beskorisni.

Međutim, sada se savjetujem s drugim istraživačima. Često je dobivanje uzoraka izuzetno skupo, pa će, recimo, htjeti zaključiti s n = 8.

U takvom je slučaju vrlo teško pronaći statističku značajnost s neparametarskim testovima, ali t-testovi s n = 8 osjetljivi su na odstupanja od normalnosti. Dakle, ono što smo dobili je da možemo reći "dobro, ovisno o pretpostavci normalnosti, nalazimo statistički značajnu razliku" (ne brinite, to su obično pilot studije ...).

Tada nam treba neki način procjene te pretpostavke. Na pola sam puta u kampu da je gledanje zapleta bolji put, ali istini za volju može biti puno neslaganja oko toga, što može biti vrlo problematično ako je netko od ljudi koji se s vama ne slaže recenzent vašeg rukopisa.

U mnogim pogledima još uvijek mislim da ima dosta mana u testovima normalnosti: na primjer, trebali bismo više razmišljati o pogrešci tipa II nego o vrsti I. Ali postoji potreba za njima.

Imajte na umu da su ovdje argumenti da su testovi samo u teoriji beskorisni.U teoriji uvijek možemo dobiti onoliko uzoraka koliko želimo ... I dalje će vam trebati testovi da biste dokazali da su vaši podaci barem nekako blizu normalnosti.
Dobra poanta.Mislim da ono što mislite, a svakako ono u što vjerujem, jest da je mjera odstupanja od normalnosti važnija od testa hipoteze.
Sve dok se tada ne prebace na neparametarski test i ne pokušaju protumačiti p-vrijednosti (koje se poništavaju uvjetno predtestiranjem), možda je to u redu ?!
Snaga testa normalnosti bit će vrlo mala pri n = 8;posebice odstupanja od normalnosti koja će bitno utjecati na svojstva testa koji pretpostavlja da će ga biti prilično teško otkriti na malim veličinama uzorka (bilo testnim ili vizualnim).
@Glen_b: Slažem se;Mislim da je ovaj osjećaj u skladu s brigom više o pogreškama tipa II, a ne o tipu I. Moja poanta je da postoji stvarni svijet koji treba testirati na normalnost.Da li naši trenutni alati stvarno ispunjavaju tu potrebu, drugo je pitanje.
Gotovo svako ispitivanje normalnosti koje sam vidio jest provjera distribucijskih pretpostavki na podacima koji se koriste u testu prije korištenja testa koji se oslanja na tu pretpostavku;izvođenje takve provjere * uopće * samo je po sebi potencijalno ozbiljan problem - to sigurno ima posljedice na zaključivanje.Ako je to potreba na koju se pozivate, rekao bih da postoji snažna percepcija da postoji potreba za testiranjem, ali gotovo uvijek postoje bolje stvari.Povremeno postoje dobri razlozi za testiranje dobrog stanja, ali rijetko su ono za što se ovi testovi koriste.
#9
+11
Arthur B.
2015-06-10 19:17:47 UTC
view on stackexchange narkive permalink

Koliko vrijedi, jednom sam razvio brzi uzorkivač za krnju normalnu distribuciju, a ispitivanje normalnosti (KS) bilo je vrlo korisno u otklanjanju pogrešaka u funkciji. Ovaj uzorkivač prolazi test s ogromnim veličinama uzorka, ali, zanimljivo, GSL-ov uzorkovač zigurata nije.

#10
+11
AdamO
2018-03-12 22:59:28 UTC
view on stackexchange narkive permalink

Ovdje su odgovori već obuhvaćeni nekoliko važnih točaka. Da brzo rezimiramo:

  • Ne postoji dosljedan test koji može utvrditi slijedi li niz podataka uistinu distribuciju ili ne.
  • Testovi nisu zamjena za vizualni pregled podataka i modela kako bi se identificirala velika poluga, zapažanja s velikim utjecajem i komentiranje njihovih učinaka na modele.
  • Pretpostavke za mnoge regresijske rutine često se pogrešno citiraju kao da zahtijevaju normalno distribuirane "podatke" [ostatke] i da to statističari početnici tumače kao da analitičar to formalno procjenjuje u nekom smislu prije nego što nastavi s analizama.

Dodajem odgovor prvo kako bih citirao jedan od mojih, osobno najčešće pristupanih i čitanih statističkih članaka: " Važnost pretpostavki o normalnosti u velikim skupovima podataka o javnom zdravstvu" autora Lumley et. al. Vrijedno je pročitati ga u cijelosti. Sažetak navodi:

T-test i linearna regresija najmanjih kvadrata ne zahtijevaju pretpostavku normalne raspodjele u dovoljno velikim uzorcima. Prethodne simulacijske studije pokazuju da je "dovoljno velik" često ispod 100, a čak je i za naše krajnje neprirodne medicinske podatke o troškovima manji od 500. To znači da u istraživanjima javnog zdravstva, gdje su uzorci često znatno veći od ovog, -test i linearni model korisni su zadani alati za analizu razlika i trendova u mnogim vrstama podataka, ne samo onima s normalnom raspodjelom. Formalni statistički testovi za normalnost posebno su nepoželjni jer će imati malu snagu u malim uzorcima gdje je raspodjela bitna, a veliku snagu samo u velikim uzorcima gdje je raspodjela nevažna.

Iako su svojstva linearne regresije velikih uzoraka dobro shvaćena, malo je istraživanja veličine uzoraka potrebnih da bi pretpostavka o normalnosti bila nevažna. Konkretno, nije jasno kako potrebna veličina uzorka ovisi o broju prediktora u modelu.

Fokus na normalnim raspodjelama može odvratiti od stvarnih pretpostavki ovih metoda. Linearna regresija pretpostavlja da je varijanca varijable ishoda približno konstantna, ali primarno ograničenje obje metode je da pretpostavljaju da je dovoljno ispitati promjene u srednjoj vrijednosti varijable ishoda. Ako je neki drugi sažetak raspodjele veći interes, t-test i linearna regresija možda neće biti prikladni.

Da rezimiramo: normalnost uglavnom nije vrijedna rasprave ili pažnje koju dobiva za razliku od važnosti odgovora na određeno znanstveno pitanje. Ako se želi sumarizirati srednje razlike u podacima, t-test i ANOVA ili linearna regresija opravdani su u mnogo širem smislu. Ispitivanja koja se temelje na ovim modelima ostaju na ispravnoj alfa razini, čak i kada distribucijske pretpostavke nisu ispunjene, iako to može imati negativan utjecaj.

Razlozi zbog kojih normalne raspodjele mogu dobiti pažnju koju imaju mogu biti iz klasičnih razloga, gdje bi se mogli dobiti točni testovi na temelju F-raspodjele za ANOVA i Student-T-raspodjele za T-test. Istina je da se, među mnogim modernim napredcima znanosti, općenito bavimo većim skupovima podataka nego što su prethodno prikupljeni. Ako se netko zapravo bavi malim skupom podataka, obrazloženje da se ti podaci normalno distribuiraju ne može proizaći iz samih tih podataka: jednostavno nema dovoljno snage. Napomena o drugim istraživanjima, replikacijama ili čak o biologiji ili znanosti o mjernom procesu je, po mom mišljenju, puno opravdaniji pristup raspravi o mogućem modelu vjerojatnosti koji je temelj promatranih podataka.

Iz tog razloga, odabir testa temeljenog na rangu kao alternativu u potpunosti promašuje poantu. Međutim, složit ću se da upotreba robusnih procjenitelja varijance poput jackknifea ili bootstrapa nudi važne računske alternative koje dopuštaju provođenje testova pod raznim važnijim kršenjima specifikacije modela, poput neovisnosti ili identične raspodjele tih pogrešaka.

#11
+7
probabilityislogic
2012-02-05 06:52:01 UTC
view on stackexchange narkive permalink

Mislim da bi ovdje mogao biti koristan pristup maksimalne entropije. Možemo dodijeliti normalnu distribuciju jer vjerujemo da su podaci "normalno distribuirani" (što god to značilo) ili zato što očekujemo samo odstupanja otprilike iste Veličine. Također, budući da normalna raspodjela ima samo dvije dovoljne statistike, neosjetljiva je na promjene podataka koje ne mijenjaju ove veličine. Dakle, u određenom smislu možete zamisliti normalnu raspodjelu kao "prosjek" svih mogućih raspodjela s istim prvim i drugim momentima. ovo pruža jedan od razloga zašto bi najmanji kvadrati trebali raditi jednako dobro.

Lijepo premošćivanje koncepata.Također se slažem da je u slučajevima kada je takva distribucija bitna, puno svjetlije razmišljati o tome * kako se generiraju podaci.Taj princip primjenjujemo u ugradnji mješovitih modela.Koncentracije ili omjeri s druge strane uvijek su iskrivljeni.Mogao bih dodati da pod pojmom "normalno ... nije osjetljivo na promjene" podrazumijevate nepromjenjive promjene oblika / razmjera.
#12
+7
Michael R. Chernick
2012-05-04 22:38:13 UTC
view on stackexchange narkive permalink

Argument koji ste dali je mišljenje. Mislim da je važnost ispitivanja normalnosti osigurati da podaci ne odstupaju ozbiljno od normalnih. Ponekad ga koristim da odlučim između upotrebe parametarskog i neparametrijskog testa za svoj postupak zaključivanja. Mislim da test može biti koristan u umjerenim i velikim uzorcima (kada teorem o središnjoj granici ne uđe u igru). Obično koristim Wilk-Shapiro ili Anderson-Darling testove, ali pokrećući SAS dobivam ih sve i oni se uglavnom prilično slažu. S druge strane, mislim da grafički postupci poput Q-Q grafikona djeluju jednako dobro. Prednost formalnog testa je u tome što je objektivan. U malim uzorcima točno je da ovi testovi dobrog prilagođavanja nemaju praktički nikakvu snagu i to ima intuitivnog smisla jer bi mali uzorak iz normalne raspodjele mogao slučajno izgledati prilično normalno, a to se uzima u obzir u testu. Također veliki iskosi i kurtoza koji razlikuju mnoge nenormalne raspodjele od normalnih raspodjela nisu lako uočiti u malim uzorcima.

Iako se zasigurno može koristiti na taj način, mislim da nećete biti objektivniji nego s QQ-plotom. Subjektivni dio testova je kada odlučiti da vaši podaci nisu normalni. S velikim uzorkom odbijanja pri p = 0,05 moglo bi biti pretjerano.
Prethodno testiranje (kao što je ovdje predloženo) može onesposobiti stopu pogrešaka tipa I cjelokupnog postupka; treba uzeti u obzir činjenicu da je učinjeno prethodno testiranje pri tumačenju rezultata bilo kojeg testa koji je odabrao. Općenitije, testove hipoteza trebalo bi zadržati za testiranje nište hipoteze do koje je zapravo stalo, tj. Da ne postoji povezanost između varijabli. Ništa hipoteza da su podaci točno normalni ne spada u ovu kategoriju.
(+1) Ovdje ima izvrsnih savjeta. Erik, i mene je upotreba "objektiva" zatekla, sve dok nisam shvatio Michaelovo pravo: dvoje ljudi koji pravilno provode isti test na istim podacima uvijek će dobiti istu vrijednost p, ali mogu isto tumačiti Q-Q grafiku različito. Gost: hvala na upozorenju o pogrešci tipa I. Ali zašto nam ne bi bilo stalo do distribucije podataka? To su često zanimljive i vrijedne informacije. Barem želim znati jesu li podaci u skladu s pretpostavkama koje moji testovi o njima iznose!
Ja se u potpunosti ne slažem. Oboje dobivaju istu QQ-plohu i jednaku p-vrijednost. Da biste protumačili p-vrijednost, morate uzeti u obzir veličinu uzorka i kršenja normalnosti na koja je vaš test posebno osjetljiv. Dakle, odlučivanje što učiniti s vašom vrijednosti p jednako je subjektivno. Razlog zašto biste možda više voljeli p-vrijednost je taj što vjerujete da bi podaci mogli slijediti savršenu normalnu raspodjelu - inače je samo pitanje koliko brzo p-vrijednost pada s veličinom uzorka. Što je još više, s obzirom na pristojnu veličinu uzorka, QQ-ploha izgleda približno isto i ostaje stabilna s više uzoraka.
Erik, slažem se da rezultati ispitivanja i grafika zahtijevaju tumačenje. Ali rezultat testa je * broj * i oko njega neće biti spora. Međutim, QQ radnja dopušta više opisa. Iako objektivno objektivno mogu biti točne, izbor onoga na što treba obratiti pažnju je ... izbor. To znači „subjektivno“: rezultat ovisi o analitičaru, a ne samo o samom postupku. Zbog toga se, na primjer, u raznovrsnim postavkama poput kontrolnih karata i državnih propisa gdje je "objektivnost" važna, kriteriji temelje na * numeričkim * testovima i * nikad * grafičkim rezultatima.
Jako sam iznenađen da bi itko tvrdio da ispitivanje formalne hipoteze više nije objektivno od proučavanja QQ zapleta. Mislim da je Bill Huber dobro objasnio što bih rekao pobijanjem. Ne znam mogu li se Eriku predomisliti u vezi s tim, ali dodao bih da ste odabrali statistiku testa i kritičnu vrijednost na temelju razine značajnosti za koju ste se odlučili (odabir razine važnosti može biti po tradiciji kao što je odabir 0,05 ili o vama može odlučiti vaše subjektivno obrazloženje o tome koji rizik želite preuzeti zbog činjenja pogreške tipa I).
Sve se to može učiniti prije prikupljanja bilo kakvih podataka. U tom je trenutku odluka deterministička. Prikupljate podatke, izračunavate statistiku testa, a zatim odbijate ako premašuje kritičnu vrijednost i ne odbijate ako ne. Na temelju podataka ne mijenjate ništa. S QQ crtežom nema unaprijed određenog pravila. U osnovi kreirate radnju na temelju podataka i sami odlučujete na temelju onoga što vidite bez obzira mislite li da podaci blisko prate ravnu crtu. Dvije se osobe mogu zasigurno razlikovati na temelju osobne prosudbe koja dolazi od gledanja na rezultat.
Mislim da ovdje govorimo o mišljenjima. Tada je po mom mišljenju loša praksa podučavati da je test normalnosti objektivni standard koji provjerava / odbacuje normalnost. Rezultat testa samo je algoritam koji ne informira o valjanosti pretpostavke normalnosti i kretanja naprijed. Umjesto toga, Q-Q zaplet je izričit: VI morate odlučiti što je ili nije važno (odstupanje) i tjera vas da se zapitate postoji li možda neka alternativa koja čini da to izgleda bolje (čak i samo linearna transformacija)
#13
+7
Michael R. Chernick
2012-05-05 22:27:18 UTC
view on stackexchange narkive permalink

Mislim da su prva dva pitanja temeljito odgovorena, ali mislim da pitanje 3 nije adresirano. Mnogi testovi uspoređuju empirijsku raspodjelu s poznatom pretpostavljenom raspodjelom. Kritična vrijednost za test Kolmogorov-Smirnov temelji se na tome da je F u potpunosti naveden. Može se modificirati za testiranje parametarske raspodjele s procijenjenim parametrima. Dakle, ako neizrazito podrazumijeva procjenu više od dva parametra, onda je odgovor na pitanje da. Ovi testovi mogu se primijeniti na 3 ili više obitelji parametara. Neki su testovi osmišljeni tako da imaju bolju snagu prilikom testiranja protiv određene obitelji distribucija. Primjerice, pri ispitivanju normalnosti Anderson-Darlingov ili Shapiro-Wilkov test imaju veću snagu od K-S ili hi kvadrat kad je nulta hipotetizirana raspodjela normalna. Lillefors je osmislio test koji je poželjan za eksponencijalne raspodjele.

#14
+7
kolonel
2014-10-25 01:00:55 UTC
view on stackexchange narkive permalink

Ne bih rekao da je beskoristan, ali stvarno ovisi o aplikaciji. Imajte na umu da nikada zapravo ne znate iz koje distribucije dolaze podaci, a sve što imate je mali skup realizacija. Srednja vrijednost vašeg uzorka uvijek je konačna u uzorku, ali srednja vrijednost može biti nedefinirana ili beskonačna za neke vrste funkcija gustoće vjerojatnosti. Razmotrimo tri vrste Levyevih stabilnih raspodjela, tj. Normalna raspodjela, Levyjeva raspodjela i Cauchyjeva raspodjela. Većina vaših uzoraka nema puno opažanja na repu (tj. Daleko od srednje vrijednosti uzorka). Dakle, empirijski je vrlo teško razlikovati to troje pa bi se Cauchy (ima nedefiniranu srednju vrijednost) i Levy (ima beskonačnu srednju vrijednost) lako mogao zamaskirati kao normalnu raspodjelu.

"... empirijski je vrlo teško ..." čini se da tvrdi * protiv *, umjesto * za *, distribucijsko testiranje.To je neobično čitati u odlomku čiji uvod sugerira da zaista postoje namjene za distribucijsko testiranje.Što onda zapravo pokušavaš reći ovdje?
Protivim se tome, ali također želim biti oprezan nego samo reći da je beskoristan jer ne znam čitav niz mogućih scenarija vani.Postoje mnogi testovi koji ovise o pretpostavci normalnosti.Reći da je ispitivanje normalnosti beskorisno u osnovi razotkriva sve takve statističke testove jer kažete da niste sigurni koristite li se / činite li ispravnu stvar.U tom slučaju to ne biste trebali raditi, ne biste trebali raditi ovaj veliki dio statistike.
Hvala vam.Čini se da su primjedbe u tom komentaru bolje usmjerene na pitanje nego što je vaš izvorni odgovor!Mogli biste razmisliti o ažuriranju svog odgovora u nekom trenutku kako biste svoja mišljenja i savjete učinili jasnijima.
@whuber Nema problema.Možete li preporučiti uređivanje?
Možete započeti kombiniranjem dvaju postova - odgovora i komentara - i onda razmisliti o uklanjanju (ili prenošenju u dodatak ili pojašnjenju) bilo kojeg materijala koji bi mogao biti tangencijalan.Na primjer, pozivanje na nedefinirana sredstva još nema jasnog utjecaja na pitanje, pa ostaje pomalo tajanstveno.
@whuber U redu, pokušat ću poboljšati.Hvala.
#15
+5
wvguy8258
2013-12-07 22:02:42 UTC
view on stackexchange narkive permalink

Testovi gdje je "nešto" važno za analizu podržano visokim p-vrijednostima mislim da su u krivu. Kao što su drugi istaknuli, za velike skupove podataka osigurana je p-vrijednost ispod 0,05. Dakle, test u osnovi "nagrađuje" za male i nejasne skupove podataka, a "nagrađuje" za nedostatak dokaza. Nešto poput qq plotova puno je korisnije. Želja za čvrstim brojevima da uvijek odlučuju o ovakvim stvarima (da / ne normalno / ne normalno) nedostaje da je modeliranje djelomično umjetnost i kako se hipoteze zapravo podržavaju.

Ostaje da će veliki uzorak koji je gotovo normalan imati nisku vrijednost p, dok manji uzorak koji nije ni približno normalan često neće. Ne mislim da su velike vrijednosti p korisne. Opet, nagrađuju zbog nedostatka dokaza. Mogu dobiti uzorak s nekoliko milijuna točaka podataka i on će gotovo uvijek odbaciti pretpostavku normalnosti prema ovim testovima, dok manji uzorak neće. Stoga smatram da nisu korisne. Ako je moje razmišljanje manjkavo, molim vas pokažite to koristeći neko deduktivno obrazloženje u vezi s tim.
Ovo uopće ne odgovara na pitanje.
#16
-3
Hotaka
2013-09-29 21:04:38 UTC
view on stackexchange narkive permalink

Jedno dobro korištenje testa normalnosti koje mislim da nije spomenuto jest utvrđivanje je li korištenje z-rezultata u redu. Recimo da ste odabrali slučajni uzorak iz populacije i želite pronaći vjerojatnost odabira jednog slučajnog pojedinca iz populacije i dobiti vrijednost 80 ili veću. To se može učiniti samo ako je raspodjela normalna, jer za korištenje z-rezultata pretpostavlja se da je raspodjela populacije normalna.

Ali onda pretpostavljam da vidim da je i ovo diskutabilno ...

Vrijednost čega? Prosjek, zbroj, odstupanje, pojedinačno promatranje? Samo se posljednja oslanja na pretpostavljenu normalnost raspodjele.
mislio sam na pojedinca
Hvala. Vaš je odgovor, međutim, toliko nejasan da je teško reći na koje postupke mislite i nemoguće je procijeniti jesu li vaši zaključci valjani.
Problem s ovom uporabom jednak je kao i s drugom uporabom: test će ovisiti o veličini uzorka, tako da je u osnovi beskoristan. Ne govori vam možete li koristiti z rezultate.


Ova pitanja su automatski prevedena s engleskog jezika.Izvorni sadržaj dostupan je na stackexchange-u, što zahvaljujemo na cc by-sa 2.0 licenci pod kojom se distribuira.
Loading...