Pitanje:
Zašto je višestruka usporedba problem?
AgCl
2010-08-09 23:03:54 UTC
view on stackexchange narkive permalink

Teško mi je shvatiti u čemu je zapravo problem s više usporedbi . Jednostavnom analogijom kaže se da će osoba koja će donijeti mnogo odluka napraviti mnogo pogrešaka. Stoga se primjenjuju vrlo konzervativne mjere opreza, poput Bonferronijeve korekcije, kako bi se vjerojatnost da će ta osoba uopće počiniti što manja.

Ali zašto nam je stalo do toga je li osoba uopće učinila pogrešku među svim odlukama koje je donijela, a ne do postotka pogrešnih odluka?

Dopustite mi da pokušam objasniti što me zbunjuje s drugom analogijom. Pretpostavimo da postoje dva suca, jedan ima 60 godina, a drugi 20 godina. Tada Bonferronijev ispravak kaže onom koji ima 20 godina da bude što konzervativniji pri odlučivanju za izvršenje, jer će još puno godina raditi kao sudac, donosit će još mnogo odluka, pa mora biti oprezan. Ali onaj sa 60 godina vjerojatno će se uskoro povući, donijet će manje odluka, pa može biti neoprezniji u usporedbi s drugim. Ali zapravo bi oba suca trebala biti jednako oprezna ili konzervativna, bez obzira na ukupan broj odluka koje će donijeti. Mislim da se ova analogija više-manje prevodi u stvarne probleme gdje se primjenjuje Bonferronijeva korekcija, što smatram protuintuitivnim.

zapravo nije odgovor na vaše pitanje, ali jeste li naišli na False Discovery Stope (FDR)? "Izvan Bonferronija", Narum: http://www.springerlink.com/content/c5047h0084528056/
Pet odgovori:
#1
+40
John
2010-08-09 23:55:56 UTC
view on stackexchange narkive permalink

Naveli ste nešto što je klasični kontra argument Bonferronijevim ispravkama. Ne bih li trebao prilagoditi svoj alfa kriterij na temelju svakog testa koji ću ikad napraviti? Ovakva implikacija ad absurduma je razlog zašto neki ljudi uopće ne vjeruju u ispravke stila Bonferroni. Ponekad je vrsta podataka s kojima se netko bavi u svojoj karijeri takva da to nije problem. Za suce koji donesu jednu ili vrlo malo odluka o svakom novom dokazu, ovo je vrlo valjan argument. Ali što je sa sucem s 20 optuženika i koji svoju presudu temelji na jednom velikom nizu podataka (npr. Ratni sudovi)?

Zanemarujete udarce u dijelu argumenta. Općenito znanstvenici traže nešto - p-vrijednost manju od alfa. Svaki pokušaj pronalaska još je jednog udarca u limenku. Na kraju će se naći ako se na njega napravi dovoljno snimaka. Stoga bi za to trebali biti kažnjeni.

Način na koji usklađujete ova dva argumenta je shvatiti da su oba istinita. Najjednostavnije rješenje je razmotriti ispitivanje razlika unutar pojedinog skupa podataka kao izbacivanje problema vrste limenki, ali to širenje opsega korekcije izvan koje bi bilo sklisko.

Ovo je uistinu težak problem u brojnim poljima, posebno u FMRI-ju, gdje se uspoređuju tisuće podatkovnih točaka, a slučajno će sigurno doći do nekih značajnih podataka. S obzirom na to da je polje bilo povijesno vrlo istraživačko, treba poduzeti nešto kako bi se ispravilo činjenicom da će stotine područja mozga izgledati značajno samo slučajno. Stoga su u tom polju razvijene mnoge metode prilagodbe kriterija.

S druge strane, u nekim se poljima može najviše tražiti 3 do 5 razina varijable i uvijek se samo testira svaka kombinacija ako se dogodi značajna ANOVA. Poznato je da ovo ima nekih problema (pogreške tipa 1), ali nije osobito strašno.

Ovisi o vašem gledištu. Istraživač FMRI prepoznaje stvarnu potrebu za promjenom kriterija. Osoba koja gleda malu ANOVU može osjetiti da tu očito postoji nešto iz testa. Ispravno konzervativno gledište na više usporedbi je uvijek učiniti nešto s njima, ali samo na temelju jednog skupa podataka. Svi novi podaci resetiraju kriterij ... osim ako niste Bayesov ...

Hvala, bilo mi je od velike pomoći. Izglasat ću ga kad budem imao dovoljno predstavnika.
Istraživač FMRI vjerojatno bi također koristio kriterij Stopa lažnih otkrića (FDR), jer jamči alfa * 100% lažnih pozitivnih rezultata tijekom dugog razdoblja testova.
@John, Možete li odgovoriti na ovo pitanje https://stats.stackexchange.com/questions/431011/should-i-correct-p-values-when-the-exact-same-dataset-is-not-being-used-for-Mult, bio bih sretan, ako mi možete pomoći.
#2
+26
John D. Cook
2010-08-10 04:39:56 UTC
view on stackexchange narkive permalink

Ugledni statističari zauzeli su široku paletu stavova o višestrukim usporedbama. To je suptilna tema. Ako netko misli da je to jednostavno, pitao bih se koliko je o tome razmišljao.

Evo zanimljive Bayesove perspektive višestrukog testiranja Andrewa Gelmana: Zašto se (obično) ne brinemo o višestrukim usporedbama.

Ono što mi se čini zanimljivim u ovom radu je da je * perspektiva * Bayesova, ali hijerarhijski pristup modeliranja koji se nudi kao zamjena za ispravke za više usporedbi * ne * zahtijeva da budete Bayesovci.
Upravo sam gledao taj članak; Mislim da možda to treba više citirati. Mrzim efekte ispiranja u kanalizaciji jer napredne tehnike višestruke usporedbe nisu dobro poznate ili ih je lako učiniti. Suprotno tome, lmerov pristup jednostavno je jednostavan. Pitam se postoje li s tim ozbiljni problemi koje treba razmotriti.
Ali pogledajte Gelmanov post iz 2014. [U jednoj od užasnih ironija života napisao sam rad "Zašto se (obično) ne moramo brinuti o više usporedbi", ali sada puno vremena provodim brinući se o više usporedbi) (http: //andrewgelman.com/2014/10/14/one-lifes- horrible-ironies-wrote-paper-usually-dont-worry-multiple-comparisons-now-spend-lots-time-worrying-multiple-comparisons/).
#3
+13
pmgjones
2010-08-10 03:18:23 UTC
view on stackexchange narkive permalink

Povezano s prethodnim komentarom, ono što bi istraživač fMRI trebao zapamtiti jest da su najvažniji klinički važni ishodi, a ne pomak gustoće jednog piksela na fMRI mozga. Ako to ne rezultira kliničkim poboljšanjem / štetom, nema veze. To je jedan od načina smanjenja zabrinutosti zbog višestrukih usporedbi.

Vidi također:

  1. Bauer, P. (1991). Višestruko ispitivanje u kliničkim ispitivanjima. Stat Med, 10 (6), 871-89; rasprava 889-90.
  2. Proschan, M. A. & Waclawiw, M. A. (2000). Praktične smjernice za prilagodbu višestrukosti u kliničkim ispitivanjima. Ispitivanja kontrolnih klinika, 21 (6), 527-39.
  3. Rothman, K. J. (1990). Nisu potrebne prilagodbe za više usporedbi. Epidemiologija (Cambridge, Massachusetts), 1 (1), 43-6.
  4. Perneger, T. V. (1998). Što nije u redu s podešavanjima bonferronija. BMJ (Clinical Research Ed.), 316 (7139), 1236-8.
Ovo također svakako vrijedi citirati: http://prefrontal.org/files/posters/Bennett-Salmon-2009.jpg
Siguran sam da su se zabavili pitajući mrtvog lososa o njegovim osjećajima !!!
Ovaj post također ima korisne reference povezane s RCT-ima: http://j.mp/bAgr1B.
#4
+10
robin girard
2010-08-10 02:18:01 UTC
view on stackexchange narkive permalink

Da biste popravili ideje: uzet ću slučaj kada obrnete, $ n $ neovisne slučajne varijable $ (X_i) _ {i = 1, \ dots, n} $ takav da za $ i = 1, \ dots, n $ $ X_i $ crpi se iz $ \ mathcal {N} (\ theta_i, 1) $ . Pretpostavljam da želite znati koji od njih imaju vrijednost nula nula, formalno želite testirati:

$ H_ {0i}: \ theta_i = 0 $ span> Vs $ H_ {1i}: \ theta_i \ neq 0 $

Definicija praga: Imate $ n $ odluke koje trebate donijeti i možda imate drugačiji cilj. Za zadani test $ i $ zasigurno ćete odabrati prag $ \ tau_i $ i odlučiti da ne prihvatiti $ H_ {0i} $ ako je $ | X_i | > \ tau_i $ .

Različite opcije: Morate odabrati pragove $ \ tau_i $ i za to imate dvije mogućnosti :

  1. odaberite isti prag za sve

  2. da biste odabrali drugi prag za sve (najčešće prag podataka, vidi dolje).

Različiti ciljevi: Ove se opcije mogu pokretati za različite ciljevi kao što je

  • Kontrola vjerojatnosti pogrešnog odbijanja $ H_ {0i} $ za jednog ili više od jednog $ i $ .

  • Kontroliranje očekivanja lažne al omjer ruke (ili stopa lažnog otkrivanja)

    Što vam je na kraju cilj, dobra je ideja koristiti podatkovni prag.

Moj odgovor na vaše pitanje: vaša je intuicija povezana s glavnom heuristikom za odabir praga podataka. Slijedi sljedeće (u izvoru Holmovog postupka koji je moćniji od Bonferonija):

Zamislite da ste već donijeli odluku za $ p $ span> najniži $ | X_ {i} | $ i odluka je prihvatiti $ H_ {0i} $ span > za sve njih. Tada morate izvršiti samo usporedbe $ np $ i niste riskirali da odbijete $ H_ {0i} $ pogrešno! Budući da niste iskoristili svoj proračun, možda ćete malo više riskirati za preostali test i odabrati veći prag.

U slučaju vaših sudaca: pretpostavljam ( i pretpostavljam da biste trebali učiniti isto) da obojica suca imaju jednak proračun za lažne optužbe za svoj život. 60-godišnji sudac možda je manje konzervativan ako u prošlosti nije nikoga optuživao! Ali ako je već iznio puno optužbi, bit će konzervativniji i možda čak i više od najmlađeg suca.

Mislim da imate hipotezu u svojim hipotezama - čini se da su obje iste ...
#5
+4
peuhp
2016-01-05 00:52:28 UTC
view on stackexchange narkive permalink

Ilustrativni (i smiješni) članak ( http://www.jsur.org/ar/jsur_ben102010.pdf) o potrebi ispravljanja višestrukog testiranja u nekoj praktičnoj studiji koja razvija mnoge varijable, na primjer funkcionalni MRI (fMRI). Ovaj kratki navod sadrži većinu poruke:

"[...] dovršili smo sesiju fMRI skeniranja s post-mortem Atlantskim lososom kao subjektom. Lososu je prikazan isti zadatak zauzimanja socijalne perspektive koji je kasnije dodijeljen grupi ljudi. "

što je, prema mom iskustvu, sjajan argument za poticanje korisnika na višestruko testiranje ispravke.



Ova pitanja su automatski prevedena s engleskog jezika.Izvorni sadržaj dostupan je na stackexchange-u, što zahvaljujemo na cc by-sa 2.0 licenci pod kojom se distribuira.
Loading...