Pitanje:
Unakrsna provjera na običnom engleskom?
Shane
2010-08-18 18:11:19 UTC
view on stackexchange narkive permalink

Kako biste opisali unakrsnu provjeru valjanosti nekome tko nema pozadinu analize podataka?

Ovo pitanje je za pomoć pri bilo kakvoj zabuni oko prijedloga naziva web mjesta: http://meta.stats.stackexchange.com/questions/21/what-should-our-site-be-called-what-should-our-domain- name-be / 53 # 53.
Pet odgovori:
#1
+57
user28
2010-08-18 18:38:30 UTC
view on stackexchange narkive permalink

Razmotrimo sljedeću situaciju:

Želim uhvatiti podzemnu željeznicu da bih otišao u svoj ured. Plan mi je da odem automobilom, parkiram se u podzemnoj željeznici, a zatim vozom odem do mog ureda. Cilj mi je uhvatiti vlak svaki dan u 8.15 sati kako bih stigao na vrijeme u svoj ured. Moram odlučiti sljedeće: (a) vrijeme u kojem moram napustiti svoj dom i (b) put kojim ću se voziti do stanice.

U gore navedenom na primjer, imam dva parametra (tj. vrijeme polaska od kuće i rutu kojom treba ići do stanice) i moram odabrati te parametre tako da do stanice dolazim do 8.15 sati.

Kako bih riješio gornji problem, mogu isprobati različite skupove 'parametara' (tj. različitu kombinaciju vremena polaska i rute) ponedjeljkom, srijedom i petkom, da vidim koja je kombinacija 'najbolji. Ideja je da, nakon što prepoznam najbolju kombinaciju, mogu je koristiti svaki dan kako bih postigla svoj cilj.

Problem prekomjerne opreme

Problem s gornjim pristupom je da se mogu pretjerati, što u osnovi znači da bi najbolja kombinacija koju identificiram u nekom smislu mogla biti jedinstvena za ponedjeljak, srijedu i petak, a ta kombinacija možda neće uspjeti za utorak i četvrtak. Prekomjerno opremanje može se dogoditi ako u potrazi za najboljom kombinacijom vremena i ruta iskoristim neki aspekt prometne situacije u ponedjeljak / srijedu / petak, koji se ne događa u utorak i četvrtak.

Jedno rješenje do prekomjerne prilagodbe: unakrsna provjera

unakrsna provjera valjanosti jedno je od rješenja za prekomjernu prilagodbu. Ideja je da nakon što identificiramo svoju najbolju kombinaciju parametara (u našem slučaju vremena i rute) testiramo izvedbu tog skupa parametara u drugom kontekstu. Stoga bismo možda htjeli testirati i na utorak i četvrtak kako bismo osigurali da naši izbori funkcioniraju i za one dane.

Proširivanje analogije na statistiku

U statistikama imamo sličan problem. Često koristimo ograničeni skup podataka za procjenu nepoznatih parametara koje ne poznajemo. Ako se pretjeramo, tada će naše procjene parametara funkcionirati vrlo dobro za postojeće podatke, ali ne i kada ih koristimo u drugom kontekstu. Dakle, unakrsna provjera valjanosti pomaže u izbjegavanju gore navedenog problema prekomjerne opremljenosti dokazujući nam neko uvjeravanje da procjene parametara nisu jedinstvene za podatke koje smo koristili za njihovu procjenu.

Naravno, unakrsna provjera valjanosti nije savršena. Vraćajući se našem primjeru podzemne željeznice, može se dogoditi da čak i nakon unakrsne provjere valjanosti, naš najbolji odabir parametara možda neće funkcionirati mjesec dana zbog raznih problema (npr. Gradnja, promjene prometa tijekom vremena itd.). / p>

Tehnički, ovo je validacija čekanja, ali može se zamisliti da se primjer podzemne željeznice proširuje na kontekst unakrsne validacije. Ako pomogne, ponovo ću napisati primjer, a ostatak teksta kako bi bio specifičan za unakrsnu provjeru valjanosti.
@srikant..riječ koja se prekomjerno uklapa kao riječ sugerira mi da je nešto "pretjerano" učinjeno što znači ..više nego što je potrebno..pa što je pretjerano učinjeno? Nije li to varijabla? Žao mi je što sam mnogo puta čuo izraz prekomjerno opremanje i uzeo bih ovu priliku da to raščistim sa vama.
Mislim da bi se ovaj odgovor poboljšao dodavanjem koncepta pregiba, što je ključ u tome kako se CV razlikuje od testiranja zadržavanja.U primjeru (upotreba kratice M za ponedjeljak, T za utorak, ..., R za četvrtak, ...): Dakle, pogledajte TWRF za najbolju kombinaciju i pogledajte kako to djeluje na M, zatim MWRF i pogledajte kako to funkcioniraradi na T, itd. Dakle, svaki dan se koristi kao dio problema četiri puta i kao provjera problema jednom, ali nikada kao problem i provjera u istom krugu.
#2
+44
Shane
2010-08-18 18:20:29 UTC
view on stackexchange narkive permalink

Mislim da je to najbolje opisati sljedećom slikom (u ovom slučaju prikazuje k-fold unakrsnu provjeru valjanosti):

alt text

Unakrsna provjera valjanosti je tehnika koja se koristi za zaštitu od prekomjerne prilagodbe u prediktivnom modelu, posebno u slučaju kada količina podataka može biti ograničena. U unakrsnoj provjeri valjanosti napravite fiksni broj nabora (ili particija) podataka, pokrenete analizu na svakom preklopu i zatim prosječite ukupnu procjenu pogreške.

Čini se da su dana rasprave na drugim mjestima na ovom mjestu da je k-fold unakrsna provjera valjanosti samo jedna vrsta unakrsne provjere valjanosti i njezino opisivanje ne čini opći posao opisivanja toga što je unakrsna provjera valjanosti.
@drknexus: To je pošteno, ali spominjem da je k-fold i htio sam pružiti vizualizaciju postupka kako bih to objasnio.
Kratko pojašnjenje: je li slučaj da nfold = 4 znači 25% za testni set;nfold = 5 znači 20% za test set;nfold = 10 znači 10% za testni set, i tako dalje: nfold = n znači da 100 / n posto ulazi u testni set?
#3
+10
Andre Holzner
2010-08-19 00:09:38 UTC
view on stackexchange narkive permalink

"Izbjegavajte napamet učiti podatke o treningu vodeći računa da se obučeni model dobro ponaša na neovisnim podacima."

Ovo je motivacija za cv, a ne opis samog cv-a.
#4
+6
user88
2010-08-18 20:14:02 UTC
view on stackexchange narkive permalink

Recimo da istražite neki postupak; prikupili ste neke podatke koji to opisuju i stvorili ste model (bilo statistički ili ML, nije važno). Ali sada, kako prosuditi je li to u redu? Vjerojatno sumnjivo odgovara podacima na kojima je izgrađen, pa nitko neće vjerovati da je vaš model tako sjajan da mislite.
Prva ideja je odvojiti podskup podataka i koristiti ga za testiranje izrade modela po vašoj metodi na ostatku podataka. Sada je rezultat definitivno bez previše opremanja, unatoč tome (pogotovo za male setove) mogli ste imati (ne) sreće i izvući (manje) jednostavnije slučajeve za testiranje, čineći ga (težim) lakšim za predviđanje ... Također vaša točnost / procjena pogreške / dobrobiti beskorisna je za usporedbu / optimizaciju modela, jer vjerojatno ne znate ništa o njegovoj raspodjeli.
Ako sumnjate, upotrijebite grubu silu, pa samo ponovite gornji postupak, prikupite nekoliko procjena točnosti / pogreške / dobrote i prosjeka njih - i tako dobivate unakrsnu provjeru valjanosti. Među boljim procjenama dobit ćete i histogram, tako da ćete moći približno odrediti raspodjelu ili izvesti neka neparametarska ispitivanja.
I to je to; detalji razdvajanja ispitnih vlakova razlog su različitih vrsta CV-a, iako su, osim u rijetkim slučajevima i malim razlikama u čvrstoći, prilično ekvivalentni. Zapravo je to velika prednost, jer je čini metodom poštene metke; vrlo je teško to prevariti.

#5
+3
ebony1
2010-08-20 02:50:48 UTC
view on stackexchange narkive permalink

Budući da u vrijeme treninga nemate pristup testnim podacima i želite da vaš model dobro posluje s nevidljivim testnim podacima, "pretvarate se" da imate pristup nekim testnim podacima ponovnim poduzorkovanjem mali dio podataka o treningu, držite ovaj set tijekom treninga modela, a zatim tretirajte izdržani set kao proxy prema podacima testa (i odaberite parametre modela koji daju najbolje performanse na zadržanim podacima). Nadate se da biste slučajnim uzorkovanjem različitih podskupina iz podataka s treninga mogli učiniti da izgledaju poput testnih podataka (u smislu prosječnog ponašanja), pa će stoga naučeni parametri modela biti dobri i za testne podatke (tj. Vaš model dobro generalizira za neviđene podatke).



Ova pitanja su automatski prevedena s engleskog jezika.Izvorni sadržaj dostupan je na stackexchange-u, što zahvaljujemo na cc by-sa 2.0 licenci pod kojom se distribuira.
Loading...