Pitanje:
Prednosti izvođenja "dvostrukog lasa" ili dvostrukog izvođenja lasa?
Bstat
2012-09-26 03:53:12 UTC
view on stackexchange narkive permalink

Jednom sam čuo metodu dvaput korištenja lasa (poput dvostrukog lasa) gdje izvodite laso na izvornom skupu varijabli, recimo S1, dobivate rijetki skup zvan S2, a zatim izvodite laso opet na skupu S2 da biste dobiti skup S3. Postoji li za to metodološki pojam? Također, koje su prednosti dvostrukog lasso rada?

Dva odgovori:
Néstor
2012-09-26 09:22:24 UTC
view on stackexchange narkive permalink

Da, postupak koji tražite (ili na koji mislite) naziva se opušteni laso .

Općenita je ideja da u postupak izvođenja LASSO-a po prvi puta vjerojatno uključujete "varijable buke"; izvođenje LASSO-a na drugom skupu varijabli (nakon prvog LASSO-a) daje manje konkurencije između varijabli koje su "stvarni konkurenti" tome što su dio modela, a ne samo varijable "buke". Tehnički, cilj ove metode je prevladavanje (poznate) spore konvergencije LASSO-a u skupovima podataka s velikim brojem varijabli.

O tome možete više pročitati na izvornom radu Meinshausen (2007).

Također preporučujem odjeljak 3.8.5 o elementima statističkog učenja (Hastie, Tibshirani & Friedman, 2008), koji daje pregled drugih vrlo zanimljivih metoda za obavljanje odabira varijabli pomoću LASSO-a.

Hvala! Svakako ću pogledati Meinshausenov članak.
luispedro
2012-09-26 15:59:00 UTC
view on stackexchange narkive permalink

Ideja je razdvojiti dva učinka laso

  1. Odabira varijabli (tj. mnogi, čak i većina, $ \ beta $ s su nula)
  2. Koeficijent skupljanja (tj. čak su i nula $ \ beta $ s manje, u apsolutnoj vrijednosti, nego u nepenaliziranoj regresiji). To je često dobro čak i bez odabira jer izbjegavate prekomjerno uklapanje.

Ako imate mnogo varijabli ($ p > \! \! > n $), a koristite laso, tada želite imati veliku kaznu za odabir malog broja varijabli. Međutim, ova kazna mogla bi previše smanjiti odabrane varijable (nedovoljno ste u formi).

Ideja opuštenog lasa je da razdvojite dva učinka: na prvom dodavanju koristite visoku kaznu za odabir varijable; i manju kaznu pri drugom dodavanju radi smanjenja za manji iznos.

Izvorni članak (kako ga je povezao Néstor) daje više detalja.



Ova pitanja su automatski prevedena s engleskog jezika.Izvorni sadržaj dostupan je na stackexchange-u, što zahvaljujemo na cc by-sa 3.0 licenci pod kojom se distribuira.
Loading...