Pitanje:
Kullback-Leiblerova divergencija - interpretacija
user3016
2011-02-02 21:07:43 UTC
view on stackexchange narkive permalink

Imam pitanje o Kullback-Leiblerovoj divergenciji.

Može li netko objasniti zašto je "udaljenost" između plave gustoće i "crvene" gustoće manja od udaljenosti između "zelene" krivulje a onaj "crveni"?

Graph of three pdfs

Nemam odgovor ... ali nisam siguran da, u ovom kontekstu, stvarno ima smisla razmotriti inverznu gausovu raspodjelu sa srednjom vrijednosti 1 i varijancom 3 ili 5 ...
Pažljivo! KL divergencija nije istinska "udaljenost" jer je * asimetrična *. U svakom slučaju, koju ste od dvije moguće vrijednosti izračunali?
Koje su to distribucije? I gama i inverzni Gaussian uzimaju dva parametra. Crveni je očito * nije * gama s parametrom oblika 0,85. Putem pokušaja i pogrešaka izgleda da Gama ima mjerilo 1 i oblik 1 / 0,85, dok Inverzni Gausovi imaju vrijednost 1 i parametre ljestvice kako je zadano. Je li to točno?
Ovdje je odgovor na informativno-teoretsku interpretaciju divergencije KL - http://stats.stackexchange.com/questions/1028/questions-about-kl-divergence/1569#1569
Također, KL-divergencija nije simetrična, pa je za uklanjanje dvosmislenosti bolje reći KL (A, B) ili KL (B, A) umjesto "udaljenost između A i B"
Dva odgovori:
whuber
2011-02-03 00:11:20 UTC
view on stackexchange narkive permalink

Budući da izračunavam nešto drugačije vrijednosti divergencije KL od ovdje prijavljene, započnimo s mojim pokušajem reprodukcije grafova ovih PDF-ova:

PDFs for red, blue, and green

Udaljenost KL od $ F $ do $ G $ je očekivanje, prema zakonu vjerojatnosti $ F $ , razlike u logaritmima njihovih PDF-ova. Pogledajmo stoga pomno datoteke PDF-ove. Vrijednosti blizu 0 su puno važne, pa ispitajmo ih. Sljedeća slika ucrtava datoteke dnevnika u regiji od $ x = 0 $ do $ x = 0,10 $ :

Log PDFs in the interval from 0 to 0.10

Mathematica izračunava da je KL (crvena, plava) = 0,574461 i KL (crvena, zelena) = 0,641924. Na grafikonu je jasno da se otprilike između 0 i 0,02 log (zeleni) razlikuje mnogo više od log (crveni) nego log (plavi). Štoviše, u ovom opsegu još uvijek postoji značajno velika gustoća vjerojatnosti za crvenu boju: njegov je logaritam veći od -1 (dakle gustoća je veća od oko 1/2).

Pogledajte razlike u logaritmima . Sada je plava krivulja dnevnik razlika (crvena) - log (plava), a zelena krivulja je log (crvena) - log (zelena). KL divergencije (wrt crvena) su očekivanja (prema crvenom pdf-u) od ovih funkcija.

Log PDFs for red:blue and red:green, over the interval from 0 to 0.04

(Obratite pažnju na promjenu vodoravne ljestvice koja je sada usredotočena više izbliza blizu 0.)

Vrlo otprilike, čini se da je tipična okomita udaljenost između ovih krivulja oko 10 u intervalu od 0 do 0,02, dok je tipična vrijednost za crveni pdf oko 1/2. Dakle, samo ovaj interval trebao bi dodati oko 10 * 0,02 / 2 = 0,1 divergencijama KL. Ovo samo objašnjava razliku od .067. Da, istina je da su plavi logaritmi udaljeniji od zelenih dnevnika za veće vodoravne vrijednosti, ali razlike nisu tako velike i crveni PDF brzo propada.

Ukratko, ekstremne razlike u lijevim repovima plave i zelene raspodjele, za vrijednosti između 0 i 0,02, objašnjavaju zašto KL (crvena, zelena) premašuje KL (crvena, plava).

Usput , KL (plava, crvena) = 0,454776 i KL (zelena, crvena) = 0,254469.


Šifra

Navedite raspodjele

  crvena = GammaDistribution [1 / .85, 1]; green = InverseGaussianDistribution [1, 1/3.]; blue = InverseGaussianDistribution [1, 1/5.];  

Izračunaj KL

  Obriši [kl]; (* Numerička integracija između zadanih krajnjih točaka. *) kl [pF_, qF_, l_, u_]: = Modul [{p, q}, p [x_]: = PDF [pF, x]; q [x_]: = PDF [qF, x]; NIntegrate [p [x] (Log [p [x]] - Log [q [x]]), {x, l, u}, metoda -> "LocalAdaptive"]]; (* Integracija na cijelu domenu. * ) kl [pF_, qF_]: = Modul [{p, q}, p [x_]: = PDF [pF, x]; q [x_]: = PDF [qF, x]; Integrirajte [p [x] (Dnevnik [p [x]] - Dnevnik [q [x]]), {x, 0, \ [Beskonačnost]}]]; kl [crvena, plava] kl [crvena, zelena] kl [plava, crvena, 0, \ [Beskonačnost]] kl [zelena, crvena, 0, \ [Beskonačnost]]  

Napravite crteže

  Obriši [zaplet]; zaplet [{f_, u_, r_}]: = Zacrtaj [Procijeni [f [#, x] & / @ {plavo, crveno, zeleno}], {x, 0, u}, PlotStyle -> {{Thick, Darker [Blue]}, {Thick, Darker [Red]}, {Thick, Darker [Green]}}, PlotRange -> r, Izuzimanja -> {0}, ImageSize -> 400]; Tablica [plot [f], {f, {{PDF, 4, {Full, {0, 3}}}, {Log [PDF [##]] &, 0,1, {Full, Automatic}}} }] // TableFormPlot [{Dnevnik [PDF [crveni, x]] - Dnevnik [PDF [plavi, x]], Dnevnik [PDF [crveni, x]] - Dnevnik [PDF [zeleni, x]]}, {x , 0, 0,04}, PlotRange -> {Full, Automatic}, PlotStyle -> {{Thick, Darker [Blue]}, {Thick, Darker [Green]}}]  
Možete li dati vezu na izvor Mathematica?
@Yaroslav Dodao sam ga do kraja.
@Whuber: Wahou! Hvala vam puno. Pripremit ću kavu i usredotočiti se na vaš odgovor!
@whuber +1, izvrstan i detaljan odgovor kao i uvijek :)
@Whuber: Pažljivo sam pročitao vaš odgovor. Koliko razumijem, plava krivulja je zaista bliža crvenoj krivulji od zelene, čak i ako su mi oči sugerirale suprotno. Način da se to shvati jest ucrtavanje logaritama umjesto samih gustoća. Pravo? Hvala vam!
@Marco Da. Dobra je ideja također nacrtati pdf za gustoću protiv koje integrirate (što ste već učinili za ovo pitanje). Možda će vam biti korisno pročitati odjeljak o "Grafičkim trenucima" na http://www.quantdec.com/envstats/notes/class_06/properties.htm.
logaritam je monoton.pa će znak gradijenta biti nepromijenjen između izvornog grafa i grafa dnevnika.Međutim, to nije slučaj kada uspoređujete svoja prva dva grafikona.Pretpostavit ću da je drugi graf kumulativna vjerojatnost?
@Hugh Pobliže pogledajte vage na vodoravnim osi.
Oh, vidim, prikazujete samo lijevi dio originalnog grafikona?
Did
2011-02-02 23:23:44 UTC
view on stackexchange narkive permalink

KL divergencija mjeri koliko je teško lažirati jednu distribuciju drugom. Pretpostavimo da crtate i.i.d. uzorak veličine $ n $ iz crvene distribucije i taj $ n $ je velik. Može se dogoditi da empirijska raspodjela ovog uzorka oponaša plavu raspodjelu. To je rijetko, ali ovo se može dogoditi ... iako s vjerojatnošću koja je nestajuće mala i koja se ponaša poput $ \ mathrm {e} ^ {- nH} $. Eksponent $ H $ je KL divergencija plave raspodjele u odnosu na crvenu.

Nakon toga, pitam se zašto su vaše KL divergencije rangirane onim redoslijedom kojim vi kažete da jesu.

+1. Možda poredak ovisi o redoslijedu kojim je izračunat H. Npr., Jedno može biti KL (zeleno, crveno), a drugo može biti KL (crveno, plavo). Štoviše, ponašanje repa može duboko utjecati na vrijednost: ono što stvarno moramo vidjeti su crteži * logaritama * gustoće, a ne same gustoće.


Ova pitanja su automatski prevedena s engleskog jezika.Izvorni sadržaj dostupan je na stackexchange-u, što zahvaljujemo na cc by-sa 2.0 licenci pod kojom se distribuira.
Loading...