Pitanje:
Koja je razlika između povratnih i povratnih neuronskih mreža?
Shane
2010-08-30 20:33:28 UTC
view on stackexchange narkive permalink

Koja je razlika između povratne informacije i ponavljajuće neuronske mreže?

Zašto biste koristili jedno preko drugog?

Postoje li druge mrežne topologije?

Usko povezano: https://stats.stackexchange.com/questions/287276/difference-between-convolutional-neural-network-and-recurrent-neural-network
Tri odgovori:
#1
+61
George Dontas
2010-08-30 23:23:24 UTC
view on stackexchange narkive permalink

Prosljeđivanje unaprijed ANN-ovi omogućuju putovanje signala samo u jednom smjeru: od ulaza do izlaza. Nema povratnih informacija (petlje); tj. izlaz bilo kojeg sloja ne utječe na taj isti sloj. ANN-ovi s povratnim usmjeravanjem obično su izravne mreže koje povezuju ulaze s izlazima. Oni se široko koriste u prepoznavanju uzoraka. Ova vrsta organizacije naziva se i odozdo prema gore ili odozgo prema dolje.

A feed-forward network

Povratne informacije ( ili rekurentne ili interaktivne) mreže mogu imati signale koji putuju u oba smjera uvođenjem petlji u mrežu. Mreže za povratne informacije su moćne i mogu postati izuzetno složene. Izračuni izvedeni iz ranijih unosa vraćaju se natrag u mrežu, što im daje neku vrstu memorije. Mreže povratnih informacija su dinamične; njihovo se 'stanje' kontinuirano mijenja dok ne dosegnu točku ravnoteže. Oni ostaju u točki ravnoteže sve dok se ulaz ne promijeni i treba pronaći novu ravnotežu.

feedback architecture

Neuronske mreže s povratnim naponom idealno su pogodne za modeliranje odnosa između skupa prediktora ili ulazne varijable i jedna ili više varijabli odgovora ili izlaza. Drugim riječima, prikladni su za bilo koji problem funkcionalnog mapiranja gdje želimo znati kako broj ulaznih varijabli utječe na izlaznu varijablu. Višeslojne neuronske mreže za prosljeđivanje, koje se nazivaju i višeslojni perceptroni (MLP), najčešće su proučavani i u praksi korišteni modeli neuronskih mreža.

Kao primjer mreže s povratnim informacijama mogu se prisjetiti Hopfieldove mreže. Glavna upotreba Hopfieldove mreže je kao asocijativna memorija. Asocijativna memorija je uređaj koji prihvaća ulazni obrazac i generira izlaz kao pohranjeni obrazac koji je najuže povezan s ulazom. Funkcija pridružene memorije je opoziv odgovarajućeg pohranjenog uzorka i zatim na izlazu proizvesti jasnu verziju uzorka. Hopfield mreže obično se koriste za one probleme s vektorima binarnih uzoraka, a ulazni uzorak može biti bučna verzija jednog od spremljenih uzoraka. U Hopfield mreži pohranjeni uzorci kodiraju se kao težine mreže.

Kohonenove samoorganizirajuće mape (SOM) predstavljaju još jedan tip neuronske mreže koji se znatno razlikuje od višeslojne mreže za prosljeđivanje. Za razliku od treninga u povratnom MLP-u, SOM trening ili učenje često se nazivaju bez nadzora jer u SOM-u ne postoje poznati ciljni izlazi, a tijekom procesa treninga SOM obrađuje uzorke unosa i uči grupirati ili segmentirati podatke kroz podešavanje težina (što ga čini važnim modelom neuronske mreže za smanjenje dimenzija i grupiranje podataka). Dvodimenzionalna mapa obično se stvara na takav način da se očuvaju redoslijedi međusobnih odnosa među ulazima. Broj i sastav klastera mogu se vizualno odrediti na temelju distribucije rezultata generirane u procesu treninga. Samo s ulaznim varijablama u uzorku obuke, SOM želi naučiti ili otkriti temeljnu strukturu podataka.

(Dijagrami su s web stranice Dane Vrajitoru s umjetne inteligencije.)

Da li se mreža za prosljeđivanje feeda koja iterativno koristi svoje izlaze kao ulazi računa kao mreža koja se ponavlja?
Da, to je doista slučaj.
Moj prethodni komentar bio je pogrešan.Dio ove objave naizgled je plagirala [ova osoba] (http://www.academia.edu/5886469/AF4102237242) (osim nekoliko manjih promjena riječi) bez kredita.
Pokušavam matematički razumjeti zašto su RNN-ovi superiorniji od feed forward mreža.Postoje li primjeri u kojima je vrlo teško približiti ANN-om unaprijed, ali lako s RNN-om.
#2
+15
bayerj
2011-02-27 22:29:59 UTC
view on stackexchange narkive permalink

Ono što George Dontas piše točno je, međutim upotreba RNN-ova u praksi danas je ograničena na jednostavniju klasu problema: vremenske serije / sekvencijalni zadaci.

Iako se povratne mreže koriste za učenje skupova podataka poput $ (i, t) $ gdje $ i $ i $ t $ su vektori, npr $ i \ in \ mathcal {R} ^ n $ , za ponavljajuće mreže $ i $ uvijek će biti slijed, npr $ i \ in (\ mathcal {R} ^ n) ^ * $ .

RNN-ovi su pokazali da mogu predstavljati bilo koji mjerljivi niz za mapiranje sekvenci pomoću Hammera.

Dakle, RNN se danas koriste za sve vrste sekvencijalnih zadataka: predviđanje vremenskih nizova, označavanje sekvenci, klasifikacija sekvenci itd. Dobar pregled možete pronaći na Schmidhuberovoj stranici na RNN-ima.

"Iako se mreže za prosljeđivanje koriste za učenje skupova podataka poput (i, t) gdje su i i t vektori (npr. I∈Rn, za povratne mreže uvijek ću biti niz, npr. I∈ (Rn) ∗") znam da je ovo pitanje bilo pitao davno, ali biste li mi mogli objasniti što to laički znači? Moram obrazložiti razlog zbog kojeg sam za svoj projekt odlučio koristiti mrežu za prosljeđivanje feedova preko RNN-a i mislim da bi to mogao biti razlog. I / Ili me možete povezati s izvorom koji će mi omogućiti ovo obrazloženje? Nakon pretraživanja ne mogu ga naći sam. Hvala, svaki odgovor je vrlo cijenjen!
Ovaj je odgovor nekako zastario.Iako su RNN-ovi prirodno prikladni za sekvenciranje podataka, oni se također mogu koristiti za predviđanje na statičkim ulazima (poput slika ili nečega drugog).Vidi: [Ponavljajuća se konvolucijska neuronska mreža za prepoznavanje objekata] (https://ieeexplore.ieee.org/document/7298958) i [Dokazi da su periodični krugovi presudni za izvođenje osnovnog objekta ventralnog toka ponašanje prepoznavanja] (https://www.nature.com/articles/s41593-019-0392-5)
#3
+1
ArtificiallyIntelligence
2018-12-03 07:06:22 UTC
view on stackexchange narkive permalink

Što je zaista zanimljivo u postavljanju ovog pitanja?

Umjesto da kažu RNN i FNN se u svom imenu razlikuju. Dakle, oni su različiti. , mislim da je ono što je zanimljivije Od pojmova modeliranja dinamičkog sustava, razlikuje li se RNN od FNN-a?

Pozadina

Vodila se rasprava o modeliranju dinamičkog sustava između ponavljajuće neuronske mreže i neuronske mreže Feedforward s dodatnim značajkama kao prethodna kašnjenja (FNN-TD).

Koliko znam nakon čitanja tih radova 90-ih ~ 2010-ih. Većina literature preferira da je vanilija RNN bolja od FNN jer RNN koristi dinamičku memoriju, dok je FNN-TD statička memorija.

Međutim, nema puno numeričkih studija u kojima bi se uspoređivale te dvije. Prvi [1] na početku pokazao je da za modeliranje dinamičkog sustava FNN-TD pokazuje usporedive performanse s RNN-om vanilije kada je bez buke , a ima malo lošije rezultate kad ima buke. U svojim iskustvima o modeliranju dinamičkih sustava, često vidim da je FNN-TD dovoljno dobar.

Koja je ključna razlika u postupanju s memorijskim efektima između RNN i FNN-TD?

Nažalost, nigdje ne vidim i bilo koja publikacija teoretski je pokazala razliku između ove dvije. Prilično je zanimljivo. Razmotrimo jednostavan slučaj, koristeći skalarni niz $ X_n, X_ {n-1}, \ ldots, X_ {nk} $ za predviđanje $ X_ {n + 1} $ . Dakle, to je zadatak od niza do skalara.

FNN-TD je najopćenitiji, najsveobuhvatniji način liječenja takozvanih memorijskih efekata . Budući da je brutalan, teoretski pokriva bilo koju vrstu, bilo koju vrstu i bilo koji memorijski efekt. Jedina loša strana je ta što u praksi jednostavno uzima previše parametara.

Sjećanje u RNN-u nije ništa drugo nego predstavljeno kao općenita "zavrzlama" prethodnih informacija . Svi znamo da konvolucija između dva skalarna niza općenito nije reverzibilan postupak i dekonvolucija je najčešće loše postavljena.

Moja pretpostavka je "stupanj slobode" u takvom procesu konvolacije određuje se brojem skrivenih jedinica u RNN stanju $ s $ . I to je važno za neke dinamičke sustave. Imajte na umu da se "stupanj slobode" može proširiti ugrađivanjem stanja s vremenskim odgodom [2] uz zadržavanje istog broja skrivenih jedinica.

Stoga RNN zapravo sabija prethodne informacije o memoriji s gubitkom radeći konvoluciju, dok ih FNN-TD samo izlaže u smislu da nema gubitka podataka o memoriji. Imajte na umu da gubitak podataka u konvoluciji možete smanjiti povećavanjem broja skrivenih jedinica ili korištenjem više vremenskih odgoda od RNN-a vanilije. U tom smislu, RNN je fleksibilniji od FNN-TD. RNN ne može postići gubitak memorije kao FNN-TD i može biti trivijalno pokazati broj parametara u istom redoslijedu.

Znam da bi netko mogao spomenuti da RNN ima dugotrajni efekt, dok FNN-TD ne može. Zbog toga želim samo spomenuti da je za kontinuirani autonomni dinamički sustav, iz Takensove teorije ugradnje, generičko svojstvo da ugrađivanje postoji za FNN-TD s naizgled kratkom memorijom kako bi se postigle iste performanse kao i naizgled dugo vrijeme memorija u RNN-u. Objašnjava zašto se RNN i FNN-TD ne razlikuju puno u primjeru kontinuiranog dinamičkog sustava početkom 90-ih.

Sad ću spomenuti korist RNN-a. Za zadatak autonomnog dinamičkog sustava, koristeći više prethodnih izraza, iako bi učinkovito bilo isto kao i koristiti FNN-TD s manje prethodnih izraza u teoriji, numerički bi bilo korisno jer je robusniji na buku. Rezultat u [1] sukladan je ovom mišljenju.

Referenca

[1] Gençay, Ramazan i Tung Liu."Nelinearno modeliranje i predviđanje s povratnim i povratnim mrežama."Physica D: Nelinearni fenomeni 108.1-2 (1997): 119-134.

[2] Pan, Shaowu i Karthik Duraisamy."Otkrivanje modela zatvaranja na temelju podataka."pretisak arXiv arXiv: 1803.09318 (2018).



Ova pitanja su automatski prevedena s engleskog jezika.Izvorni sadržaj dostupan je na stackexchange-u, što zahvaljujemo na cc by-sa 2.0 licenci pod kojom se distribuira.
Loading...