Sügavõpe

Sügavõpe ehk süvaõpe moodustab osa laiemast masinõppe meetoditest, mis põhinevad tehisnärvivõrkudel koos omadusõppega. Sügavõpe võib olla juhendatud, pool-juhendatud või juhendamata.^[1]^[2]^[3]

Sügavõppe idee

Sügavõppes on mitmed lihtsate „protsessorite kihid“ ühendatud võrguks niiviisi, et süsteemi sisend läbib järjekorras kõiki kihte. Sellise arhitektuuri inspiratsiooniks oli silmade võrkkesta poolt tajutud valguse info töötlemine inimajus. Antud lähenemine võimaldab tajuda keerukamaid struktuure ilma vajaduseta suurte andmehulkade järele.

Süvaõppe idee kohaselt korraldatakse õppimist kahel tasemel, sellest ka nimetus sügavaõpe. Suure hulga näidete põhjal leitakse ülemisel tasemel nende näidete seas küllalt sageli esinevad mustrid. Neid mustreid kasutades võib öelda, et nende mustrite ehk sisuliselt mõistete keeles, kirjeldatakse näited uuesti ära. Nii saadakse hoopis sisukamad ja lühemad näidete kirjeldused. Nüüd saab alumisel tasemel uuesti korraldada õppimist, kuid juba näidete palju paremaid kirjeldusi kasutades.

Näiteks näotuvastuse puhul võivad ülemisel tasemel tekkida mustritena sellised mõisted nagu nina, silmad, suu, kõrvad jne. Neid uusi mõisteid kasutades ja neid iseloomustades saab alumisel tasemel nägusid kirjeldada. Näo kohta võib öelda näiteks, et see on väikese suu, kõvera ninaga ja suurte kõrvadega vms. Tegelikult pole põhjust arvata, et arvuti süvaõppe meetodil just sellised inimesele omased mõisted leiab (nina, suu jne.)

Ajalugu

Süvaõppe idee koos näidetega esitas 1970. aastal Mihail Bongard raamatus,^[4] mis ilmus nii vene kui inglise keeles. Süvaõppe head rakendused said võimalikuks alles käesoleval sajandil, mil arvutite võimsus on saanud piisavaks.

Viited

↑ Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
↑ Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509
↑ Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. DOI:10.1038/nature14539. PMID 26017442. S2CID 3074096.
↑ Mihail Bongard (1970). Pattern recognition. Spartan Books.

Välislingid

Tehisintellekti algkursus

[1] Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.

[2] Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509

[NatureBengio2-3] Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. DOI:10.1038/nature14539. PMID 26017442. S2CID 3074096.

[4] Mihail Bongard (1970). Pattern recognition. Spartan Books.

[1]

[2]

[3]

[4]