´¹¤åºK

[¤H¤u´¼¼z] ¤H¤u´¼¼z²¤¶

µ¹´¹·s»D¤@­ÓÆg



§@ªÌ¡G®L»F¼Ý 2019-07-29 ªìª©


¤H¤u´¼¼z²¤¶


²{¦b¤H¤u´¼¼z¤w¸g¥i¥H¶}©l°µ«Ü¦h¦³¥Îªº¨Æ±¡¡C³Ì¤jªº°^Äm¬O¦b¼v¹³ÃѧO¤è­±¡A²{¦bªººë½T«×¤w¸g¤ñ¥H«e¦n«Ü¦h¡C«Ü¦h¹³¤å¦rªºÃѧO¤w¸g¥i¥H¨ì95%¥H¤Wªº¥¿½T²v¡C¦b¦h°ê»y¨¥ªºÂ½Ä¶¤W­±¡A¤w¸g¶i¦æ¬Û·í¤£¿ùªº¶i®i¡C¸g¹L¦h°ê»y¨¥ªº°V½m¡A¤H¤u´¼¼z¥i¥H°µ¦h°ê»y¨¥¶¡ªº¤¬Ä¶¡C¤H¤u´¼¼z¥D­n¹B§@¤è¦¡¡A´N¬O§â§A©Ò»Ý­nªº¸ê®Æ©M·Q­nªºµ²ªG¡A¤@°_¥áµ¹¹q¸£¨Ó¾Ç²ß¡C¬Ý¥¦¥X¨Óµ²ªG¸ò§A¦³·Q­nªºµ²ªG¤¤¶¡ªº»~®t¨Ó½Õ¾ã¸Ì­±ªº°Ñ¼Æ¡C¸g¹L¤£Â_ªº­×¥¿¤§«á³Ì«á¡A¥i¥H§â¤H¤u´¼¼zªº°Ñ¼Æ°V½m¦¨¯à²£¥Í¸ò§A·Q­n®t¤£¦hªºµ²ªG¡C

Ãþ¯«¸gºô¸ô¸Ì­±¦³¬Û·íÃe¤jªº¸`ÂI©Î¬O¯«¸g¤¸¯à°÷°O¾Ð°Ñ¼Æ¡C¦b°V½mªº¹Lµ{¤¤¡A´N¦n¹³·|§â°V½mªº¸ê®ÆÂà´«¦A°O¾Ð¨ì¯«¸g¤¸¸Ì­±¡A¥H°µ¬°ÃѧO¼Ë¥»¡C©Ò¥HÃþ¦üªº¸ê®Æ¦A¦¸¥X²{®É¡A¥¦´N¥i¥H«Ü·|³sµ²¨ì¬Û¦ü¼Ë¥»ªº¯«¸g¤¸¤W­±¥h¡A¨Ã¥H¦¹¨Ó°µ¤ÀÃþªº§PÂ_¡C¥t¤@¤è­±¡A¥¦¤]¥i¥H¸ò¾ÚÀx¦sªº¼Ë¥»¡A¦A­«·s²£¥Í¥X¬Û¦üªº¸ê®Æ¿é¥X¡C©Ò¥HÃþ¯«¸gºô¸ô¥»¨­´N¬O¤@­ÓÃe¤jªº°O¾Ð®w¡A§â©Ò¦³ªº¼Ë¥»Âà¤Æ«á¦AÀx¦s°_¨Ó¡CÃþ¯«¸gºô¸ô¬O¼ÒÀÀ¤HÃþªº¯«¸g²Ó­Mµ²ºc¡C¤@­Ó¯«¸g²Ó­M¡A¿é¤J¨ì²Ó­MÅ骺´N¹³¤@´Ê¾ð¤@¼Ëªº¥s¾ð¬ð¡C±q²Ó­MÅé¿é¥X¤@®Ú²Ó²Óªøªø¨ì¤U¤@­Ó²Ó­Mªº¥s°µ¶b¬ð¡C¾ð¬ð±µ¨ü©Ò¦³ªº°T¸¹¶i¤J²Ó­MÅé¡AµM«á²Ö¿n°_¨Ó¡C¤@¥¹³o­Ó¨Ç°T¸¹ªº²Ö¿n¶q¶W¹L¤@­ÓIJµoªº¤ô·Ç¡A¥¦´N·|°e¥X¤@­Ó¿é¥X°T¸¹¸g¶b¬ðµ¹¤U¤@­Ó²Ó­M¡C©Ò¥HÃþ¯«¸gºô¸ôªº¯«¸g¤¸¡A¥i¥H±µ¦¬¿é¤J«H¸¹¡A¦A±N¨C¤@­Ó¿é¤J°T¸¹­¼¤W¤@­ÓÅv­«¡AµM«á¥[Á`°_¨Ó¡C¦A¸ò¸Ì­±Àx¦sªº°¾²¾¼Æ¬Û¥[¡A¥H«á¬Ý¬Ý¦³¨S¦³¶W¹LIJµoªº¤ô·Ç¦A¿é¥X¡C

¤@­ÓÃþ¯«¸gºô¸ô´N¬O¥Ñ¦h­Ó¯«¸g¤¸²Õ¦¨¤@¼h¡C¦P¤@¼hªº¦U­Ó¯«¸g¤¸³£±µ¨ì¬Û¦Pªº¿é¤JºÝ¡C¤U¤@¼hªº¯«¸g¤¸¡A´N·|±N¤W¤@¼hªº¦U­Ó¿é¥XºÝ·í¦¨¦Û¤vªº¿é¤J¡C©Ò¥H¦P¤@¼hªº¯«¸g¤¸¤j®a³£¦³¤@¼Ëªº¿é¤J¡CµM«á¸g¹L¦Û¤vªºÅv­«³B²z¡A©Ò¥H·|²£¥Í¤£¦Pªº¿é¥X¡CÃþ¯«¸gºô¸ô¬O¨Ì·Ó¿é¥X¼hªº¿ù»~¨Ó½Õ¾ã¦U­Ó¼h¯ÅªºÅv­«¡C§Ú­Ì±N¿é¥X¼hªº¿ù»~ªº±è«×¡A¨Ì·Ó·L¤Àªº³sÂê«ß±À¾É¡A¥Ñ¿é¥XºÝºâ¥XÀ³¤À°t¨ì­Ó¿é¤JºÝªº¤j¤p¡AµM«á±N³o­Ó±è«×¦V«e­±¦U¼h¤@¨B¤@¨B¦a¶Ç»¼¹L¥h¡C¨C¤@¼hªº¯«¸g¤¸¦¬¨ì³o­Ó­Ë»¼¶Ç¦^¨Óªº±è«×¤j¤p¤§«á¡A´N®Ú¾Ú¥¦¨Ó½Õ¾ã¥»¨­ªºÅv­«¡C³oºØ¤Ï¦V¶Ç¼½ºtºâªk(Rumelhart, Hinton,Williams, 1986)ªºµo©ú¡A¬OÃþ¯«¸gºô¸ôªñ¦~¨Ó¤j´T¶i¨Bªº¥D­n­ì¦]¡C

¾Ç²ß¹Lµ{¤¤¨Ï¥Î±è«×¤U­°ªk¡A´N¬O®Ú¾Ú»~®tªº±è«×¡]Ãþ¦ü±×²v¡^¨Ó§ä¥X»~®tªº¤U­°¤è¦V¡A¨Ã¤@ª½©¹³Ì¤p­Èªº¤è¦V¨Ó­×¥¿°Ñ¼Æ¡C¦n¤ñ¦b¦Û°Ê¾r¾p¤W­±ªº¸ôªpÃѧO¡A§â¹ê»Ú¸ôªp¤@ª½Áýµ¹¤H¤u´¼¼z¡C¨ä¤¤¨Ã¼Ð¥Ü¨C¤@­Óµe­±­þÃä¬O¨®¤l¡A­þÃä¬O¹D¸ô¡A­þÃä¬O¦æ¤H¡C¸g¹L­«½Æ°V½m¤§«á¡A¤H¤u´¼¼z´N´N¥i¥H¤F¸Ñ¨C¤@­Óµe­±¤¤¡A¨C­Ó¸ôªp¸Ì­±¥i¯à¤°»ò¦a¤è¦³¦æ¤H¡A¤°»ò¦a¤è¬O¹D¸ô¡A¤°»ò¦a¤è¦³»Ùꪫµ¥µ¥¡C

ÀË´ú«H¸¹¦³¨S¦³¶W¹LIJµo¤ô·Çªº¨ç¼Æ¥s°µ¬¡¤Æ¨ç¼Æ¡C¦b°T¸¹¨S¦³¶W¹L«×µo¤ô·Çªº®É­Ô¡A¬¡¤Æ¨ç¼Æªº¿é¥X­È¬O0¡C¤@¥¹¿é¤J¶W¹L¤FIJµo¤ô·Ç¡A¬¡¤Æ¨ç¼Æªº¿é¥X­È´N·|Åܦ¨1¡C¤@¯ë±`¥ÎIJµo«H¸¹ªº¬¡¤Æ¨ç¼Æ¦³´XºØ¡C³Ì²³æªº¡A¬O¤@­Ó¶¥±è¨ç¼Æ¡C³o­Ó¶¥±è¨ç¼Æ¦b¿é¤J¤p©ó0ªº®É­Ô¡A¿é¥X¬°0¡C¦Ó¿é¤J¤j©ó0ªº®É­Ô¡A¿é¥X¬°1¡C©Ò¥H¥¦ªºÄ²µoÂI´N¬O¹s¡C¦pªG§Ú­Ì§Æ±æ¥¦ªºÄ²µoÂI¤£¬O¹sªº¸Ü¡A¨Ò¦p¡A§Ú­Ì§Æ±æ¥¦ªº¥XµoÂI¬O2¡C¨º»ò§Ú­Ì´N¥i¥H§â¿é¤J¥ý´î2¡AµM«á¦A°e¶i³o¬¡¤Æ¨ç¼Æ¥h¡C³o¤@­Ó´î2ªº°Ê§@¡A´N¬OÅý°¾²¾¼Æ¬°-2¤@¼Ë¡C

¤ñ¸û½ÆÂøªº¬¡¤Æ¨ç¼Æ¹³sigmoid¡A¥¦´N¤£¬O¹³¶¥±è¨ç¼Æ¤@¼Ë¤£³sÄòÅܤơA¦Ó¬OºCºCªºÅÜ¡Csigmoidªº°ÝÃD¬O­pºâ«ÜºC¡A¦Ó¥B¦b¿é¥X»·Â÷¥XµoÂI¬°³Ì¤j­È©Î³Ì¤p­Èªº®É­Ô¡A¥¦ªº±è«×³£·|Áͪñ©ó¹s¡A¤]´N¬O±è«×·|®ø¥¢¡C¥t¤@ºØ¨ç¼Ærelu¡A¥¦¦b¿é¤J¤p©ó0ªº®É­Ô¡A¿é¥X´Nµ¥©ó¹s¡C¦Ó·í¿é¤J¤j©ó0ªº®É­Ô¡A¿é¥X´Nµ¥©ó¿é¤J¡C³o¬O±`¥Îªº¬¡¤Æ¨ç¼Æ¡A¥¦ªº¦n³B¬O¤£·|³y¦¨±è«×®ø¥¢¡C