Bé gi¸o dôc vµ ®µo t¹o Trêng ®¹i häc b¸ch khoa hµ néi ------------------------------------ luËn v¨n th¹c sÜ khoa häc c«ng nghÖ xö lÝ vµ nhËn d¹ng ¶nh mÆt ngêi b»ng m¹ng n¬ron nh©n t¹o MLP ngµnh: kü thuËt ®iÖn tö m· sè: vò hång vinh Ngêi híng dÉn khoa häc: GS. NguyÔn Quèc Trung Hµ néi 2005 17057204917941000000 Lêi cam ®oan T«i xin cam ®oan néi dung cña luËn v¨n nµy lµ c«ng søc nghiªn cøu, kÕt qu¶ lµm viÖc cña c¸ nh©n t«i. NÕu ph¸t hiÖn bÊt cø sù sao chÐp, gian lËn, man tr¸ nµo t«i xin chÞu hoµn toµn tr¸ch nhiÖm. Hµ néi, th¸ng 11 n¨m 2005 Ngêi viÕt luËn v¨n Vò Hång Vinh Lêi c¶m ¬n T«i xin ch©n thµnh göi lêi c¸m ¬n tíi toµn thÓ c¸c thÇy c« gi¸o vµ c¸c b¹n bÌ ®ång nghiÖp ®· tham gia ®ãng gãp ý kiÕn, chia sÎ kinh nghiÖm vµ ®éng viªn khuyÕn khÝch ®Ó luËn v¨n ®îc hoµn thµnh ®óng tiÕn ®é, ®¹t chÊt lîng tèt.
§Æc biÖt, xin v« cïng c¶m ¬n sù híng dÉn vµ chØ b¶o tËn t×nh cña Phã gi¸o s, TiÕn sü NguyÔn Quèc Trung trêng §¹i häc B¸ch khoa Hµ néi ®· thËt sù hç trî t«i rÊt nhiÒu trong qu¸ tr×nh nghiªn cøu. Mét lÇn n÷a cho phÐp t«i bµy tá lßng biÕt ¬n v« h¹n tíi sù gióp ®ì quÝ b¸u cña tÊt c¶ c¸c thÇy c« gi¸o, ®ång nghiÖp vµ b¹n bÌ ®· gióp t«i nghiªn cøu thµnh c«ng luËn v¨n nµy. -5- më ®Çu Mét c©u hái ®Æt ra t¹i sao khi ta nh×n thÊy ¶nh mét ®èi tîng nµo ®ã ta l¹i ph©n biÖt ®îc ®èi tîng lµ ngêi nµo ®ã hay vËt x¸c ®Þnh ? §ã chÝnh lµ v× bé n·o cña con ngêi ®· ®îc häc vµ ghi nhí nh÷ng h×nh ¶nh ®ã, v× vËy khi gÆp l¹i nh÷ng h×nh ¶nh nµy, bé n·o cã nh÷ng quyÕt ®Þnh nhËn d¹ng chÝnh x¸c. C¬ chÕ nhËn d¹ng ¶nh cña n·o ngêi dùa trªn c¬ chÕ häc cña c¸c n¬ron thÇn kinh.
HiÖn nay, c¸c nhµ khoa häc ®ang cè g¾ng thÓ hiÖn c¬ chÕ nhËn d¹ng ®ã qua kü thuËt tÝnh to¸n th«ng minh - ®ã lµ kü thuËt nhËn d¹ng ¶nh b»ng m¹ng n¬ron nh©n t¹o. M¹ng n¬ron nh©n t¹o cã nhiÖm vô xö lÝ th«ng sè cña ¶nh vµ ®a ra kÕt qu¶ ph©n líp ¶nh ®èi tîng thuéc líp nµo. øng dông m¹ng n¬ron nh©n t¹o hiÖn nay cã thÓ thÊy rÊt nhiÒu trong qu©n sù, d©n sù, y häc … nh nhËn d¹ng ¶nh v©n tay øng dông trong d©n sù vµ qu©n sù, nhËn d¹ng ch÷ viÕt trong c¸c hÖ thèng kiÓm tra sè s¶n phÈm, hÖ thèng tù ®éng ph©n lo¹i th tÝn, tù ®éng nhËn biÕt ®êng ®i, nhËn d¹ng c¸c bé phËn c¬ thÓ con ngêi øng dông trong gi¶i phÉu häc… NhËn d¹ng ®èi tîng ¶nh lµ mét trong c¸c híng nghiªn cøu cÇn thiÕt trong bèi c¶nh nÒn kinh tÕ më cña níc ta hiÖn nay. Dùa trªn nh÷ng ®Þnh híng vµ c¸c vÊn ®Ò ®îc GS.
NguyÔn Quèc Trung v¹ch ra, víi sù cè g¾ng b¶n th©n, t«i ®· hoµn thµnh ®îc luËn v¨n víi ®Ò tµi: “ c«ng nghÖ xö lÝ vµ nhËn d¹ng ¶nh mÆt ngêi b»ng m¹ng n¬ron nh©n t¹o MLP”. Môc ®Ých cña ®Ò tµi: Tr×nh bµy c¸c nghiªn cøu lý thuyÕt phôc vô cho chñ ®Ò “M¹ng n¬ron nh©n t¹o trong nhËn d¹ng ¶nh ”, ®ång thêi x©y dùng mét modul phÇn mÒm m¹ng -6- n¬ron thö nghiÖm ®Ó nhËn d¹ng ¶nh mÆt ngêi víi môc ®Ých hiÓu s©u h¬n vÒ c¸ch thøc mµ mét m¹ng n¬ron tiÕn hµnh ph©n lo¹i ¶nh cña ®èi tîng vµ n¾m b¾t ®îc kiÕn thøc vÒ mét m«n khoa häc - nhËn d¹ng ®èi tîng ¶nh. Néi dung nghiªn cøu: • VÒ lý thuyÕt: C¬ së lý thuyÕt vÒ m¹ng n¬ron, cÊu tróc m¹ng n¬ron, ph©n lo¹i m¹ng n¬ron, c¸c m¹ng n¬ron øng dông trong nhËn d¹ng ¶nh. §i s©u vµo cÊu tróc, thuËt to¸n, c¬ chÕ häc, thñ tôc häc cña m¹ng n¬ron nhiÒu líp Perceptron MLP häc theo gi¶i thuËt lan truyÒn ngîc sai sè back-propagation lµm tiÒn ®Ò cho viÖc x©y dùng m¹ng n¬ron trong nhËn d¹ng ®èi tîng ¶nh mÆt ngêi.
• øng dông: Ph©n tÝch, thiÕt kÕ x©y dùng modul phÇn mÒm thö nghiÖm nhËn d¹ng ®èi tîng ¶nh mÆt ngêi. KÕt qu¶: - §· n¾m b¾t ®îc c¸c kiÕn thøc chñ yÕu vÒ m¹ng n¬ron vµ gi¶i thuËt häc cña m¹ng n¬ron nhiÒu líp MLP. - §· x©y dùng ®îc modul phÇn mÒm m¹ng n¬ron thö nghiÖm nhËn d¹ng ¶nh mÆt ngêi ®¹t ®îc mét sè kÕt qu¶ kh¶ quan. Do thêi gian nghiªn cøu cßn h¹n chÕ nªn luËn v¨n kh«ng tr¸nh khái nh÷ng thiÕu sãt.
T«i rÊt mong nhËn ®îc nh÷ng lêi gãp ý vÒ nh÷ng thiÕu sãt cña luËn v¨n ®Ó bæ xung trong nh÷ng nghiªn cøu tiÕp theo. -7- ch¬ng 1 Lý thuyÕt chung vÒ m¹ng n¬ron nh©n t¹o 1.1 Lý thuyÕt m¹ng n¬ron 1.1 Giíi thiÖu vÒ m¹ng n¬ron Chóng ta ai còng biÕt r»ng tri thøc cña loµi ngêi cho ®Õn nay hÕt søc phong phó, s©u réng vµ ®a d¹ng. Nã bao gåm nh÷ng hiÓu biÕt cña chóng ta tõ thÕ giíi vi m« nh nguyªn tö, ®iÖn tö, h¹t nh©n, c¸c h¹t c¬ b¶n. ®Õn nh÷ng hiÓu biÕt vÜ m« vÒ tr¸i ®Êt, vÒ hÖ mÆt trêi, hÖ thiªn hµ… ThÕ nhng cã mét ®iÒu mµ cã vÎ nh lµ mét nghÞch lý lµ chóng ta biÕt “rÊt Ýt” vÒ chÝnh bé n·o bé cña chóng ta.
“M¹ng n¬ron nh©n t¹o” - thuËt ng÷ nãi ®Õn mét ngµnh kü thuËt míi mµ nã ®ßi hái kiÕn thøc tõ nhiÒu ngµnh khoa häc kh¸c nhau nh to¸n häc, vËt lý häc, hãa häc, sinh vËt häc t©m lý häc, thÇn kinh häc. vµ tÊt c¶ chØ nh»m lµm sao t¹o ra nh÷ng chiÕc m¸y tÝnh ho¹t ®éng gièng nh “ bé n·o “ cña con ngêi.1 Tæ chøc vµ ho¹t ®éng cña bé n·o con ngêi: a) Tæ chøc: Bé n·o cña con ngêi ®îc h×nh thµnh tõ sù liªn kÕt cña kho¶ng 1011 phÇn tö (tÕ bµo), trong ®ã cã kho¶ng 1010 phÇn tö lµ n¬ron, sè cßn l¹i kho¶ng 9*1010 phÇn tö lµ c¸c tÕ bµo thÇn kinh ®Öm vµ chóng cã nhiÖm vô phôc vô còng nh hç trî cho c¸c n¬ron. Th«ng thêng mét bé n·o trung b×nh c©n nÆng kho¶ng 3 pound vµ cã thÓ tÝch lµ 90 inches3. CÊu t¹o n·o bé ®îc ph©n chia ra thµnh nhiÒu vïng kh¸c nhau.
Mçi vïng cã thÓ kiÓm so¸t mét hay nhiÒu ho¹t ®éng cña con ngêi. Bé n·o cã cÊu tróc nhiÒu líp, líp bªn ngoµi thêng thÊy nh lµ c¸c nÕp nh¨n, lµ líp cã cÊu t¹o phøc t¹p nhÊt. §©y cã thÓ lµ n¬i kiÓm so¸t vµ ph¸t sinh c¸c hµnh ®éng phøc t¹p nh nghe, nh×n, t duy. -8- b) Ho¹t ®éng: Cho ®Õn nay, chóng ta cã nh÷ng hiÓu biÕt c¨n b¶n vÒ ho¹t ®éng cÊp thÊp cña n·o.
Cô thÓ: MÆc dï mçi n¬ron ( cã thÓ xem nh phÇn tö xö lÝ hay phÇn tö tÝnh ) cã tèc ®é rÊt chËm so víi tèc ®é c¸c cæng logic silicon trong c¸c vi chip -10-3 gi©y víi 10-10 gi©y, nhng do mçi n¬ron liªn kÕt víi kho¶ng 104 n¬ron kh¸c, cho nªn khi ho¹t ®éng th× bé n·o ho¹t ®éng mét c¸ch tæng lùc vµ ®¹t hiÖu qu¶ cao. Nãi mét c¸ch kh¸c lµ c¸c phÇn tö cña n·o ho¹t ®éng mét c¸ch song song vµ t¬ng t¸c hÕt søc tinh vi phøc t¹p, hiÖu qu¶ ho¹t ®éng thêng rÊt cao nhÊt lµ trong c¸c vÊn ®Ò phøc t¹p. Ho¹t ®éng cña c¶ hÖ thèng thÇn kinh bao gåm n·o bé vµ c¸c gi¸c quan nh sau: • Tríc hÕt con ngêi bÞ kÝch thÝch bëi gi¸c quan tõ bªn ngoµi hoÆc trong c¬ thÓ. Sù kÝch thÝch ®ã ®îc biÕn thµnh c¸c xung ®iÖn bëi chÝnh c¸c gi¸c quan tiÕp nhËn kÝch thÝch.
Nh÷ng tÝn hiÖu nµy ®îc chuyÓn vÒ trung ¬ng thÇn kinh lµ n·o bé ®Ó xö lÝ. Nh÷ng mÖnh lÖnh cÇn thiÕt ®îc ph¸t sinh vµ göi ®Õn nh÷ng bé phËn thi hµnh thÝch hîp nh c¸c c¬ tay, ch©n. • Nh÷ng bé phËn thi hµnh biÕn nh÷ng xung ®iÖn thµnh d÷ liÖu xuÊt cña hÖ thèng. Tãm l¹i bé n·o cã cÊu t¹o rÊt phøc t¹p, tinh vi bëi ®îc t¹o thµnh tõ m¹ng n¬ron cã hµng chôc tØ tÕ bµo víi møc ®é liªn kÕt gi÷a c¸c n¬ron lµ rÊt cao vµ ho¹t ®éng dùa trªn c¬ chÕ ho¹t ®éng song song cña c¸c n¬ron t¹o nªn nã.
C¸c kÝch C¸c bé M¹ng líi C¸c bé t¸c C¸c ®¸p thÝch tiÕp nhËn thÇn kinh ®éng øng H×nh 1.1 BiÓu diÔn s¬ ®å khèi cña hÖ thèng thÇn kinh -9- 1.2 M« h×nh n¬ron sinh häc N¬ron lµ phÇn tö c¬ b¶n t¹o nªn bé n·o. CÊu t¹o vµ ho¹t ®éng cña nã nh sau a) CÊu t¹o: Mét n¬ron ®iÓn h×nh cã 3 phÇn chÝnh: - PhÇn thø nhÊt: Th©n phÇn tö hay soma (cell body or soma). Nh©n cña n¬ron ®îc ®Æt ë ®©y. - PhÇn thø hai: C¸c dendrite.
§©y chÝnh lµ c¸c m¹ng d¹ng c©y cña c¸c d©y thÇn kinh ®Ó nèi c¸c soma víi nhau. - PhÇn thø ba: axon. §©y lµ mét nèi kÕt, h×nh trô dµi vµ mang c¸c tÝn hiÖu tõ ®ã ra ngoµi. PhÇn cuèi cña axon ®îc chia thµnh nhiÒu nh¸nh nhá.
Mçi nh¸nh nhá (c¶ cña dendrite vµ axon) kÕt thóc trong mét c¬ quan nhá h×nh cñ hµnh ®îc gäi lµ synapte mµ t¹i ®©y c¸c n¬ron ®a c¸c tÝn hiÖu cña nã vµo c¸c n¬ron kh¸c. Nh÷ng ®iÓm tiÕp nhËn víi c¸c synapte trªn c¸c n¬ron kh¸c cã thÓ ë c¸c dendrite hay chÝnh soma. Synapse Nucleus Axon Dendrites H×nh 1. - 10 - b) Ho¹t ®éng: C¸c tÝn hiÖu ®a ra bëi mét synapte vµ ®îc nhËn bëi c¸c dendrite lµ c¸c kÝch thÝch ®iÖn tö.
ViÖc truyÒn tÝn hiÖu nh trªn liªn quan ®Õn mét qu¸ tr×nh hãa häc phøc t¹p mµ trong ®ã c¸c chÊt truyÒn ®Æc trng ®îc gi¶i phãng tõ phÝa göi cña n¬i tiÕp nèi. §iÒu nµy lµm t¨ng hay gi¶m ®iÖn thÕ bªn trong th©n cña n¬ron nhËn. N¬ron nhËn tÝn hiÖu sÏ kÝch ho¹t (fire) nÕu ®iÖn thÕ vît khái mét ngìng nµo ®ã vµ mét xung (hoÆc ®iÖn thÕ ho¹t ®éng) víi ®é m¹nh (cêng ®é) vµ thêi gian tån t¹i cè ®Þnh ®îc göi ra ngoµi th«ng qua axon tíi phÇn nh¸nh cña nã råi tíi c¸c chç nèi synapte víi c¸c n¬ron kh¸c. Sau khi fering, n¬ron sÏ chê trong mét kho¶ng thêi gian ®îc gäi lµ chu kú refractory, tríc khi nã cã thÓ fire l¹i.
Synapses lµ excitatory nÕu chóng cho phÐp c¸c kÝch thÝch truyÒn qua g©y ra t×nh tr¹ng fire ®èi víi n¬ron nhËn. Ngîc l¹i, chóng lµ inhibitory nÕu chóng cho phÐp c¸c kÝch thÝch truyÒn qua lµm ng¨n chë tr¹ng th¸i fire cña n¬ron nhËn.3 M« h×nh n¬ron nh©n t¹o §Ó m« pháng c¸c tÕ bµo thÇn kinh vµ c¸c khíp nèi thÇn kinh cña bé n·o con ngêi, trong m¹ng n¬ron nh©n t¹o còng cã c¸c thµnh phÇn cã vai trß t¬ng tù lµ c¸c n¬ron nh©n t¹o cïng c¸c kÕt nèi synapse. Mét n¬ron nh©n t¹o lµ mét ®¬n vÞ tÝnh to¸n hay ®¬n vÞ xö lý th«ng tin c¬ së cho ho¹t ®éng cña mét m¹ng n¬ron.2 chØ ra m« h×nh cña mét n¬ron nh©n t¹o.