HàC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG ----------------------------------- NguyÅn Minh Trí ĀNG DĀNG MÁY HàC TRONG T¾O SINH CÂU TRÀ LâI CHO HÆ THÞNG HâI - ĐÁP LU¾N VN TH¾C SĨ KỸ THU¾T (Theo đßnh h°áng āng dāng) TP. Hà CHÍ MINH - 2022 TP. Hà CHÍ MINH HàC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG -------------------------------------- NguyÅn Minh Trí ĀNG DĀNG MÁY HàC TRONG T¾O SINH CÂU TRÀ LâI CHO HÆ THÞNG HâI - ĐÁP Chuyên ngành: HÇ thßng thông tin Mã sß: 8.04 LU¾N VN TH¾C SĨ KỸ THU¾T (Theo đßnh h°áng āng dāng) NG¯âI H¯àNG DÀN KHOA HàC: PGS.TS NGUYÄN TUÂN ĐNG TP. Hà CHÍ MINH - 2022 i LâI CAM ĐOAN Tôi cam đoan rằng luÁn văn: <Āng dụng máy học trong tạo sinh câu trả lời cho hệ thống hỏi đáp= là công trình nghiên cāu cÿa chính tôi.
Nhāng kÃt quÁ nghiên cāu đ°ÿc trình bày trong luÁn văn là công trình cÿa riêng cÿa tôi d°ãi să h°ãng d¿n cÿa PGS.TS NguyÅn TuÃn Đng. Tôi cam đoan các sá liáu, kÃt quÁ nêu trong luÁn văn là trung thăc và ch°a tăng đ°ÿc công bá trong công trình nghiên cāu nào khác. Không có bÃt cā thông tin nào cÿa ng°åi khác đ°ÿc sÿ dāng trong luÁn văn này mà không đ°ÿc trích d¿n theo đúng quy định. Tây Ninh, ngày 25 tháng 01 năm 2022 Hác viên thăc hiÇn lu¿n vn NguyÅn Minh Trí ii LâI CÀM ¡N Trong suát quá trình học tÁp và nghiên cāu thăc hián luÁn văn, ngoài nß lăc cÿa bÁn thân, tôi đã nhÁn đ°ÿc să h°ãng d¿n nhiát tình quý báu cÿa quý ThÅy Cô, cùng vãi să đáng viên và ÿng há cÿa gia đình, b¿n bè và đồng nghiáp.
Vãi lòng kính trọng và biÃt ¢n sâu sÃc, tôi xin gÿi låi cÁm ¢n chân thành tãi: Tôi xin chân thành cÁm ¢n Ban Giám hiáu, quý thÅy cô Khoa Đào t¿o sau đ¿i học cÿa Học vián Công nghá B°u chính Vißn thông đã t¿o điÅu kián thuÁn lÿi giúp tôi hoàn thành luÁn văn này. Tôi xin chân thành cÁm ¢n ThÅy PGS.TS NguyÅn TuÃn Đng, đã hÃt lòng giúp đỡ, h°ãng d¿n, đáng viên, t¿o điÅu kián cho tôi trong suát quá trình thăc hián và hoàn thành luÁn văn. Tôi xin chân thành cÁm ¢n gia đình, b¿n bè, đồng nghiáp trong c¢ quan đã đáng viên, hß trÿ tôi trong lúc khó khăn đÇ tôi có thÇ học tÁp và hoàn thành luÁn văn. MÁc dù tôi đã rÃt cá gÃng và hÃt sāc nß lăc nh°ng không thÇ tránh khßi nhāng thiÃu sót do thåi gian và kinh nghiám nghiên cāu khoa học còn h¿n chÃ, Tôi rÃt mong nhÁn đ°ÿc să góp ý cÿa quý ThÅy Cô cùng b¿n bè đồng nghiáp đÇ có thÇ hoàn thiát h¢n vÅ kiÃn thāc cÿa bÁn thân.
Xin chân thành cÁm ¢n! Tây Ninh, ngày 25 tháng 01 năm 2022 Hác viên thăc hiÇn lu¿n vn NguyÅn Minh Trí iii DANH MĀC HÌNH VẼ Hình 1. M¿ng n¢-ron nhân t¿o. KiÃn trúc cÿa m¿ng RNN. Āng dāng RNN trong phát sinh mô tÁ cho Ánh.
CÃu trúc chung cÿa RNN mát chiÅu thông th°ång đ°ÿc hiÇn thị (a) vãi mát đ°ång trß và (b) mç ra theo thåi gian trong hai b°ãc thåi gian. CÃu trúc chung cÿa m¿ng n¢-ron lÁp l¿i hai chiÅu (BRNN) đ°ÿc hiÇn thị theo thåi gian trong ba b°ãc thåi gian. Mô-đun lÁp l¿i trong m¿ng RNN tiêu chuẩn chāa mát lãp duy nhÃt. Mô-đun lÁp l¿i trong mát LSTM chāa bán lãp t°¢ng tác.
Cổng trong mô hình LSTM. LSTM và GRU. Quy trình bài toán. KÃt quÁ xÿ lý dā liáu.
HuÃn luyán cho mô hình. BiÇu đồ miêu tÁ đá chính xác cÿa mô hình. Chatbot t° vÃn vÅ vÃn đÅ đáng thai. Chatbot t° vÃn vÅ vÃn đÅ khám thai.
Chatbot t° vÃn vÅ bánh trÅm cÁm sau sinh .36 iv DANH MĀC TĂ VI¾T TÀT AI Artificial Intelligence ANN Artificial Neural Network RNN Recurrent Neural Network BRNN Bidirectional recurrent neural networks LSTM Long Short Term Memory GPUs Gated recurrent units v MĀC LĀC LäI CAM ĐOAN. ii DANH MĀC HÌNH VÀ. iii DANH MĀC TĂ VIÂT TÂT. Lý do chọn đÅ tài.
Tổng quan vÅ vÃn đÅ nghiên cāu. Đái t°ÿng và ph¿m vi nghiên cāu. Ph°¢ng pháp nghiên cāu. PHÄN NàI DUNG.1 Giãi thiáu ch°¢ng 1.2 Há tháng trÁ låi tă đáng .3 Phân lo¿i các mô hình trÁ låi tă đáng .4 KiÃn trúc m¿ng n¢-ron nhân t¿o .5 Ho¿t đáng cÿa m¿ng n¢-ron nhân t¿o [13] .6 M¿ng n¢-ron RNN (Recurrent Neural Network) và āng dāng .7 Mô hình trÁ låi tă đáng .8 Embedding và Keras Embedding Layer [18], [19].
CÁC CÔNG TRÌNH LIÊN QUAN .1 Giãi thiáu ch°¢ng 2.2 Tình hình nghiên cāu trong và ngoài n°ãc. ĐÄ XUÂT PH¯¡NG PHÁP XÂY DĂNG Bà DĀ LIàU VÀ MÔ HÌNH CHO BÀI TOÁN .1 Giãi thiáu ch°¢ng 3.2 ĐÅ xuÃt ph°¢ng pháp và thuÁt toán xÿ lý. CÀI ĐÀT VÀ THĂC NGHIàM .1 Giãi thiáu ch°¢ng 4.2 Bá dā liáu cÿa bài toán .3 Xây dăng mô hình .4 Đánh giá mô hình và áp dāng vào chatbot. KÂT LUÀN VÀ H¯âNG PHÁT TRIÆN.1 KÃt quÁ nghiên cāu cÿa đÅ tài .2 H¿n chà cÿa đÅ tài .3 H°ãng phát triÇn cÿa đÅ tài .39 TÀI LIàU THAM KHÀO.
Lý do chán đÁ tài Các há tháng trÁ låi câu hßi (Question-Answering System - QAS) là nhāng há tháng có thÇ tă phân tích câu hßi và tă đ°a ra câu trÁ låi. Các há tháng QAS đ°ÿc āng dāng trong kinh doanh và th°¢ng m¿i đián tÿ có thÇ hß trÿ khách hàng mua sÁn phẩm và giúp doanh nghiáp tăng doanh thu. Ví dā, khi mua sÃm trên m¿ng, ng°åi dùng có thÇ truy cÁp vào trang web cÿa các doanh nghiáp và đÁt câu hßi đÇ hiÇu rõ h¢n vÅ sÁn phẩm. Yêu cÅu cÿa ng°åi mua hàng sÁ đ°ÿc các chatbot trên các website phân tích và đ°a ra nhāng câu trÁ låi vãi thông tin có ích cho ng°åi mua hàng.
Các chatbot là nhāng há tháng trÁ låi tă đáng, có thÇ giúp cÁi thián doanh thu bán hàng đáng kÇ và là thành phÅn không thÇ thiÃu trong các website bán hàng ngày nay. Tổng quan vÁ vÃn đÁ nghiên cāu Trong nhāng năm gÅn đây, khái niám vÅ trÿ lý Áo, hay chatbot, hay há tháng trÁ låi tă đáng đ°ÿc các công ty lãn nh° Microsoft (Cortana), Google (Google Assistant), Facebook (M), Apple (Siri), Samsung (Viv) đã giãi thiáu và đ°a vào khai thác. GÅn đây nhÃt Microsoft đã t¿o ra Microsoft Chat Framework cho phép các nhà phát triÇn t¿o ra các chatbot trên nÅn tÁng Web và Skype, hay Facebook cũng phát hành F8 SDK cho phép nhà phát triÇn tích hÿp vào Messenger. Há tháng trÁ låi tă đáng có thÇ trÿ giúp cho con ng°åi trong rÃt nhiÅu lĩnh văc: y tÃ, giáo dāc, th°¢ng m¿i đián tÿ & Vãi să ra đåi cÿa framework sequence-to- sequence gÅn đây, nhiÅu há tháng huÃn luyán đã sÿ dāng các m¿ng n¢ron đÇ sinh ra các câu trÁ låi mãi khi đ°a vào m¿ng mát câu hßi hoÁc mát thông điáp.
Đây là mát h°ãng tiÃp cÁn mãi rÃt có triÇn vọng trong viác xây dăng mát há tháng trÁ låi tă đáng. Trong đÅ tài này, luÁn văn sÁ nghiên cāu các mô hình máy học đÇ xây dăng mô hình há tháng trÁ låi tă đáng có chāc năng t¿o sinh câu trÁ låi bằng tiÃng Viát cho ng°åi dùng. Māc đích nghiên cāu ĐÅ tài luÁn văn nhằm māc tiêu nghiên cāu sÿ dāng các mô hình máy học và học sâu đÇ xây dăng mát há tháng trÁ låi tă đáng (chatbot) có chāc năng t¿o sinh câu trÁ låi tiÃng Viát trong mát lĩnh văc āng dāng cā thÇ. Phân luồng câu hßi (phân tích câu hßi) là pha đÅu tiên trong kiÃn trúc chung cÿa mát há tháng hßi đáp, có nhiám vā tìm ra các thông tin cÅn thiÃt làm đÅu vào cho quá trình xÿ lý cÿa các pha sau (trích chọn tài liáu, trích xuÃt câu trÁ låi, &).
Vì vÁy viác phân tích câu hßi rÃt quan trọng, nó Ánh h°çng trăc tiÃp đÃn ho¿t đáng cÿa toàn bá há tháng. NÃu phân tích câu hßi không tát thì sÁ không thÇ tìm ra đ°ÿc câu trÁ låi. Chính vì thà đÅ tài <Há tháng tă đáng phân luồng câu hßi và giÁi đáp yêu cÅu trăc tuyÃn= đ°ÿc tác giÁ chọn và nghiên cāu. Đßi t°ÿng và ph¿m vi nghiên cāu Đái t°ÿng nghiên cāu: Mô hình há tháng trÁ låi tă đáng (chatbot), các mô hình máy học và học sâu.
Ph¿m vi nghiên cāu: nghiên cāu há tháng t° vÃn hßi đáp các vÃn đÅ vÅ sāc kho¿ sinh sÁn cho ng°åi bánh t¿i bánh vián Hồng H°ng tỉnh Tây Ninh 5. Ph°¢ng pháp nghiên cāu Nghiên cāu các mô hình há tháng trÁ låi tă đáng (chatbot) dăa trên máy học và học sâu. Mô hình có khÁ năng ghi nhã và trÁ låi chính xác câu hßi đã đ°ÿc nhìn thÃy trong thåi gian đào t¿o (gọi là Generator) Mô hình có khÁ năng trÁ låi các câu hßi mãi t¿i thåi điÇm kiÇm tra và chọn mát câu trà låi tă tÁp hÿp các câu trÁ låi trong quá trình đào t¿o (gọi là Retriever- Generator) Mô hình có khÁ năng trÁ låi các câu hßi không có trong tÁp dā liáu đào t¿o (gọi là Retriever-Reader) 3 II. PHÄN NÞI DUNG CH¯¡NG 1.1 Giái thiÇu ch°¢ng 1 Bài toán xây dăng há tháng hßi đáp là mát bài toán khó thuác lĩnh văc xÿ lý ngôn ngā tă nhiên.
Chúng ta biÃt rằng ngôn ngā tă nhiên có nhiÅu nghĩa, viác xác định đ°ÿc ngā nghĩa cÿa câu hßi cũng nh° đÇ phát hián ra câu trÁ låi là mát thách thāc khá lãn. Không nhāng vÁy, giāa câu hßi và câu trÁ låi còn tồn t¿i các quan há <ngÅm= hay phā thuác vào ngā cÁnh. Bài toán đÁt ra nhiÅu thách thāc đÇ phát hián ra đ°ÿc câu trÁ låi phù hÿp nhÃt vãi câu hßi. Ch°¢ng này sÁ giãi thiáu tổng quan vÅ há tháng trÁ låi tă đáng, tìm hiÇu các nghiên cāu ç trong và ngoài n°ãc đÇ thÃy đ°ÿc tình hình nghiên cāu và các ph°¢ng pháp tiÃp cÁn cÿa các nghiên cāu tr°ãc đây.2 HÇ thßng trÁ lãi tă đßng Há tháng trÁ låi tă đáng (QA) [1] là mát ph¿m vi cÿa ngành khoa học máy tính trong các lĩnh văc truy xuÃt thông tin và xÿ lí ngôn ngā tă nhiên (Natural Language Processing - NLP) 3 mát há tháng xÿ lí và trÁ låi các câu hßi do con ng°åi đÁt ra d°ãi d¿ng ngôn ngā tă nhiên.
QA th°ång đ°ÿc vÁn hành bçi mát ch°¢ng trình máy tính, xây dăng các câu trÁ låi bằng cách truy vÃn đÃn mát c¢ sç dā liáu có cÃu trúc chāa các thông tin hoÁc kiÃn thāc liên quan, th°ång là dăa trên kiÃn thāc. ELIZA 3 mát trong nhāng há tháng trÁ låi tă đáng đÅu tiên đ°ÿc phát triÇn vào năm 1964 có să thành công v°ÿt trái khi đ°ÿc công nhÁn là mát āng dāng hāu ích trong lĩnh văc y tÃ.