ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ BÙI ĐỨC ANH NGHIÊN CỨU MÔ HÌNH PCFGS VÀ NGÔN NGỮ AIML TRONG XÂY DỰNG CHATBOT HỖ TRỢ HỌC TIẾNG ANH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - Năm 2017 z ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ BÙI ĐỨC ANH NGHIÊN CỨU MÔ HÌNH PCFGS VÀ NGÔN NGỮ AIML TRONG XÂY DỰNG CHATBOT HỖ TRỢ HỌC TIẾNG ANH Ngành: Công nghệ thông tin Chuyên ngành: Truyền dữ liệu và mạng máy tính LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS NGUYỄN NGỌC CƢƠNG Hà Nội - Năm 2017 z 1 LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn đến Ban Giám hiệu trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội đã tạo cho em môi trƣờng tốt để em có thể học tập và tiếp thu đƣợc những kiến thức quý báu trong những năm qua. Em xin gửi lời cảm ơn sâu sắc đến Thầy giáo, Tiến sĩ Nguyễn Ngọc Cƣơng đã nhiệt tình hƣớng dẫn, định hƣớng, hỗ trợ em trong suốt quá trình thực hiện luận văn, giúp đỡ em tiếp cận với cách tƣ duy, giải quyết và trình bày một vấn đề cần nghiên cứu. Những điều này đã giúp em khắc phục đƣợc những hạn chế của bản thân và những khó khăn để hoàn thành luận văn thành công, đúng thời hạn. Em cũng gửi lời cảm ơn chân thành tới các thầy cô trong trƣờng, đặc biệt các thầy cô trong Khoa Công nghệ thông tin đã giảng dạy em trong suốt thời gian học tập tại trƣờng.
Với những kiến thức, bài học có đƣợc sẽ là hành trang giúp em tự tin hơn trong công việc, cuộc sống và những mục tiêu trong tƣơng lai. Tôi cũng xin đƣợc cảm ơn tới gia đình, những ngƣời thân, các đồng nghiệp và bạn bè đã thƣờng xuyên quan tâm, động viên; cảm ơn Tiến sĩ Ngô Quốc Dũng đã chia sẻ kinh nghiệm, cung cấp các tài liệu hữu ích trong thời gian học tập, nghiên cứu cũng nhƣ trong suốt quá trình thực hiện luận văn tốt nghiệp. Mặc dù em đã cố gắng hoàn thành luận văn bằng tất cả sự nỗ lực và khả năng của mình, nhƣng chắc chắn vẫn còn nhiều hạn chế và thiếu sót. Em mong nhận đƣợc sự cảm thông và góp ý quý giá từ các thầy cô và các bạn.
Hà Nội, tháng 11 năm 2017 Học viên Bùi Đức Anh z 2 LỜI CAM ĐOAN Tôi xin cam đoan, những kiến thức trình bày trong luận văn là do tôi tìm hiểu, nghiên cứu và trình bày lại. Trong quá trình làm luận văn tôi có tham khảo các tài liệu có liên quan và đã ghi rõ nguồn tài liệu tham khảo đó. Những kết quả mới trong luận văn là của riêng tôi, không sao chép từ bất kỳ một công trình nào khác. Nếu có điều gì không trung thực, tôi xin hoàn toàn chịu trách nhiệm.
Tác giả Bùi Đức Anh z 3 MỤC LỤC LỜI CẢM ƠN. 1 LỜI CAM ĐOAN. 3 DANH MỤC CÁC TỪ VIẾT TẮT. 5 DANH MỤC CÁC HÌNH ẢNH.
Tính cấp thiết của đề tài. Mục tiêu nghiên cứu. Đối tƣợng và phạm vi nghiên cứu của đề tài. Phƣơng pháp nghiên cứu.
Ý nghĩa khoa học, ý nghĩa thực tiễn của đề tài. Kết cấu luận văn. 9 CHƢƠNG 1: CÁC VẤN ĐỀ TỔNG QUAN. Trí tuệ nhân tạo.
Chatbot hỗ trợ học tiếng Anh. Ngữ pháp tiếng Anh. Các khái niệm cơ bản. Phân loại lỗi.
Một số lỗi ngữ pháp trong tiếng Anh. Tổng quan bài toán kiểm tra ngữ pháp tiếng Anh. Phân tích cú pháp. Bài toán kiểm tra ngữ pháp tiếng Anh.
Kết luận chƣơng. 33 CHƢƠNG 2: MÔ HÌNH PCFGs VÀ NGÔN NGỮ AIML. Mô hình PCFGs. Văn phạm phi ngữ cảnh.
Tính mập mờ trong phân tích cú pháp. Văn phạm phi ngữ cảnh hƣớng thống kê PCFGs. Ngôn ngữ AIML. Các Category và đặc tính của AIML.
Một số thẻ thông dụng trong AIML. Kết luận chƣơng. 54 CHƢƠNG 3: PHÂN TÍCH THIẾT KẾ, CÀI ĐẶT ỨNG DỤNG. Phân tích thiết kế.
Xác định yêu cầu. Xây dựng tập luật dựa trên tập dữ liệu có sẵn. Cài đặt ứng dụng. Giao diện chức năng hội thoại (Chatbot).
Giao diện chức năng tra cứu từ điển. Giao diện chức năng kiểm tra chính tả, ngữ pháp. Đánh giá ứng dụng. 66 TÀI LIỆU THAM KHẢO.
68 z 5 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Từ đầy đủ AI Artificial Intelligence (Trí tuệ nhân tạo) AIML Artificial Intelligence Markup Language CKY Cocke-Kasami-Younger CNF Chomsky Normal Form CFG Context-Free Grammar (Văn phạm phi ngữ cảnh) DARPA Defense Advanced Research Projects Agency DT Determiner (Từ hạn định/Từ chỉ định) IBM International Business Machines IN Prepostion (Giới từ) NN Noun (Danh từ) NP Noun Phrase (Cụm danh từ) Probabilistic Context-Free Grammars PCFGs (Văn phạm phi ngữ cảnh hướng thống kê) PP Prepositional Phrase (Cụm giới từ) S Sentence (Câu) SCFG Stochastic Context-Free Grammar Vi Intrasitive Verb (Nội động từ) VP Verb Phrase (Cụm động từ) Vt Transitive Verb (Ngoại động từ) z 6 DANH MỤC CÁC HÌNH ẢNH Hình 1. Mô hình Turing Test. Quá trình hình thành và phát triển của trí tuệ nhân tạo. Chatbot Andy English.
Mô hình xử lý ngôn ngữ tự nhiên. Cú pháp câu “Claudia sat on a stool”. Phƣơng pháp Top - Down. Phƣơng pháp Bottom – Up.
Cây cú pháp biểu diễn từ dẫn xuất. Tính mập mờ trong phân tích cây cú pháp[8]. Một PCFGs đơn giản[8]. Một PCFGs với CNF.
Ngôn ngữ AIML. Ví dụ về độ ƣu tiên thông tin (1). Ví dụ về độ ƣu tiên thông tin (2). Ví dụ về thẻ <star>.
Ví dụ về thẻ <srai>. Ví dụ về thẻ <sr>. Ví dụ về thẻ <set>, <get>. Ví dụ về thẻ <that>.
Ví dụ về thẻ <topic>. Ví dụ về thẻ <condition>. Ví dụ về thẻ <random> và thẻ <think>. Mô hình hệ thống AI English.
Dữ liệu trong Tatoeba. Dữ liệu câu tiếng Anh. Tập luật trong PCFGs. Giao diện khởi tạo của AI English.
Giao diện cuộc hội thoại ứng dụng AI English. Giao diện chức năng tra cứu từ điển. Giao diện chức năng kiểm tra ngữ pháp. Giao diện chi tiết lỗi và sửa lỗi.
Bảng động từ bất quy tắc. Các cụm từ thông dụng. Tính cấp thiết của đề tài Trong nhiều năm trở lại đây, với nhu cầu về hội nhập ngày càng cao giữa các quốc gia cả về kinh tế lẫn văn hóa, yêu cầu về ngoại ngữ, đặc biệt là tiếng Anh, trở thành một vấn đề cấp thiết với mỗi ngƣời. Nhƣng nhiều ngƣời không có đủ thời gian cũng nhƣ điều kiện để tham gia các lớp học thêm hoặc các câu lạc bộ để nâng cao trình độ của mình.
Chính vì vậy cần có những phần mềm, công cụ để hỗ trợ ngƣời học tiếng Anh ở bất cứ nơi đâu, vào bất cứ thời gian nào. Hiện nay đã có nhiều công cụ hƣớng tới mục đích đó, song mỗi công cụ, phần mềm đều có những hạn chế riêng, đặc biệt là tính thụ động. Ngƣời học hầu nhƣ chỉ tham gia vào các hoạt động đƣợc thiết kế từ trƣớc trên công cụ, ít có sự tƣơng tác hai chiều. Với sự phát triển của khoa học công nghệ, việc mỗi ngƣời sở hữu cho mình một chiếc điện thoại thông minh hiện nay là rất phổ biến.
Dựa trên nền tảng điện thoại thông minh mà đã và đang xuất hiện các ứng dụng hỗ trợ học tiếng Anh có sự tƣơng tác cao giữa ngƣời và máy; một trong những ứng dụng phổ biến nhất hiện nay có thể kể tới là các ứng dụng dựa trên Chatbot. Tuy nhiên, phần lớn các ứng dụng Chatbot mới tập trung vào phần từ vựng, từ điển, trắc nghiệm. hoặc các ứng dụng luyện kỹ năng nghe, kỹ năng đọc., có rất ít các ứng dụng có thể giúp ngƣời dùng kiểm tra chính tả cũng nhƣ cú pháp của câu để chỉ ra lỗi sai cho ngƣời đọc và chỉnh sửa nó, mặc dù đây là một bài toán tƣơng đối quan trọng. Vì vậy, Chatbot đáp ứng đƣợc các yêu cầu, chạy trên điện thoại thông minh để hỗ trợ ngƣời học tiếng Anh sẽ là một giải pháp có hiệu quả để nâng cao chất lƣợng học tập tiếng Anh.
Chính vì lý do đó, tác giả đã lựa chọn đề tài: “Nghiên cứu mô hình PCFGs và ngôn ngữ AIML trong xây dựng chatbot hỗ trợ học tiếng Anh”. Mục tiêu nghiên cứu Nghiên cứu cơ sở lý thuyết nền tảng của bài toán kiểm tra chính tả và cú pháp của câu trong tiếng Anh; ứng dụng cài đặt, đánh giá giải thuật và xây dựng một ứng dụng hỗ trợ các tính năng nhƣ kiểm tra chính tả, ngữ pháp, cú pháp thông qua hội thoại giữa ngƣời dùng và máy trên nền tảng Android. Đối tƣợng và phạm vi nghiên cứu của đề tài Đối tƣợng nghiên cứu z 9 - Khái quát về trí tuệ nhân tạo - Mô hình PCFGs, ứng dụng xây dựng cây cú pháp - Ngôn ngữ AIML và kỹ thuật xây dựng chatbot Phạm vi nghiên cứu Chatbot trên điện thoại thông minh sử dụng hệ điều hành Android đƣợc xây dựng dựa trên AIML và mô hình PCFGs có khả năng thực hiện hội thoại với ngƣời dùng, phát hiện và sửa những lỗi chính tả và cú pháp. Phƣơng pháp nghiên cứu - Khảo sát, phân tích và hệ thống hóa nội dung các tài liệu khoa học liên quan đến chatbot hỗ trợ học tiếng Anh - Đối sánh nội dung nghiên cứu của đề tài với các nội dung nghiên cứu đã thực hiện để vừa phát triển áp dụng các kết quả khoa học - công nghệ đã có cho đề tài vừa tìm ra các nội dung mới cần đƣợc nghiên cứu và thi hành.
- Thiết kế mô hình và thực nghiệm đánh giá các kỹ thuật, bài toán đã đề xuất để chứng minh tính hiệu quả. Ý nghĩa khoa học, ý nghĩa thực tiễn của đề tài Ý nghĩa khoa học - Nghiên cứu, nắm vững về trí tuệ nhân tạo và ngôn ngữ AIML - Vận dụng trí tuệ nhân tạo để tạo ra sự giao tiếp thân thiện, gần gũi giữa ngƣời và máy tính - Tìm hiểu về chatbot và ứng dụng chatbot để cung cấp thông tin Ý nghĩa thực tiễn - Tạo ra đƣợc công cụ hỗ trợ học tiếng Anh theo hình thức hội thoại giữa ngƣời và máy - Giúp phát hiện và sửa những lỗi thƣờng gặp về chính tả và cú pháp trong quá trình giao tiếp (viết, nói) bằng tiếng Anh. - Nâng cao hiệu quả học tiếng Anh.