1 LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn đến Ban Giám hiệu trường Đại học Công nghệ - Đại học Quốc gia Hà Nội đã tạo cho em môi trường tốt để em có thể học tập và tiếp thu được những kiến thức quý báu trong những năm qua. Em xin gửi lời cảm ơn sâu sắc đến Thầy giáo, Tiến sĩ Nguyễn Ngọc Cương đã nhiệt tình hướng dẫn, định hướng, hỗ trợ em trong suốt quá trình thực hiện luận văn, giúp đỡ em tiếp cận với cách tư duy, giải quyết và trình bày một vấn đề cần nghiên cứu. Những điều này đã giúp em khắc phục được những hạn chế của bản thân và những khó khăn để hoàn thành luận văn thành công, đúng thời hạn. Em cũng gửi lời cảm ơn chân thành tới các thầy cô trong trường, đặc biệt các thầy cô trong Khoa Công nghệ thông tin đã giảng dạy em trong suốt thời gian học tập tại trường. Với những kiến thức, bài học có được sẽ là hành trang giúp em tự tin hơn trong công việc, cuộc sống và những mục tiêu trong tương lai. Tôi cũng xin được cảm ơn tới gia đình, những người thân, các đồng nghiệp và bạn bè đã thường xuyên quan tâm, động viên; cảm ơn Tiến sĩ Ngô Quốc Dũng đã chia sẻ kinh nghiệm, cung cấp các tài liệu hữu ích trong thời gian học tập, nghiên cứu cũng như trong suốt quá trình thực hiện luận văn tốt nghiệp. Mặc dù em đã cố gắng hoàn thành luận văn bằng tất cả sự nỗ lực và khả năng của mình, nhưng chắc chắn vẫn còn nhiều hạn chế và thiếu sót. Em mong nhận được sự cảm thông và góp ý quý giá từ các thầy cô và các bạn. Hà Nội, tháng 11 năm 2017 Học viên Bùi Đức Anh 2 LỜI CAM ĐOAN Tôi xin cam đoan, những kiến thức trình bày trong luận văn là do tôi tìm hiểu, nghiên cứu và trình bày lại. Trong quá trình làm luận văn tôi có tham khảo các tài liệu có liên quan và đã ghi rõ nguồn tài liệu tham khảo đó. Những kết quả mới trong luận văn là của riêng tôi, không sao chép từ bất kỳ một công trình nào khác. Nếu có điều gì không trung thực, tôi xin hoàn toàn chịu trách nhiệm. Tác giả Bùi Đức Anh 3 MỤC LỤC LỜI CẢM ƠN . 1 LỜI CAM ĐOAN. 3 DANH MỤC CÁC TỪ VIẾT TẮT . 5 DANH MỤC CÁC HÌNH ẢNH . Tính cấp thiết của đề tài. Mục tiêu nghiên cứu . Đối tượng và phạm vi nghiên cứu của đề tài. Phương pháp nghiên cứu . Ý nghĩa khoa học, ý nghĩa thực tiễn của đề tài . Kết cấu luận văn . 9 CHƯƠNG 1: CÁC VẤN ĐỀ TỔNG QUAN . Trí tuệ nhân tạo . Chatbot hỗ trợ học tiếng Anh . Ngữ pháp tiếng Anh . Các khái niệm cơ bản. Phân loại lỗi . Một số lỗi ngữ pháp trong tiếng Anh . Tổng quan bài toán kiểm tra ngữ pháp tiếng Anh . Phân tích cú pháp . Bài toán kiểm tra ngữ pháp tiếng Anh . Kết luận chương . 32 CHƯƠNG 2: MÔ HÌNH PCFGs VÀ NGÔN NGỮ AIML . Mô hình PCFGs . Văn phạm phi ngữ cảnh . Tính mập mờ trong phân tích cú pháp . Văn phạm phi ngữ cảnh hướng thống kê PCFGs . Ngôn ngữ AIML . Các Category và đặc tính của AIML . Một số thẻ thông dụng trong AIML . Kết luận chương . 52 CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ, CÀI ĐẶT ỨNG DỤNG . Phân tích thiết kế . Xác định yêu cầu . Xây dựng tập luật dựa trên tập dữ liệu có sẵn . Cài đặt ứng dụng. Giao diện chức năng hội thoại (Chatbot) . Giao diện chức năng tra cứu từ điển . Giao diện chức năng kiểm tra chính tả, ngữ pháp . Đánh giá ứng dụng . 64 TÀI LIỆU THAM KHẢO . 66 5 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Từ đầy đủ AI Artificial Intelligence (Trí tuệ nhân tạo) AIML Artificial Intelligence Markup Language CKY Cocke-Kasami-Younger CNF Chomsky Normal Form CFG Context-Free Grammar (Văn phạm phi ngữ cảnh) DARPA Defense Advanced Research Projects Agency DT Determiner (Từ hạn định/Từ chỉ định) IBM International Business Machines IN Prepostion (Giới từ) NN Noun (Danh từ) NP Noun Phrase (Cụm danh từ) Probabilistic Context-Free Grammars PCFGs (Văn phạm phi ngữ cảnh hướng thống kê) PP Prepositional Phrase (Cụm giới từ) S Sentence (Câu) SCFG Stochastic Context-Free Grammar Vi Intrasitive Verb (Nội động từ) VP Verb Phrase (Cụm động từ) Vt Transitive Verb (Ngoại động từ) 6 DANH MỤC CÁC HÌNH ẢNH Hình 1. Mô hình Turing Test . Quá trình hình thành và phát triển của trí tuệ nhân tạo. Chatbot Andy English . Mô hình xử lý ngôn ngữ tự nhiên . Cú pháp câu “Claudia sat on a stool” . Phương pháp Top - Down . Phương pháp Bottom – Up. Cây cú pháp biểu diễn từ dẫn xuất . Tính mập mờ trong phân tích cây cú pháp[8]. Một PCFGs đơn giản[8]. Một PCFGs với CNF. Ngôn ngữ AIML. Ví dụ về độ ưu tiên thông tin (1) . Ví dụ về độ ưu tiên thông tin (2) . Ví dụ về thẻ <star> . Ví dụ về thẻ <srai> . Ví dụ về thẻ <sr> . Ví dụ về thẻ <set>, <get> . Ví dụ về thẻ <that>. Ví dụ về thẻ <topic>. Ví dụ về thẻ <condition> . Ví dụ về thẻ <random> và thẻ <think> . Mô hình hệ thống AI English . Dữ liệu trong Tatoeba . Dữ liệu câu tiếng Anh . Tập luật trong PCFGs. Giao diện khởi tạo của AI English . Giao diện cuộc hội thoại ứng dụng AI English. Giao diện chức năng tra cứu từ điển . Giao diện chức năng kiểm tra ngữ pháp . Giao diện chi tiết lỗi và sửa lỗi . Bảng động từ bất quy tắc . Các cụm từ thông dụng . Tính cấp thiết của đề tài Trong nhiều năm trở lại đây, với nhu cầu về hội nhập ngày càng cao giữa các quốc gia cả về kinh tế lẫn văn hóa, yêu cầu về ngoại ngữ, đặc biệt là tiếng Anh, trở thành một vấn đề cấp thiết với mỗi người. Nhưng nhiều người không có đủ thời gian cũng như điều kiện để tham gia các lớp học thêm hoặc các câu lạc bộ để nâng cao trình độ của mình. Chính vì vậy cần có những phần mềm, công cụ để hỗ trợ người học tiếng Anh ở bất cứ nơi đâu, vào bất cứ thời gian nào. Hiện nay đã có nhiều công cụ hướng tới mục đích đó, song mỗi công cụ, phần mềm đều có những hạn chế riêng, đặc biệt là tính thụ động. Người học hầu như chỉ tham gia vào các hoạt động được thiết kế từ trước trên công cụ, ít có sự tương tác hai chiều. Với sự phát triển của khoa học công nghệ, việc mỗi người sở hữu cho mình một chiếc điện thoại thông minh hiện nay là rất phổ biến. Dựa trên nền tảng điện thoại thông minh mà đã và đang xuất hiện các ứng dụng hỗ trợ học tiếng Anh có sự tương tác cao giữa người và máy; một trong những ứng dụng phổ biến nhất hiện nay có thể kể tới là các ứng dụng dựa trên Chatbot. Tuy nhiên, phần lớn các ứng dụng Chatbot mới tập trung vào phần từ vựng, từ điển, trắc nghiệm. hoặc các ứng dụng luyện kỹ năng nghe, kỹ năng đọc., có rất ít các ứng dụng có thể giúp người dùng kiểm tra chính tả cũng như cú pháp của câu để chỉ ra lỗi sai cho người đọc và chỉnh sửa nó, mặc dù đây là một bài toán tương đối quan trọng. Vì vậy, Chatbot đáp ứng được các yêu cầu, chạy trên điện thoại thông minh để hỗ trợ người học tiếng Anh sẽ là một giải pháp có hiệu quả để nâng cao chất lượng học tập tiếng Anh. Chính vì lý do đó, tác giả đã lựa chọn đề tài: “Nghiên cứu mô hình PCFGs và ngôn ngữ AIML trong xây dựng chatbot hỗ trợ học tiếng Anh”. Mục tiêu nghiên cứu Nghiên cứu cơ sở lý thuyết nền tảng của bài toán kiểm tra chính tả và cú pháp của câu trong tiếng Anh; ứng dụng cài đặt, đánh giá giải thuật và xây dựng một ứng dụng hỗ trợ các tính năng như kiểm tra chính tả, ngữ pháp, cú pháp thông qua hội thoại giữa người dùng và máy trên nền tảng Android. Đối tượng và phạm vi nghiên cứu của đề tài Đối tượng nghiên cứu - Khái quát về trí tuệ nhân tạo 9 - Mô hình PCFGs, ứng dụng xây dựng cây cú pháp - Ngôn ngữ AIML và kỹ thuật xây dựng chatbot Phạm vi nghiên cứu Chatbot trên điện thoại thông minh sử dụng hệ điều hành Android được xây dựng dựa trên AIML và mô hình PCFGs có khả năng thực hiện hội thoại với người dùng, phát hiện và sửa những lỗi chính tả và cú pháp. Phương pháp nghiên cứu - Khảo sát, phân tích và hệ thống hóa nội dung các tài liệu khoa học liên quan đến chatbot hỗ trợ học tiếng Anh - Đối sánh nội dung nghiên cứu của đề tài với các nội dung nghiên cứu đã thực hiện để vừa phát triển áp dụng các kết quả khoa học - công nghệ đã có cho đề tài vừa tìm ra các nội dung mới cần được nghiên cứu và thi hành. - Thiết kế mô hình và thực nghiệm đánh giá các kỹ thuật, bài toán đã đề xuất để chứng minh tính hiệu quả. Ý nghĩa khoa học, ý nghĩa thực tiễn của đề tài Ý nghĩa khoa học - Nghiên cứu, nắm vững về trí tuệ nhân tạo và ngôn ngữ AIML - Vận dụng trí tuệ nhân tạo để tạo ra sự giao tiếp thân thiện, gần gũi giữa người và máy tính - Tìm hiểu về chatbot và ứng dụng chatbot để cung cấp thông tin Ý nghĩa thực tiễn - Tạo ra được công cụ hỗ trợ học tiếng Anh theo hình thức hội thoại giữa người và máy - Giúp phát hiện và sửa những lỗi thường gặp về chính tả và cú pháp trong quá trình giao tiếp (viết, nói) bằng tiếng Anh. - Nâng cao hiệu quả học tiếng Anh. Kết cấu luận văn - Chương 1: Các vấn đề tổng quan: Giới thiệu tổng quan lý thuyết về trí tuệ nhân tạo, xu hướng phát triển của trí tuệ nhân tạo, lĩnh vực xây dựng chatbot hỗ trợ học tiếng Anh, bài toán phân tích cú pháp, kiểm tra chính tả, ngữ pháp và các vấn đề liên quan. 10 - Chương 2: Mô hình PCFGs và ngôn ngữ AIML: Nghiên cứu văn phạm phi ngữ cảnh, tính mập mờ trong phân tích cú pháp và đề xuất giải pháp sử dụng văn phạm phi ngữ cảnh hướng thống kê PCFGs; nghiên cứu mã nguồn mở AIML trong xây dựng chatbot. - Chương 3: Phân tích thiết kế, cài đặt ứng dụng: Trình bày cơ bản về thiết kế của ứng dụng và kết quả đạt được thông qua một số mẫu kiểm thử. - Kết luận: Trình bày điểm mạnh và hạn chế trong luận văn.
