Chương 1. Đầu tiên, NCS trình bày động lực nghiên cứu của luận án trong Mục 1. Các đóng góp chính trong luận án được NCS mô tả trong Mục 1. Tiếp theo, NCS giới thiệu mục đích, đối tượng va phạm vi nghiên cứu trong Mục 1.3 và ý nghĩa khoa học và thực tiễn của luận án trong Mục 1.
Cuối cùng, NCS giới thiệu tổng quan về bố cục của luận án trong Mục 1. Động lực nghiên cứu Hiểu ngôn ngữ tự nhiên (NLU) đóng vai trò quan trọng trong sự phát triển của trí tuệ nhân tao (AJ), bao gồm nhiều bài toán như suy luận ngôn ngữ tự nhiên, đọc hiểu tự động, hỏi đáp tự động và tóm tắt văn bản. Trong những năm gan đây, một bài toán quan trọng và đầy thách thức là đọc hiéu tự động (MRC) [1], thu hút được sự quan tâm lớn của cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên (NLP). Luận án này giải quyết bài toán trọng tâm hiểu ngôn ngữ tự nhiên là đọc hiéu tự động trong văn bản tiếng Việt (Hình 1.
Cụ thể, NCS tập trung vào các văn bản tiếng Việt (một ngôn ngữ có ít tài nguyên cho phát triển và đánh giá các mô hình trong xử lý ngôn ngữ tự nhiên [2, 3]), là nhiệm vụ huấn luyện cho máy tính có thé đọc hiểu một văn bản và sau đó trả lời các câu hỏi liên quan hoàn toàn bằng ngôn ngữ tự nhiên. Bài toán đọc hiểu tự động tiếng Việt quan trọng vì một số lý do chính: (1) đọc hiểu tự động giúp cộng đồng nghiên cứu đánh giá được quá trình phát triển của hiểu ngôn ngữ tự nhiên (NLU) trong tiếng Việt; (2) phát triển và ứng dụng các mô hình đọc hiểu tự động vào các ứng dụng thực tế như hỏi đáp tự động (Question Answering), công cụ tìm kiếm (Search Engine) và trợ lý ảo (Virtual Assistant) trong tiếng Việt; và (3) đặc biệt, tiếng Việt là ngôn ngữ ít tài nguyên (ngôn ngữ có ít các bộ dữ liệu có kích thước lớn và chất lượng được công bé rộng rãi và phục vụ cho nghiên cứu) cần được khám phá và nghiên cứu trong NLP nhiều hơn. Đọc hiểu tự động trong trí tuệ nhân tạo. Trong hơn một thập kỷ qua, đọc hiểu tự động đã có nhiều bước tiễn trong việc xây dựng các bộ ngữ liệu có kích thước lớn, chất lượng cao và cũng như các nghiên cứu về các mô hình dựa trên các thuật toán học sâu và các MHNN.
Trọng tâm của luận án này là nghiên cứu đọc hiểu tự động tiếng Việt. Cụ thể, NCS tập trung đề xuất các bộ ngữ liệu và các mô hình MRC tiếng Việt. Về phát triển các bộ ngữ liệu, NCS đề xuất các bộ ngữ liệu đọc hiểu tự động tiếng Việt: miền mở (các văn bản trên Wikipedia) và miền đóng (các văn bản tin tức về sức khỏe). Về nghiên cứu các mô hình, NCS đề xuất và thử nghiệm các phương pháp đọc hiểu tự động và hỏi đáp tự động tiếng Việt.
Đọc hiểu tự động [4], hay khả năng đọc văn bản và sau đó hiểu dé tra lời các câu hỏi liên quan đến văn bản, là một nhiệm vụ day thách thức đối với máy tính, yêu cầu cả hiểu ngôn ngữ tự nhiên và tri thức về thế giới. Đọc hiểu tự động có quá trình phát triển lâu dài từ đầu những năm 1970. Cụ thể, Charniak và cộng sự (1972) [5] đã đề xuất một mô hình cơ ban dé trả lời các câu hỏi liên quan về các mau chuyện dành cho trẻ. Lehnert và cộng sự (1977) [6] đánh giá việc hiểu ngôn ngữ tự nhiên thông qua việc trả lời các câu hỏi liên quan đến các văn bản.
Tuy nhiên, do tính chất phức tạp và đầy thách thức, các nghiên cứu về đọc hiểu tự động bị hạn chế và chủ yếu dựa trên các quy tắc được xây dựng một cách thủ công [5, 7]. Cho đến năm 2013, Richardson và cộng sự (2013) [8] đã định nghĩa bài toán đọc hiểu tự động dưới dạng nhiệm vụ học máy giám sát đầu tiên thay vì dựa trên các quy tắc thủ công, mở ra một hướng tiếp cận mới và ảnh hưởng đến các nghiên cứu đọc hiểu tự động cho đến nay. Đặc biệt, đọc hiểu tự động đã phát triển rất nhanh chóng trên các bộ ngữ liệu và các mô hình học máy từ sau khi bộ ngữ liệu nỗi tiếng SQUAD có kích thước lớn và chất lượng được đề xuất bởi Rajpurkar và cộng sự (2016) [4]. Bộ ngữ liệu SQuAD đã tạo cảm hứng cho NCS trong việc phát triển và xây dựng ngữ liệu đọc hiểu tự 2 động tiếng Việt cho các nghiên cứu trong đề tài luận án.
Những thành công của các mô hình MRC trong hơn một thập kỷ qua là do sự phát triển rất nhanh của nhiều bộ ngữ liệu kích thước lớn, chất lượng cao và cũng như sự phát triển nhanh của các phương pháp học máy dựa trên các kiến trúc học sâu và kiến trúc Transformer. Thêm vào đó, đọc hiểu tự động là thành phần cốt lõi của các mô hình hỏi đáp hiện đại, mở ra hướng tiếp cận mới của hỏi đáp tự động trong hơn một thập kỷ qua. Cụ thể, Chen và cộng sự (2017) [9] đã đề xuất DrQA, mô hình QA gồm hai thành phan chính: mô hình truy xuất văn bản (Retriever) và mô hình đọc hiểu (Reader) (xem Hình 1. Từ đó, nhiều CTNC hỏi đáp dựa trên các mô hình của đọc hiểu tự động được khám phá và phát triển như BERTserini [10] và ORQA [11].
ZG—— _ Câu hỏi: Tha tướng đầu tiên Mô hình QA Câu trả lời: của Việt Nam là ai? Nguồn tri thức Retriever-Reader Pham Văn Đồng Hình 1. Hệ thống hỏi đáp dựa trên mô hình đọc hiểu. Trong luận án này, NCS tập trung (1) nghiên cứu và xây dựng các bộ ngữ liệu phục vụ cho nghiên cứu đọc hiểu và hỏi đáp tự động cho ngữ liệu tiếng Việt; (2) các mô hình MRC dựa trên các MHNN, cụ thê nghiên cứu xây dựng các thành phần chính của các mô hình đọc hiểu tự động tiếng Việt; (3) áp dụng mô hình đọc hiểu có độ chính xác cao như một công nghệ nền tảng cốt lõi vào các ứng dụng hỗ trợ tìm kiếm thông tin như mô hình hỏi dap tự động. Đọc hiểu tự động đã được áp dụng trong nhiều ứng dụng thực tế.
Ví dụ, ngày nay chúng ra có thê nhập vào một câu truy vấn trên Google “Có bao nhiêu sinh viên tại Đại học Quốc gia TP.3), Google không những trả về danh sách các siêu văn bản có thê chứa câu trả lời mà còn trả về những câu trả lời chính xác được In đậm và hiển thị lên đầu của danh sách các kết quả tìm kiếm. Đọc hiểu tự động có thể hỗ trợ các mô hình tìm kiếm thông tin ngày càng thông minh hon bằng cách làm nổi bật kết quả cụ thé. Đặc biệt, các mô hình MRC có thé thúc đây sự phát triển khả năng đọc hiểu văn bản của các trợ lý ảo như Alexa của Amazon, Siri của Apple, Google Assistant của Google va Cortana của Microsoft. Luận án này thực hiện theo hai định hướng nghiên cứu chính: (1) 3 xây dựng ngữ liệu dé đánh giá các mô hình đọc hiểu và hỏi đáp tự động tiếng Việt và (2) đề xuất các mô hình đọc hiểu và hỏi đáp tự động tiếng Việt.
Có bao nhiêu sinh viên tại ĐHQG TP.CM? xẻ m ea OTấtcả ƒ8Tintức (g]Hinhảnh [Video [Sách : Thêm Công cụ Khoảng 11.000 kết quả (O,43 giây) Hiện nay, quy mô đào tạo chính quy (bao gồm các chương trình đại học và sau đại học) của Đại học Quốc gia Thành phố Hồ Chí Minh là hơn 76.000 sinh viên chính quy (trong đó có hơn 8.000 học viên cao học và nghiên cứu sinh) với: 1ó5 ngành đào tạo bậc đại học. Wikipedia Ww https://vi.org › wiki» Đại học Quốc gia Thà. ‡ Đại học Quốc gia Thành phố Hồ Chí Minh — Wikipedia tiếng Việt Hình 1. Một kết quả tim kiếm trên công cu tim kiếm Google (thời gian truy cập: ngày 28/11/2023).
Cac đóng góp chính Đề giải quyết các thách thức trong nghiên cứu đọc hiéu tự động cho văn bản tiếng Việt, luận án có ba nội dung đóng góp chính: «_ Nội dung thứ nhất - Xây dựng ngữ liệu và đánh giá các mô hình đọc hiểu cho văn bản tiếng Việt: Trong Nội dung thứ nhất, luận án tập trung vào xây dựng các bộ ngữ liệu cho tiếng Việt (Tiếng Việt là một ngôn ngữ có ít các ngữ liệu cho việc phát triển và đánh giá các thuật toán học máy trong AI và NLP). Cụ thể, NCS đã nghiên cứu và xây dựng các bộ ngữ liệu tiếng Việt: UIT-ViQuAD (phiên bản 1.0 và phiên bản 2.0), UIT- ViNewsQA và UIT-ViWikiQA nhằm thúc đây phát triển và đánh giá các mô hình MRC dựa trên các kiến trúc học sâu và các MHNN. Các bộ ngữ liệu này đã được trình bày trong Chương 3 và được công bố tai các tạp chí và hội nghị với các công trình: [CT1], [CT4]. «Nội dung thứ hai - Đề xuất mô hình đọc hiểu tiếng Việt tích hợp MHNN với truy xuất minh chứng: Trong Nội dung thứ hai, kế thừa từ các kết quả thử nghiệm đầu tiên đã đạt được trên các bộ ngữ liệu trong Nội dung thứ nhất, luận án xây dựng, thiết kế và triển khai các phương pháp đọc hiểu tự động sử dụng các MHNN dựa trên kiến trúc Transformer và truy xuất minh chứng, với mô hình được đề xuất là ViReader.
Thêm vào đó, NCS nghiên cứu và mở rộng đánh giá, so sánh với các mô hình đọc hiểu tiên tiến khác dé hiểu hơn về mô hình đọc hiểu ViReader trên nhiều bộ ngữ liệu khác nhau. Mô hình đọc hiểu đề xuất ViReader hiệu quả không những trong tiếng Việt mà còn trên cả văn bản tiếng Anh và tiếng Trung. Bên cạnh đó, mô hình ViReader+ được đánh giá mở rộng với truy xuất minh chứng học có giám sát. Các khám phá này đã được trình bày trong Chương 4 và một phần trong Chương 5.
Các đóng góp nghiên cứu về ViReader và ViReader+ được công bố tại các tạp chí với các công trình: [CT2] và [CT3]. « Nôi dung thứ ba - Xây dựng phương pháp hỏi đáp tiếng Việt tích hợp đọc hiểu tự động: Trong Nội dung thứ ba, kế thừa từ các kết quả thử nghiệm đầu tiên đã đạt được trên các bộ ngữ liệu trong Nội dung thứ nhất, luận án xây dựng, thiết kế và triển khai mô hình hỏi đáp dựa trên những đóng góp nghiên cứu của mô hình đọc hiểu ViReader (trong Nội dung thứ hai) dé đề xuất các mô hình QA tiếng Việt: XLMRQA và ViQAS. Các khám phá này đã được trình bày trong Chương 5. Các đóng góp nghiên cứu về XLMRQA và VIQAS được công bồ tại các tạp chí và hội nghị với các công trình: [CT3] và [CT7].