CHƯƠNG 1: TỎNG QUAN 1. Phat biểu bài toán Hỏi - Đáp Question Answering System là một hệ thống Hỏi — Đáp được thiết kế dựa vào các mô hình thuộc lĩnh vực xử lý ngôn ngữ tự nhiên huấn luyện dé có thé hiểu được và có thé trả lời được tất cả câu hỏi do người dùng đặt ra, hệ thống Hỏi — Dap sẽ được tiếp cận bởi nhiều cách khác nhau dé hiểu và từ đó tạo ra câu trả lời chính xác từ kho thông tin nhất định. Nhằm hướng vấn đề khoảng cách giữa ngôn ngữ con người và sự hiểu biết của máy thì hệ thống cho phép được sử dụng nhiều chức năng, tác vụ như hỗ trợ tìm kiếm thông tin và cung cấp lời khuyên, kiến thức,. Đối với khóa luận chúng tôi đã tiến hành nghiên cứu, xử dụng bộ đữ liệu đa lĩnh vực dé tiếp cận và nghiên cứu hệ thông Hỏi — Đáp, lợi ích hệ thống mang lại cho con người về kiến thức ở mọi lĩnh vực dé dang xử lý mọi vấn đề.
Cũng giúp cho con người rút ngắn thời lượng tìm kiếm thông tin. Ngoài ra, còn giúp học sinh, sinh viên giải đáp một sô thắc mac vân đê nghiên cứu học tập. Câu hỏi hiện nay? Câu trả lời Tăng quan hệ đối tác thi có khả nang giảm quan hệ đối tượng. Thách thức Hệ thông Hỏi — Dap là lĩnh vực khoa hoc còn mới đôi với nghiên cứu sinh người Việt Nam, việc tìm hiệu và nghiên cứu có mac phải một sô vân đề vê việc tìm kiêm tài nguyên, đặt biệt trong khóa luận này chúng tôi sử dụng đữ liệu tiêng Việt ở đa lĩnh vực.
Ngoài ra việc giới hạn về mặt chỉ phí huấn luyện các mô hình cũng tạo cho chúng tôi không ít khó khăn bởi những mô hình chúng tôi lựa chọn cho phạm vi khóa luận này đều có kích thước cấu trúc lớn đòi hỏi phải có lượng ram cũng như dung lượng bộ nhớ khá lớn (RAM: ~40GB) dé có thể ghi lại tat cả các kết quả trong quá trình huấn luyện. Chiếm nhiều thời gian trong việc thực hiện khóa luận này là giai đoạn chúng tôi phải tìm kiếm và thử nghiệm các mô hình vừa phù hợp bài toán đồng thời cũng phải phù hợp với bộ dữ liệu và hỗ trợ ngôn ngữ tiếng Việt. Bên cạnh đó dé có thé đánh giá so sánh chuân xác nhất và đưa ra kết quả phù hợp chúng tôi phải xử lí về đặc điểm của tiếng Việt. Ứng dụng Một hệ thông mang lại tinh ứng dụng cho cộng đồng.
Nó mang lại hữu ích về tìm kiếm những thông tin ở những lĩnh vực đặc thù chuyên ngành, tìm các đữ liệu liên quan đến y học pháp luật và lịch sử,. Hỗ trợ tài nguyên tài liệu cho các nghiên cứu sinh học tập cũng như có thê đưa ra thông tin cụ thể về một thắc mắc mà người dùng đang nghiên Là cưu. Bên cạnh việc thực thi bài toán đưa ra đánh giá thì chúng tôi đã triển khai thêm hệ thong ứng dụng giúp người dùng sử dụng và thao tác thuận lợi hơn. Hỗ trợ hỏi đáp, tư vân, tra cứu, chăm sóc khách hàng, đưa lời khuyên.
Kết luận Trở thành hệ thống được chào đón và phát triển mở rộng toàn thế giới, và đang trở thành xu hướng của một số quốc gia công nghệ, bởi lẽ đó dé nghiên cứu thành công hệ thong Hỏi-Đáp, chúng tôi đã phát huy tối đa mô hình va dữ liệu, kế đến chúng tôi đã thực hiện đánh giá mô hình bài toán và đưa ra hướng kết quả tìm ra hướng phát triển cải thiện đổi mới mở rộng hệ thống hỏi — đáp ở Việt Nam. Dong góp những tìm hiểu và kết quả thành công trong việc phát triển công nghệ nước nhà nói chung và lĩnh vực Hỏi-Đáp nói riêng. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2. Cac công trình 2.
Phát biểu bài toàn Hỏi - Đáp Cùng với lợi ích và sự phát triển tiếp cận nhanh mà hệ thống Hỏi — Dap mang lại cho cộng đồng nghiên cứu hiện nay thì, sự phô biến và nồi tiếng với các công trình đã đạt một số thành tưu là điều đáng ké. Nắm giữ vị trí có được sự quan tâm đông đảo và quan trong đối với việc phát triển xã hội và thế giới nên hệ thống Hoi-Dap luôn là một trong những chủ đề luôn được chú ý hàng đầu đối với cộng đồng nghiên cứu sinh xử lí ngôn ngữ tự nhiên. Có nhiều công trình tiêu biểu nghiên cứu về hệ thống trên đã được công bố qua từng năm và đã mang lại dong góp to lớn trong việc phát triển hệ thống hỏi đáp trên nhiều loại ngôn ngữ khác nhau. Đầu tiên đó là những kết quả của các nghiên cứu trên bộ đữ liệu Natural Questions (NQ) [2].
Day là một bộ dữ liệu gồm 307,373 mau cho việc training, 7,830 mẫu cho việc development và 7,842 mẫu cho việc test. Mỗi một mẫu như vậy sẽ gồm có một câu hỏi được lay từ Google.com, trang Wikipedia trả lời câu hỏi, và câu trả lời ở dang dài (long answer) và câu trả lời dang ngắn (short answer) được đánh dấu trong trang Wikipedia đó. Có thé có trường hợp không có câu trả lời (dang dài hoặc dạng ngắn)." Attention Is All You Need" (Vaswani et al., 2017): đây là một trong những công trình dùng dé giới thiếu mô hình Transformer, sử dụng cơ chế tự chủ của kiến trúc mạng nơ -ron và đã tạo nên kết quả đầy ấn tượng với nhiều tác vụ khác nhau bao gồm cả QA."BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" (Devlin et al. Electra: Pre-training Text Encoders as Discriminators Rather Than Generators" (Clark et al.
"UnifiedQA: Crossing Format Boundaries With a Single QA System" (Khashabi et al., 2020) giới thiệu mô 10 hình UnifiedQA mộ mô hình QA đa nhiệm có thê xử lý tât cả các định dạng về câu hỏi dau vao là câu nôi giữa các định dạng câu hỏi khác nhau đã tạo nên kết quả xuât sac. Về bộ dữ liệu, hiện tại trên thế gidi CÓ rất nhiều bộ dữ liệu khác nhau, nhưng theo đánh giá gần đây đầu tiên phải nhắc đến đó là một bộ dit liệu đầy thách thức chưa hớn 650 nghìn bộ ba câu hỏi câu trả lời và dẫn chứng. Ngoài ra còn có một bộ dữ liệu khác cũng đáng được chú ý là MRQA[3] được tông hợp từ nhiều bộ dữ liệu tiếng anh nồi tiếng khác nhau (SQuAD, TriviaQA,.) được chia thành 3 nhóm: nhóm 1 — chỉ gồm các mẫu thực thi việc huấn luyện mô hình và phát triển mô hình, nhóm 2 — chỉ gồm các mau dùng cho việc phát triển, đánh giá mô hình, nhóm 3 — chỉ gồm các mẫu dành cho việc đánh giá đưa ra kết quả hiệu suất của mô hình. Các công trình nghiên cứu được đánh giá cao không chỉ được thực thi huấn luyện trên bộ dữ liệu tiếng anh mà còn được thực hiện trên các bộ dữ liệu đa ngôn ngữ như bộ đữ liệu MLQA[4] (gồm có tiếng Anh, tiếng A Rap, tiếng Đức,.
Các công trình trong nước Các công trình trong nước thì vẫn còn hạn chế và chưa có nhiều các nghiên cứu được thực hiện trên bộ dữ liệu tiếng Việt mà nỏi tiếng nhất có thé ké đến là bộ 3 VIMMRC [6], UIT-ViQuAD2. Trong nó nổi bật nhất là bộ đữ liệu UIT- ViQuAD2.990 cặp câu hỏi — câu trả lời. Thời điểm bộ dit liệu UIT-ViQuAD lần đầu tiên được công bồ thì nó gồm 23,074 cặp câu hỏi được tạo ra dựa trên 5,109 đoạn văn từ 174 bài báo tiếng Việt trên Wikipedia. Và mô hình chạy tốt nhất trên bộ dit liệu này vào thời điểm được công bố là X-LMRLarge [9] với độ đo EM là 68,98% và độ đo F1 là 87,02%.
Kếtluận 11 Được đón nhận bởi sự quan tâm và chú ý của toàn thể nghiên cứu sinh trên Thế Giới, bên cạnh đó lĩnh vực Xử lý ngôn ngữ tự nhiên về hệ thống hỏi đáp là một trong những lĩnh vực còn một sô hạn chê: - _ Hiệu suất và độ chính xác: tuy có nhiều cải tiến trong quá trình xử lý ngôn ngữ tự nhiên và phát triển hệ thống Hỏi — Đáp, tuy nhiên độ chính xác còn hạn chế khi tiếp xúc với những ngôn ngữ có tính phức tạp, đa ngữ nghĩa và có nhiều cau trúc phức tạp. - _ Thiếu dit liệu: đây là một hạn chế đáng chú ý. Đặc biệt là trên ngôn ngữ Tiếng Việt, không những thế hầu hết các tài liệu, tài nguyên tiếng Việt hầu như rất ít, gây khó khăn và can trở trong việc nghiên cứu. Tuy nhiên những điềm hạn chế trên lại là cơ hội phát triển dé chúng ta nghiên cứu tiếp tục phát huy và mở rộng, góp phan phát triển và cải thiện dé cộng đồng nghiên cứu Việt Nam có thể tiếp cận được nhiều hơn.
Bằng việc tập trung cải thiện hiệu suất, độ chính xác và mở rộng tập dữ liệu nghiên cứu bằng tiếng Việt, chúng tôi mong răng với sự nỗ lực nghiên cứu sẽ đóng góp vào sự phát triển và mở rộng của lĩnh vực Xử lý ngôn ngữ tự nhiên và hệ thống Hỏi — Đáp trong tương lai. 12 CHUONG 3: XỬ LY DU LIEU 3. Bộ dữ liệu Sau khi nghiên cứu về dé tài bài toán kèm theo tự tìm hiéu một sô công trình liên quan thì chúng tôi đã định hướng đối với bộ đữ liệu mà chúng tôi hướng đến. Nhóm đã hướng đến những tiêu chí về bộ dữ liệu phải là bộ đữ liệu đa lĩnh vực bằng Tiếng Việt.
Trong bộ đữ liệu cần có những bộ câu hỏi, câu trả lời và đoạn văn liên quan. Trong đó câu hỏi được đặt ra phải là câu có liên quan đến đoạn văn cùng với bộ đữ liệu và câu trả lời sẽ là được rút trích từ đoạn văn trên. Vi dụ: Đoạn văn Nôi tiếng với tên gọi Kinh đô ánh sáng, Paris là một trung tâm văn hóa lớn của thế giới và cũng là một trong những thành phó du lịch thu hút nhất. Sự nhộn nhịp, các công trình kiến trúc và không khí nghệ sĩ đã giúp Paris mỗi năm có đến 30 triệu khách nước ngoài.
Thành phố còn được xem như kinh đô của thời trang cao cấp với nhiều khu phố xa xi cùng các trung tâm thương mại lớn. Là nơi đặt trụ sở chính của các tô chức quốc tế như OECD, UNESCO. cộng với những hoạt động đa dạng về tài chính, kinh doanh, chính trị và du lịch đã khiến Paris trở thành một trong những trung tâm trung cùng với New York, Luân Đôn và Tokyo. 13 Câu hỏi Câu Trả lời nhiều tệ nạn Bảng 3.