Đặt vấn đề Hỏi — Dap tự động đã và đang nhận được nhiều sự quan tâm của cộng đồng xử lý ngôn ngữ tự nhiên, do đó có không ít các công trình nghiên cứu về hệ thống Hỏi — Đáp này đạt được nhiều thành tựu đáng kê. Hệ thống thật sự cần thiết cho nhiều ứng dụng trong thế giới thực, bao gồm trong lĩnh vực thương mại điện tử, y tế, mạng xã hội. Trong lĩnh vực y tế, Hỏi - Đáp tự động là hệ thống có tiềm năng đáng kinh ngạc cho các tình huống như trợ lý giúp bác sĩ nhanh chóng trả lời các câu hỏi được đặt ra từ người dùng, từ đó giúp các đội ngũ y bác sĩ tiết kiệm thời gian và công sức trong công viéc. Ngoài ra, chúng tôi nhận thấy răng trên thế giới có nhiều bộ dữ liệu kích thước lớn và chất lượng tốt cho các nghiên cứu về lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và cu thé là nhiệm vụ Hoi — Đáp.
Tuy nhiên, cộng đồng nghiên cứu chủ yếu tập trung vào các ngôn ngữ phô biến như tiếng Anh như SQuAD [3], Trivia [4], tiếng Trung CMRC [5] hay tiếng Nga SberQuAD [6]. Vì vậy, bộ dữ liệu tiếng Việt đặc biệt là về lĩnh vực Sức khỏe vẫn còn rất khan hiếm. Từ những điều đó, chúng tôi nắm bat được tầm quan trọng của các hệ thống Hỏi — Dap Sức khỏe đối với con người trong tình hình hiện nay, và cũng như có mong muốn xây dựng một công trình nghiên cứu giúp thúc đây nhiều ứng dụng chăm sóc Sức khỏe cho con người trong tương lai. Và chính vì thế, chúng tôi đã quyết tâm thực hiện nghiên cứu bài toán Hỏi — Đáp tự động cho ngôn ngữ tiếng Việt thuộc lĩnh vực y tế.
Bài toán Hỏi — Đáp tự động trong khóa luận tốt nghiệp của chúng tôi được phát biểu như sau: ° Đầu vào: Câu hỏi tiếng Việt về chủ đề Sức khỏe. ° Đầu ra: Câu trả lời phù hợp nhất được truy xuất từ cơ sở dữ liệu.1 thé hiện một ví dụ cụ thé cho bài toán Hỏi - Dap tự động.1: Ví dụ về một cặp câu Hỏi — câu Trả lời trong tập dữ liệu. Câu hỏi: Tôi bị dị ứng thuốc kháng sinh và di ứng khi ăn thịt cua đồng. Trường hợp của tôi có được tiêm vaccine phòng Covid-19 không? Câu trả lời: Trường hợp của anh theo hướng dẫn của Bộ Y tế là thuộc đối tượng cần cần trọng khi tiêm vaccine Covid-19 và tiêm tại bệnh viện hoặc cơ sở y tê có đây đủ năng lực câp cứu ban đâu.
Mục tiêu khóa luận tốt nghiệp Mục tiêu của khóa luận tốt nghiệp này là nghiên cứu bài toán Hỏi — Đáp tự động cho văn bản tiếng Việt trên miền dit liệu Sức khỏe. Dé làm được điều này, chúng tôi tập trung năm mục tiêu chính: ° Đầu tiên, chún g tôi xây dựng một bộ dữ liệu đủ tốt cả về mặt chất lượng lẫn mặt số lượng cho bài toán Hỏi — Đáp tiếng Việt. Ngoài ra, chúng tôi còn công hiến cho lĩnh vực y té Viét Nam, bang việc lựa chọn miền dữ liệu Sức khỏe. ° Thứ hai, chúng tôi tiễn hành tiền xử lý dữ liệu dé thu được bộ dữ liệu sạch, sau đó sử dụng những phương pháp thống kê dé phân tích chi tiết đặc điểm bộ dữ liệu.
° Thứ ba, chúng tôi nghiên cứu nhiều phương pháp và mô hình khác nhau dé giải quyết bài toán, từ đó tìm ra được một mô hình tốt nhất. ° Thứ tư, chúng tôi phân tích, so sánh và đánh giá đặc điểm bộ dữ liệu và các kết quả của các mô hình đã thử nghiệm đề hiểu rõ hơn cũng như cải thiện, rút kinh nghiệm cho các nghiên cứu về sau có thể phát triển nối tiếp nghiên cứu của chúng tôi. ° Cuối cùng, chúng tôi xây dựng mô ứng dụng nhỏ dé trực quan hóa kết quả mô hình chúng tôi đã xây dựng. Đối tượng và phạm vi nghiên cứu Đối tượng: Bài toán Hỏi — Dap tự động miễn dữ liệu Sức khỏe trên tiếng Việt.
Phạm vi: Phạm vi nghiên cứu của đê tài tập trung chủ yêu vào những cặp câu Hỏi — câu Trả lời vê chủ đê Sức khỏe từ các trang mạng uy tín của Việt Nam. Về giới hạn nghiên cứu, chúng tôi khai thác các vân dé sau: ° Xây dựng bộ dữ liệu đủ lớn và chất lượng với hình thức có câu Hỏi và câu Trả lời. ° Nghiên cứu thử nghiệm và đánh giá các các phương pháp trải dài từ truyền thống cho đến hiện đại trên bộ dữ liệu được xây dựng. ° Xây dựng hệ thong tao ra mot m6 hinh cho hiéu suất cao nhất.
Kết quả nghiên cứu Sau khi nghiên cứu bài toán Hỏi — Dap tự động của khóa luận tốt nghiệp lần này, chúng tôi đạt được các kết quả sau: ° Đóng góp lớn nhất của chúng tôi là xây dựng bộ dữ liệu trên miền Sức khỏe có tên ViHeathQA[1] cho tiếng Việt bao gồm hơn 10.015 điểm dữ liệu. Bộ dữ liệu đã được xử lý, kiểm tra các lỗi dé đưa ra bộ dữ liệu sạch cho bài toán. Bộ dữ liệu là yếu tố không thê thiếu cho quá trình xây dựng mô hình cho bài toán. ° Chúng tôi đề xuất một hệ thống mang tên SPBERTQA trên bộ dữ liệu ViHeathQA [1].
Từ hệ thống SPBERTQA, chúng tôi thu được mô hình BM25- SPhoBERT cho hiệu suất tốt nhất, cụ thé là trên tập phát trién với 69,52% mAP, 69,52% P@1, và 89,12% P@10, trên tập kiểm tra với 62,25% mAP, 50,92% P@1, và 83,76% P@10. Bên cạnh đó, chúng tôi cũng tiến hành những nghiên cứu thử nghiệm khác để so sánh như BM25, TF-IDF, LM, BM25-XLMR và BM25-SmBERT. ° Chúng tôi đã sử dụng framework Streamlit để xây dựng một ứng dụng trực quan hóa kết quả mô hình BM25-SPhoBERT. ° Kết quả trong khóa luận tốt nghiệp lần này đã được chúng tôi viết thành một bai báo khoa học và nộp tại Hội nghị quốc tế.
Và bài báo đã được chấp nhận đăng tại Hội nghị KSEM 2022 (The 15th International Conference on Knowledge Science, Engineering and Management) hạng B. Cau trúc khóa luận Khóa luận gồm 7 chương với các nội dung chính sau: > Chuong 1: Téng quan Trong chương nay, chúng tôi giới thiệu tổng quan về bài toán Hỏi — Đáp tự động, các thách thức phải đối mặt, tầm quan trọng cũng như tính ứng dụng của đề tài mà chúng tôi thực hiện. > Chương 2: Cac công trình nghiên cứu liên quan Chúng tôi tìm hiéu, nghiên cứu và trình bày các công trình nghiên cứu liên quan đến bài toán, bao gồm các nghiên cứu trong và ngoài nước. > Chương 3: Bộ dữ liệu Ở chương 3, chúng tôi mô tả quy trình các bước tạo bộ dữ liệu, từ thu thập dữ liệu, tiền xử lý, các quy định, quy tắc trong quá trình thực hiện chỉnh sửa, cải thiện chất lượng bộ dữ liệu.
Tiếp đó, từ bộ dữ liệu thu được, chúng tôi phân tích rõ các đặc điểm của bộ dit liệu bang các phương pháp thống kê. > Chương 4: Hệ thống SPBERTQA Ở chương 4, chúng tôi sẽ trình bày về hệ thống mà chúng tôi đề xuất cho bài toán Hỏi — Đáp về Sức khỏe là SPBERTQA. Chúng tôi tiến hành kết hợp BM25 va PhoBERT dé mang lại hiệu suất tốt trên bộ dữ liệu ViHeathQA [1]. > Chương 5: Các phương pháp tiếp cận khác Trong chương 5, chúng tôi sẽ trình bày về các mô hình phương pháp khác dùng dé so sánh, đối chiếu với mô hình mà chúng tôi đã xây dựng từ hệ thống SPBERTQA.
Những phương pháp thử nghiệm khác bao gồm BM25, TF-IDF, LM, BM25-SXLMR, và BM25-SmBERT. > Chương 6: Cai đặt, thử nghiệm và đánh giá Trong chương 6, chúng tôi sẽ trình bày các bước của giai đoạn tiên xử lý dữ liệu, các tham sô cài đặt cho các mô hình, kêt quả của các mô hình, đánh giá nhận xét các kết quả thu được, và cuối cùng phân tích lỗi. > Chương 7: Kết luận và hướng phát triển Trong chương cuối, chúng tôi trình bày các kết quả đã thực hiện và thu được trong khóa luận tốt nghiệp này. Các mặt hạn chế cũng như là các hướng phát triển và mở rộng đề tài trong tương lai sẽ được trình bày.
Bai toán Hỏi - Dap tự động Question Answering System (Tạm dịch: “Hệ thong Hỏi — Đáp”) (Hình 1.1) được định nghĩa là một hệ thống mô hình máy tính tự động trả lời các câu hỏi do con người đặt ra bằng ngôn ngữ tự nhiên. Hiện nay, hệ thống Hỏi — Đáp dựa trên hai loại nguồn tri thức thông tin để đưa ra câu trả lời. Một là, nguồn thông tin mở (open domain): Hệ thống có thê trả lời gần như mọi câu hỏi về mọi chủ đề. Hai là, nguồn thông tin giới han (closed domain): Hệ thống sẽ tìm ra câu trả lời dựa trên thông tin từ một lĩnh vực cụ thể.
Trong khóa luận tốt nghiệp này chúng tôi tiếp cận theo hướng hệ thống Hỏi — Đáp tự động với nguồn thông tin giới hạn, cụ thể hơn là trên lĩnh vực y tế. Hệ thống Hỏi — Đáp về lĩnh vực y tế sẽ mang lại nhiều lợi ích cho con người. Người dùng có thê tiết kiệm thời gian và công sức đề có một lời giải đáp chính xác và hợp lý về bệnh tình Sức khỏe của mình. Trong khi đó, các y bác sĩ cũng tiết kiệm thời gian và công sức trong việc giải đáp thắc mắc cho nhiều bệnh nhân về cùng một loại bệnh.
Ngoài ra, hệ thống này còn giúp các cơ quan y tế của nhà nước có thé dé dàng trả lời, giải đáp thắc mắc, tuyên truyền về một căn bệnh cộng đồng chăng hạn bệnh COVID - 19. Câu hỏi Chào bác sĩ, Cháu hay bị đau mắt và ngứa ngáy ở mắt, nước mắt chảy và đỏ mắt. Sau khi như vậy thì hôm sau nó lại bị bọng nước ở bên trong mắt. Câu trả lời Tình trạng này có bat thường ban, đây là biểu hiện của bệnh viêm kết mạc dị ứng.1: Ví dụ về hệ thống Hỏi — Đáp.
Vấn đề thách thức Giai đoạn chiếm hầu hết thời gian trong một dự án chắc chăn là giai đoạn xây dựng bộ dữ liệu. Việc tìm kiếm những trang mạng, những trang báo điện tử uy tín có diễn đàn hỏi đáp về Sức khỏe được bác sỹ có chuyên môn giải đáp vẫn còn khá khan hiếm ở Việt Nam. Vì thế, việc xây dựng bộ dữ liệu đủ lớn cả về số lượng cũng như về chat lượng thi sé tôn rat nhiêu thời gian và công sức. Các mô hình của bài toán Hỏi — Dap phức tạp, khó hiểu và khó triển khai.