ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA MẠNG MÁY TÍNH VÀ TRUYÈN THÔNG NGUYÊN HOÀNG LONG TRỊNH HUỲNH TRỌNG NHÂN KHÓA LUẬN TÓT NGHIỆP HUONG TỚI KIEM TRA TÍNH DUNG DAN CUA THONG TIN DỰA TREN HE THONG HOI VA TRA LOI TOWARDS CHECKING INFORMATION BASED ON QUESTION AND ANSWERING FRAMEWORK KY SU NGANH AN TOAN THONG TIN TP. HO CHi MINH, 2022 ĐẠI HỌC QUÓC GIA TP. HÒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA MẠNG MÁY TÍNH VÀ TRUYÈN THÔNG NGUYÊN HOÀNG LONG - 18521037 TRỊNH HUỲNH TRỌNG NHÂN - 18521184 KHÓA LUẬN TÓT NGHIỆP HƯỚNG TỚI KIEM TRA TÍNH DUNG DAN CUA THONG TIN DUA TREN HE THONG HOI VA TRA LOI TOWARDS CHECKING INFORMATION BASED ON QUESTION AND ANSWERING FRAMEWORK KY SU NGANH AN TOAN THONG TIN GIANG VIEN HUONG DAN TS.
LE KIM HUNG ThS. LE MINH KHANH HOI TP. HO CHi MINH, 2022 THÔNG TIN HỘI ĐÒNG CHÁM KHÓA LUẬN TÓT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định 86 .- ngày của Hiệu trưởng Trường Đại học Công nghệ Thông tin. ĐẠI HỌC QUOC GIA TP.
HO CHÍ MINH CỘNG HOA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRUONG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THONG TIN TP. năm 2022 NHAN XÉT KHÓA LUẬN TOT NGHIỆP (CUA CÁN BỘ HƯỚNG DAN) ‘Ten khóa luận: HƯỚNG TỚI KIEM TRA TÍNH DUNG DAN CUA THONG TIN DUA TREN HE THONG HOI VA TRA LOI TOWARDS CHECKING INFORMATION BASED ON QUESTION AND ANSWERING FRAMEWORK Nhom SV thuc hién: Cán bộ hướng dẫn: Nguyễn Hoàng Long 18521037 TS. Lê Kim Hùng Trịnh Huỳnh Trọng Nhân 18521184 ThS. Lê Minh Khánh Hội Đánh giá Khóa luận 1.
Về cuốn báo cáo: Số trang | Số chương SỐ bảng sô liệu Số hình vẽ S6 tài liệu tham khảo Sản phâm Một số nhận xét về hình thức cuốn báo cáo: 2. Về nội dung nghiên cứu: 3. Về chương trình ứng dụng: 4. Về chương trình ứng dụng: Đánh giá chung: Khóa luận đạt/không đạt yêu cầu của một khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung bình.
Điểm ti inh viên: Nguyễn Hoàng Long./10 Trịnh Huỳnh Trọng Nhân./10 Người nhận xét TS. Lê Kim Hùng Th§. Lê Minh Khánh Hội ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP.
năm 2022 NHAN XÉT KHÓA LUẬN TOT NGHIỆP (CUA CÁN BỘ PHAN BIEN) Tên khóa luân: HƯỚNG TỚI KIEM TRA TÍNH DUNG DAN CUA THONG TIN DUA TREN HE THONG HOI VA TRA LOI TOWARDS CHECKING INFORMATION BASED ON QUESTION AND ANSWERING FRAMEWORK Nhóm SV thực hiện: Cán bộ phản biện: Nguyễn Hoàng Long 18521037 Ths. Tô Nguyễn Nhật Quang Trịnh Huỳnh Trọng Nhân 18521184 Đánh giá Khóa luận 1. Về cuôn báo cáo: Số trang Số chương Sô bảng sô liệu Sô hình vẽ Sô tải liệu tham khảo Sản phâm Một sô nhận xét về hình thức cuôn báo cáo: 2. Về nội dung nghiên cứu: 3.
Về chương trình ứng dụng: 4. Về chương trình ứng dụng: Đánh giá chung: Khóa luận đạt/không đạt yêu cầu của một khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung bình. Điểm từng sinh viên: Nguyễn Hoàng Long .- 0 Trịnh Huỳnh Trọng Nhân. /10 Người nhận xét LỜI CẢM ƠN Lời đầu tiên, chúng em xin được cảm ơn trường Đại học Công nghệ Thông tin - Đại học Quốc gia Thành phố Hồ Chi Minh đã tạo điều kiện tốt nhất dé chúng em có thê học tập và phát triển.
Học tập tại đây, chúng em đã gặp được rất nhiều những thầy cô, những người bạn, và những con người tuyệt vời, song song đó là những cơ hội quý giá dé phát triển bản thân trong sự nghiệp lẫn cuộc sống. Dé hoàn hoàn thành khóa luận này, chúng em xin được gửi lời cảm ơn đặc biệt đên những người sau đây. Chúng em xin trân trọng gửi lời cảm ơn tới thầy TS. Lê Kim Hùng và cô ThS.
Lê Minh Khánh Hội, những người đã hết long giúp đỡ chúng em trong con đường nghiên cứu lẫn học tập. Thầy Hùng là một nguồn cảm hứng to lớn cho chúng em có thể tự tin và vượt qua vô số thử thách trên con đường học tập và nghiên cứu trong suốt thời gian qua. Tiếp theo, chúng em muốn dành lời cảm ơn đến những thầy cô trong trường, đã dạy dỗ và truyền đạt những kinh nghiệm, kiến thức quý báu trong suốt những năm học. Bên cạnh đó, chúng em muốn gửi lời cảm ơn các thầy cô trong khoa Mạng Máy Tinh và Truyền Thông đã tạo nhiều cơ hội dé chúng em có thé phát triển.
Chúng em cũng muốn cảm ơn những anh chị và những người bạn đã luôn đồng hành cùng chúng em trong suốt hành trình học đại học, đặc biệt là các bạn ở lớp ATTN2018 và các ban ở nhóm TEC Team. Cuối cùng, chúng em muốn gửi lời cảm ơn đến bố mẹ, gia đình cùng những người thân của chúng em, những người đã luôn đồng hành, tin tưởng, ủng hộ, và quan tâm giúp đỡ chúng em trong những lúc khó khăn nhất. Không có mọi người, chúng em đã không thê có được như ngày hôm nay. MỤC LỤC THONG TIN HỘI DONG CHAM KHÓA LUẬN TOT NGHIỆP.
3 NHAN XÉT KHÓA LUẬN TOT NGHIEP.ccscccssessssessessssessssessssessssesseseeseseseeeees 4 NHẬN XÉT KHÓA LUẬN TOT NGHIEP.ccccccssessssessessssesscsessssesscseeseseesesesseseees 6 LOI CẢM ƠN. 15 DANH MỤC TU VIET TAT. Mục tiêu của đề tài. Đối tượng và phạm vi nghiên cứu.
_ Đối tượng nghiên cứu. Pham vi nghiÊn CỨU. 322211113 1111951111111 rkkrrrei 3 Chương2. CO SỞ LÝ THUYÊT.
Truy hôi thông tin (IR).-- - - ¿56 SE E1 SE EEEEEE1112111 111111 cxxe, 5 2. Tìm kiếm toàn van (full-text search). Tìm kiếm ngữ nghĩa (semantic search).L SH kg 14 " /N(¿ằ co nh.----- 5c SEE‡ESE2EEEEEEEEEEEE121211111 211 xe 15 2. Suy luận ngôn ngữ (NL]).
Mô hình ngôn ngữ.Sc St HT TH rưey 20 2. NỘI DUNG VÀ PHƯƠNG PHÁP. Tổng quan giải pháp.------- ¿2+2 SE EEEE2EE11212112121171211 1. Tiền xử lý dữ liệu.
Các giai đoạn chính. _ Truy hồi thông tỉn. — Xử lý thông tỉn.cc CS rưt 35 Chương 4. THỰC NGHIỆM VÀ ĐÁNH GIA.
Dữ liệu sử dụng. cọ ng kh 39 4. Thiết lập các thành phầhn. Chỉ mục ElasticSearch.
-- - - SS + + SE SE Ekkkkksee 42 4. Chỉ mục FAISS. Cơ sở dữ liệu MySQLL.---- 2-5 St S2EE2EE2EeErkerrererrvei 49 4. Các mô hình ngôn ngữ.
Môi trường thực nghiỆm.-- -- --c + 1131211119 111191 1kg ket 56 AA, Triển khai.- - 2 St SE EEE121E2121212112111211121111111111 1111k. Giao diện người đùng.- << cv ng key 61 4.G LH TH HH 67 4.------- SQQQQQ S2 22301v vn ng 0 111k reo 67 4. _ Tài nguyên tiêu thu. ccc eccsccccesccesseeeeeseeessneeeessaeeeseeensneeeennees 67 Chương 5.
| TONG KET VÀ HƯỚNG PHÁT TRIÉN. Hướng phát triển trong tương lai. 71 DANH MỤC HÌNH Hình 2.1 Một ví dụ sử dung regex đề tìm kiếm toàn văn.- + se se £e£veceez 7 Hình 2. So sánh sự khác nhau giữa inverted index với forward index thông thường ¬.
Cách thức lap chỉ mục va tìm kiếm của inverted index.4 Giai đoạn phân tích dữ liệu đầu vào của ElasticSearch. Mô hình một hệ thống trả lời câu hỏi. Tông quan của các thành phan trong kiến trúc Transformers. Tông quan kiến trúc của BERT, gồm các Encoder chồng lên nhau.
Chuyên hóa dit liệu chữ thành dạng biểu diễn vector trong lớp embedding CUA BERT. Tinh chỉnh cho đầu ra của mô hình BERT cho tác vụ hỏi đáp. Tinh chỉnh cho đầu ra của mô hình BERT cho tác vụ suy luận ngôn ngữ ¬. hố hố ố ốc.
Tổng quan kiến trúc của Sentence-BERIT. So sánh mô hình BERT với một số các mô hình biến thẻ.1 Mô hình tông quát của hệ thống.----- ¿2 2 2+5++S2>x+zx+z+zz+zx+zse2 29 Hình 3. Tiền xử ly dit liệu và đưa vào lưu trữ trong hệ thống. Mô hình hoạt động của hệ thống trong giai đoạn truy hồi thông tin.
Cơ chế hoạt động của khối FAISS trong tác vụ tìm kiếm ngữ nghĩa. Mô hình hoạt động của hệ thống trong giai đoạn xử lý thông tin. Dữ liệu đầu vào và kết quả đầu ra của Reader. Dữ liệu đầu vào và kết quả đầu ra của Inferrer.1 Dữ liệu MLQA là bộ sưu tập từ rất nhiều cặp dữ liệu hỏi đáp, bao phủ trên các loại ngôn ngữ khác nhau, trong đó có tiếng ViỆt.2 Một dữ liệu mẫu được lay từ tap dữ liệu XquAD, có cùng format với tap dữ liệu MIUQA.- - G2 E1 19111123019 1011910 1H HH HH HH 4 Hình 4.
Cài đặt và triển khai ElasticSearch dưới dang Docker container. Khởi tạo index của ElasticSearch cho văn bản tiếng VIỆt. Danh sách các chỉ mục tồn tại trong ElasticSearch. Truy vấn đến analyzer dé kiêm tra kết quả tách từ.
Chuan bị cau trúc cho việc truy vấn các thông tin liên quan đến chủ đề “CAI ChEt na. Kêt quả tìm kiêm các nội dung liên quan đên câu truy vân “cái chêt đen”. Khởi tạo FAISS index .-- -- -- c1 S31 HH nhu 48 Hình 4. Thử nghiệm tìm kiếm ngữ nghĩa cho truy vấn của người dùng với nội dung “Thời tiết hôm nay"”.
Kiến trúc của Document table.-- ¿2 2s 2+E+££+E££EzE+£EzEerxzeerxsez 50 Hình 4. Kiến trúc của Sentence table. Khai báo kết nối đến máy chủ MySQL. Thêm thông tin vào Sentence table thông qua client cua SQLAIchemy 51 Hình 4.
Thêm thông tin vào Document table thông qua client cua SQLAIchemy —-. Khởi tạo thành phần Encoder sử dụng mô hình kiến trúc Sentence-BERT —. Kết quả vector nhúng cho câu dữ liệu tiếng Việt mẫu. Kết quả trích xuất câu trả lời từ đoạn văn ngữ cảnh của một mô hình được sử dụng làm RÑ€ader.- c1 32211112 1111191111111 11 1 111 g1 11H vn ky 54 Hình 4.
Khởi tao ÏnÍ€TT€T. Kết quả phân loại cho đoạn thông tin mẫu của mô hình máy học được sử l01051585x9i15810ii2xi 1. Cấu trúc của API cho tác vụ trả lời câu hỏi. Kết quả trả về của API cho tác vụ trả lời câu hỏi.
Backend khi được gọi APÌ.-- --- 5-1 11+ 111931 1v ng ng re. Cấu trúc của API cho tác vụ xác thực thông tin. Kết quả trả về của API cho tác vụ xác thực thong tin. Một số thư viện được sử dụng trong tập tin package.
Cài đặt thư viện dùng trong NodeJS. Màn hình console nếu các thư viện đã được cài đặt đầy đủ. Trang chủ của trang We€D.-- - -- cv TH HH knhy 63 Hình 4. Giao diện cho tác vụ xác thực thông tin.---- + scs+++sseeess 64 Hình 4.
Giao diện cho tác vụ xác trả lời câu hỏi. Giao diện sau khi thực hiện tác vu trả xác thực thông tin. Kết quả đánh giá là "Ủng hộ" với câu "Bệnh dịch hạch đã xuất hiện trong thé giới Hồi giáo trong khoảng từ 1500 đến 1850. Giao diện sau khi thực hiện tác vụ trả lời câu hỏi.------- 66 DANH MỤC BANG Bang 4.
Thông số của Encoder được nhóm tác giả công bố thực hiện đánh giá. Độ chính xác của mô hình máy học sử dụng trong Reader. Độ chính xác của hệ thong.