TRƯỜNG DẠI HỌC BÁCH KHOA HÀ NỘI LUAN VAN THAC SI TOM TAT VAN BAN THEO HUGNG CHU DE SU’ DUNG DEEP LEARNING BÙI VĂN TÀI taibk39@gmail.com Ngành Hệ Thống Thông Tin Giảng viên hướng dẫn: PG8.T9 Nguyễn Thị Kim Auh Chữ ký của GVHD Viện: Cong Nghề 'Lhông 'Lin và 'Iruyền Thỏng Hà Nội, 10/2020 1 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập — Tự do - Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VAN THẠC SĨ Họ và tên tác giả luận văn : Hữi Văn Tài Đầ tài Iiận văn: Tôm tất văn hẳn theo hướng chủ đề sử đụng đeep learning Chuyên ngành: Hệ thống thong tin Mã số 5V: CRCI9011 “Tác giả, Người hướng dẫn khoa học và Tội đẳng chấm Muận văn xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biển bản họp Hội đồng ngày 30/10/2020 với các nội đụng sau: Ngày - tháng năm Giáo viên hướng dẫn TÁc giả luận văn CHỦ TỊCH HỘI Đi = Lời cảm ơn Đầu tiều, eít xia dược gũi lời cảm: du chăn thành dếu các thầy, cỏ giáo tại Việu Công nghệ Lhông tỉn và 'Iruyền thông, trường đại bọc Bách Khoa Hà Nội. Chính các thấy cô giáo đã giảng đạy cho em nhiều kiến thức quan trọng trong quá trình em học tập và nghiên cứu Lại Lrường. Đồng thời eiú cũng xin dược gửi lời cản dư đặc biết đến cô PSG.'S Nguyén Kim Anh là người đã hướng dẫn tận tình, chu em những kinh nghiệm quý giá giúp em có thế hoàn thành lận văn tốt nghiệp này. Em xin gửi lời cảm ơn chân thành tới sie định và bạn bè.
Những sự đồng viên tỉnh thần to lớn từ mọi người hôn là động lực để em vượt qna khó khăn. Hẹc viên: Bùi Văn Tài, CBC19011, khoá CLC2019B, lớp Hệ thống thóng tin (Khoa Toe) Tém tat ndi dung ‘Yom tất văn bản luôn là một bài toán thách thức cho lĩnh vực xử lý ngôn ngữ tư nhiên, đồi hỏi inG bình phải kiểu duợc về ngữ nghĩa, ngữ pháp, tính diễn ngu của ngôn ngữ. Thy đây là một vấn đề khó nhưng lại có rất nhiều ứng dụng trong thực tế, giúp con người tiết kiệm thời gian không phải đọc hết các văn bản quá đài, mà. vẫn nám được các ý chính của văn bản.
"Tuy nhiên các nghiên cứn chủ yên tập trung về đơn tóm tắt, nghĩa là mật văn tán chỉ sinh ra một bảu tám tất duy nhất. Nhưng thực tế, một vàu bản có thể bao. gềm nhiều lĩnh vực, chủ đề khác nhau trong nôi dung và cần có nhiều bản tóm tất cho mỗi chủ đề đó. Nhận thấy điền nị y nên Inận văn sẽ trình hày về đề tài "Tám tất văn bản theo hướng chủ đề sử dụng đeep learning”.
Luận văn sẽ tổng hợp các nghiên cứu liên quan, đánh giá các khó khăn với bài toán sinh nhiễu tóm. tết cho các chủ dễ riêng biệt, Ngoài ra luận văn cùng Lập Lrung, vào vẫn đồ tạo ra tập dữ liệu phù hẹp với bài toán tốm tắt đề ra, từ đó nghiên cứu các mnê hình thứ nghiệm, giải pháp để xử lý nhằm nãng cao kết quả bài toầu tóm tất (eo chủ để, Mục lục 1 Tổng quan # 1.1 Tâng lực nghiên cứu.2 Mục tiếu nghiên cứu. 10 L8 Đồng gÓp nghiền tỨN. 10 14 Cấn trúc luận vần - 10 2 Cá sở lý thuyết 12 2.1 Mang nenral nhan tan.
19 242 Kiến trúc mạng neural cơ bản 2 14 2.3 Ham tie dong. oe Fee ¬— Lh 2.1 Hầm tác động Sigmoid [2] .2 Tam tác động TelLU 14 2. Quy bác học trong số [1|. đ§ 3/5 Mạng nguài hồi quy.
2⁄6 Long-shert term memory 18 2.7 Mô hình encoder-decoder (seq2seq) ` Lee. 20 28 Mo hinh ‘Lransformer .2 Mnhi-Head Atiention.9 Cúc nghiên cứu liêu yuan.1 Tôm tất trích chọn (exnractive). 3 3 Mô hình đề xuất 38 3.1 Vẫn đề cẩn giải quyết. 38 32 Mo hình lóm tất hai phá.1 Mö hình trích chọn hướng chủ đề .2 Mô hình róm lược hưởng chủ đề.
40 33 Mõ hình tóm tất kết hợp. ky Hà kg kg kg kg kgki 44 4_ Dữ liên hnẫn Inyện 4.1 Bộ đữ liệu thử nghiệm 42 Phương pháp đánh giá 43° Két quả dảnh giá. 5 Kết luận Mục lục 1 Tổng quan # 1.1 Tâng lực nghiên cứu.2 Mục tiếu nghiên cứu. 10 L8 Đồng gÓp nghiền tỨN.
10 14 Cấn trúc luận vần - 10 2 Cá sở lý thuyết 12 2.1 Mang nenral nhan tan. 19 242 Kiến trúc mạng neural cơ bản 2 14 2.3 Ham tie dong. oe Fee ¬— Lh 2.1 Hầm tác động Sigmoid [2] .2 Tam tác động TelLU 14 2. Quy bác học trong số [1|.
đ§ 3/5 Mạng nguài hồi quy. 2⁄6 Long-shert term memory 18 2.7 Mô hình encoder-decoder (seq2seq) ` Lee. 20 28 Mo hinh ‘Lransformer .2 Mnhi-Head Atiention.9 Cúc nghiên cứu liêu yuan.1 Tôm tất trích chọn (exnractive). 3 3 Mô hình đề xuất 38 3.1 Vẫn đề cẩn giải quyết.
38 32 Mo hình lóm tất hai phá.1 Mö hình trích chọn hướng chủ đề .2 Mô hình róm lược hưởng chủ đề. 40 33 Mõ hình tóm tất kết hợp. ky Hà kg kg kg kg kgki 44 Danh sách bảng Tit khéa cia các chủ đề kháu nhau. ee Hộ dữ liệu BUC News qua xử lý or we oebs Hộ dữ liệu thử nghiệm.
Xết quả thủ nghiệm bước trích rút của mồ hình bài phụ. So sánh kết qnà thữ nghiêm TIOUGT: FT bước trích rút. mê hình hai Kl, quả sơ sáuh thử nghiệm bước tóm lược cửa mõ hình hai pha. Kết quả thử nghiêm của mô hình bai pha.
~ Xết quả thử nghiệm của mö hình kết hợp. Danh sách từ viết tắt Artificial Neural Network LSTM | Long Short-Term Memory RNN Recurrent Neural Network Soqucnee Lo Sequence Danh sách hình vẽ L Cấu trie cite mot mang neural [I]. ee 2 kiến trúc mạng neural cơ bản 2 3 Ham Sigmoid [2]. kh ng kg kg kg ki và 4 Ham ReLU |.
beeen eae 3 Kién tric mang LSTM [5] 6 Mô hình encoder-decoder (seq2seq) [3| 7 Cơ chế attention[11| & Mô tả mỗi liên hệ giữa các từ khi được dịch Ảnh sử dụng thêm cơ chế cht f° [II 9 Mô hình Trenslormer [13] 10 Tiộ mã hóa của mô hình 'Transformer [13] 11 Ga ché Scaled Dot-Product Attention vi Multi-Head Attention [14] 12 Co ché sclfattention [IM] 0. ee 13° Co ché self-attention [14] 14 Ca ché Multi-Ilead Attention [14]. 15 __ Hộ giải mã của mô hình 'Iransformer [13| 16 Minh họa mồ bình LDA với giá trị Lừng tham số 80}. 17 Mô hình SnmmaRuNNr che bài toán tóm tắt trích rúx [15] 18 Mô hình BENTSUM [l6.
19 Mö hình 8cq2Scq với cơ chế chủ ý' [[. 20 Mô hình Pointer-Generaker |H]. #1 Mô hình trích chọn hướng chủ đề 22 Poimer-Generator kết hợp lransforrner [2l]. 23 Mó hình tóm tắt kết hựp.
24 Dữ liệu lồm tất. 25 Mô hình tạo dữ liệu tóm tắt 26 - 'Thống kẻ số lượng từ trong các bán tóm tắt. 37 Thắng kẽ số lượng từ trang van hin dan vio 1 Tổng quan 1.1 Động lực nghiên cứu “Tóm tắt văn bản là một hài toán nghiên eím qnan trạng trong, lĩnh vực xử lý ngôn ngữ Lự nhiên, có tính ứng dụng rất lớn trong đời sống hiện đại. Tóm tất văn bản giúp con người nhanh chóng tiếp cận các ý chính, nội dung nổi bật của tài liệu mà không cần phải đọc raàn hộ, từ đó tiết kiệm được nhiền thầi gian, công sức.
Ứng, dung cia tém tất văn bản thể hiện trong nhiều lĩnh vực thực tế ® Tãnh vực báo chí: Trên các trang bán điện tử, ta eá thể hiển thị các đoạn tôm tất của bài báo đó bêu ngoài, để người đọc có Uiể nấm được nội dụng chính và quyết định sẽ bắm vàa đọc chí tiết bài báo đó hay không. Diều này tạo rất nhiều thuận Liệu cho độc giả tìm dược nội dung phù hợp với mình. Tãnh vực phân tích: Ta luôn cẩn băn tóm tất cho từng chủ đề, lĩnh ve trong. một bản báo cáo lớn, giúp người đọc có một cái nhìn tỏng quát, nhanh chóng về các vấn đề trình hày trong đó.
Lĩnh vực giáo dục: Trong các tác phẩm văn học, hay lịch sử có thể tạn ra các bản tóm lược nội dung, điền này giúp ích cho học sinh nấm được các nội dung chữnh của bài bọu, tiếp thu kiếu thức dễ đồng hơn, Với một mô hình tóm tắt, sẽ đem lại rất nhiều lợi ích: @ Kha nang ném bất thông tin: ta chỉ phải đọc một văn hản ngắn, sfic tích về nội dung dường nhiều sẽ giúp la nhớ và nấm được các ý chính nhanh hơu, « Khả năng tìm kiếm: Thay vì phải tìm và đạc qua các văn hắn đài và nhiều ÿ, hệ thống có thể đựa vào các bản tóm tất ngắn hon dé tim kiếm các văn bản này, giúp riết kiêm tài nguyên và thời gian. Những điền nên trên đã thể hiện giá trị và tính ứng dụng lớn của tóm tắt văn thần trung thực tế. Tuy nhiền vẫn còn rất nhiều thách thức như phải xử lý một vấn bản có độ dài lớn, hẳn tám tắt sinh ra chưa đủ nội dung chính, và. bị khó đọc du sinh sai ngũ nghĩa, ngiữ pháp.
Những khó khăn này đặt ra rất nhiễu vẫn đề cần nghiên cửa, giải quyết cho bài toán tóm tất ván bản.2 Mục tiêu nghiên cứu Khi đạc mật văn bản hay tài liện, hành vì phổ biến của can người là đạc lướt để chon lọc các thông tỉn quan trọng đẳng chú ý hay phầu thông lầu mà mình quan tam. ‘Lrong mét tai liệu có thể bao gồm nhiều phần nöi dung khác nhau về các chủ đề khác nhan, mà, có thể mỗi người quan tâm đến một chủ đề trong đó. Điền đó nảy sinh ra vấn đề ta cần phải tạo ra nhiều bán tóm tất cho từng chủ để trong văn tản, giúp bản tóm rắt tập trung, thể hiên nhimg phan thông tin riêng biệt X phát từ những vấuđề đó, luận vân tập trung nghiêu cứu bồi toôn ginh các tóm tất theo từng chủ để của một văn bản. Lhay vì chỉ có một bản tóm tắt duy nhất, ta sẽ thu dược các bản tóm tất theo bừng chủ dễ riêng biệt với nội dụng chuyen biệt.
DĐiều này giúp người đọc clễ dàng tập trung vào phần thông tin mà mình quan tâm. Luận vấn sẽ hướng tới kết lợp cả mồ Linh Vm (at wich cil va tou at bom lược theo chủ đề nhằm nãng cao chất lượng của các bản tóm tắt.3 Đóng gốp nghiên cứu Luận vận Lập trung vào cốc nhiệm vụ chính: « Xây dựng tập đữ liệu bao gồm các vũn bản và các tóm tất riêng biết theo các chủ đề. Do sự han chế của dữ liệu, ta phải tự tạo tập dữ liệu phù hợp với bài twin dé ra tit ede lập dữ liệu công bố có sẵu.