Luận văn: Nén câu tiếng Việt hướng Tóm lược và dựa trên Xoá Từ

Luận văn nghiên cứu bài toán nén câu tiếng Việt theo hai hướng: tóm lược và xóa từ. Khám phá phương pháp xây dựng dữ liệu và áp dụng mô hình học sâu.

• Tác giả: Nguyễn Thị Trang
• Người hướng dẫn: TS. Nguyễn Kiêm Hiểu
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Khoa Học Dữ Liệu
• Đề tài: Nén Câu Tiếng Việt: Phương Pháp Tóm Lược và Xóa Từ
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Tóm tắt

I. Định nghĩa và tầm quan trọng của nén câu tiếng Việt

Nén câu tiếng Việt là một bài toán quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), nhằm rút gọn độ dài của câu văn mà vẫn giữ nguyên ý nghĩa chính. Đây là nền tảng cơ bản cho các ứng dụng tóm tắt văn bản và trích rút thông tin. Bài toán này có ứng dụng thực tiễn rộng rãi trong các hệ thống xử lý tài liệu, tạo tiêu đề tin tức tự động, và cải thiện chất lượng tóm tắt dài. Nén câu không chỉ giúp giảm khối lượng dữ liệu mà còn nâng cao hiệu quả của các mô hình học máy khi xử lý văn bản lớn. Tầm quan trọng của nén câu nằm ở khả năng ứng dụng trong các hệ thống thông minh hiện đại.

1.1. Khái niệm nén câu trong xử lý ngôn ngữ tự nhiên

Nén câu là quá trình biến đổi một câu gốc thành câu rút gọn, loại bỏ những thành phần không cần thiết nhưng vẫn bảo toàn nội dung chính. Trong xử lý ngôn ngữ tự nhiên, đây được xem là một bài toán con của tóm tắt văn bản (text summarization). Phương pháp này tập trung vào việc tối ưu hóa độ dài câu, giảm thiểu sự dư thừa thông tin, và cải thiện tính dễ đọc của văn bản.

1.2. Ứng dụng thực tiễn của nén câu tiếng Việt

Ứng dụng của nén câu rất đa dạng trong các lĩnh vực: tạo tiêu đề tin tức tự động, tóm tắt tài liệu dài, cải thiện hệ thống trả lời câu hỏi tự động, và tối ưu hóa hiển thị nội dung trên các thiết bị di động. Đặc biệt, trong các hệ thống xử lý dữ liệu lớn, nén câu giúp giảm chi phí lưu trữ và xử lý dữ liệu một cách hiệu quả.

II. Phương pháp tóm lược trong nén câu

Phương pháp tóm lược (abstractive summarization) là một cách tiếp cận tiên tiến để nén câu tiếng Việt. Thay vì chỉ xóa từ, phương pháp này tạo ra những câu mới từ việc hiểu và diễn giải lại nội dung gốc. Mô hình Seq2Seq (Sequence to Sequence) được sử dụng rộng rãi cho phương pháp này, có khả năng học cách biến đổi câu gốc thành câu rút gọn thông qua các mạng neural. Quá trình huấn luyện mô hình tóm lược yêu cầu tập dữ liệu lớn với các cặp câu gốc-câu tóm lược. Kết quả từ phương pháp này thường cho ra những câu mượt mà và tự nhiên hơn, nhưng đòi hỏi tài nguyên tính toán lớn hơn.

2.1. Mô hình Seq2Seq và kiến trúc Encoder Decoder

Mô hình Seq2Seq sử dụng kiến trúc Encoder-Decoder với các mạng LSTM (Long Short-Term Memory) hoặc GRU (Gated Recurrent Units). Encoder đọc câu gốc và tạo vector biểu diễn ngữ cảnh, Decoder sử dụng vector này để sinh câu tóm lược. Cơ chế Attention giúp mô hình tập trung vào những từ quan trọng nhất trong câu gốc, cải thiện chất lượng kết quả nén câu đáng kể.

2.2. Xây dựng tập dữ liệu cho tóm lược

Tập dữ liệu huấn luyện cho phương pháp tóm lược được xây dựng bằng cách thu thập những cặp câu gốc và câu tóm lược. Có thể sử dụng các kỹ thuật tự động để tạo dữ liệu, hoặc sử dụng các bộ dữ liệu công khai có sẵn. Chất lượng dữ liệu huấn luyện ảnh hưởng trực tiếp đến hiệu suất của mô hình nén câu tiếng Việt.

III. Phương pháp xóa từ trong nén câu

Phương pháp xóa từ (extractive summarization) là cách tiếp cận truyền thống hơn, dựa trên việc chọn lọc và loại bỏ các từ không quan trọng từ câu gốc. Thay vì tạo ra những từ mới, phương pháp này chỉ giữ lại những từ thiết yếu, đảm bảo tính chính xác và dễ kiểm chứng của kết quả. Mô hình Bi-Encoder-Decoder LSTM được áp dụng hiệu quả cho phương pháp này, với khả năng xác định chính xác những từ nào nên được xóa. Phương pháp xóa từ thường nhanh hơn và tiết kiệm tài nguyên hơn so với tóm lược, phù hợp cho các ứng dụng yêu cầu hiệu năng cao.

3.1. Kiến trúc Bi Encoder Decoder LSTM

Mô hình Bi-Encoder-Decoder LSTM sử dụng hai hướng xử lý (bidirectional) để hiểu sâu hơn về cấu trúc câu. Bi-LSTM (Bidirectional LSTM) đọc câu từ cả hai chiều, giúp nắm bắt được mối quan hệ giữa các từ. Decoder sau đó quyết định xóa hay giữ lại từng từ dựa trên thông tin ngữ cảnh được học.

3.2. Phân tích cú pháp phụ thuộc trong xóa từ

Để xác định những từ quan trọng, phương pháp xóa từ sử dụng kỹ thuật phân tích cú pháp phụ thuộc (dependency parsing). Cây cú pháp phụ thuộc giúp xác định mối liên hệ giữa các từ, từ đó xác định những từ chủ yếu nên được giữ lại. Những từ có vai trò chính trong câu (verb, noun chính) thường được ưu tiên giữ lại trong quá trình nén câu.

IV. Đánh giá hiệu suất và kết quả thực nghiệm

Hiệu suất của các phương pháp nén câu được đánh giá thông qua hai cách: tự động và thủ công. Đánh giá tự động sử dụng các chỉ số như ROUGE (Recall-Oriented Understudy for Gisting Evaluation), so sánh kết quả với các tham chiếu chuẩn. Đánh giá thủ công liên quan đến việc cho con người đọc kết quả nén câu và xếp hạng chất lượng. Các kết quả thực nghiệm cho thấy cả hai phương pháp tóm lược và xóa từ đều có những ưu điểm riêng. Phương pháp tóm lược cho ra câu tự nhiên hơn nhưng cần nhiều dữ liệu huấn luyện, trong khi xóa từ nhanh hơn nhưng câu kết quả đôi khi không mượt mà.

4.1. Chỉ số ROUGE và đánh giá tự động

Chỉ số ROUGE là tiêu chuẩn phổ biến để đánh giá chất lượng nén câu, dựa trên so sánh n-grams giữa kết quả sinh ra và tham chiếu chuẩn. ROUGE-1 đếm số từ trùng khớp, ROUGE-2 đếm số cặp từ liên tiếp trùng khớp. Mặc dù không hoàn hảo, ROUGE cung cấp một phương pháp nhanh và khách quan để so sánh các mô hình nén câu khác nhau.

4.2. Đánh giá thủ công và so sánh các phương pháp

Đánh giá thủ công bằng cách yêu cầu các chuyên gia đánh giá độ tự nhiên, độ chính xác, và tính toàn vẹn ý nghĩa của câu nén. So sánh giữa tóm lược và xóa từ cho thấy: phương pháp tóm lược tạo ra câu linh hoạt hơn, trong khi xóa từ đáng tin cậy hơn về độ chính xác nội dung. Lựa chọn phương pháp phụ thuộc vào yêu cầu cụ thể của ứng dụng nén câu tiếng Việt.

Trích đoạn nội dung tài liệu

TRUONG DAI HOC BACH KHOA HA NOI LUẬN VĂN THẠC SĨ Nén câu tiếng Việt Hướng Tóm lược và dựa trên Xoá Từ NGUYEN THỊ TRANG trangnguyen.hustl 1 7gmail com Ngành Khoa học Dữ liệu Giảng viên hướng dẫn: TS Nguyễn Kiêm Hiểu. Chat ky cia GVHD Viện: Công nghệ Thông tin và Truyền thông HA NOI, 10/2020 CỘNG HỎA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập do— Hạnh phúc BAN XAC NHAN CHỈNH SỬA LUẬN VĂN THẠC SĨ To va tén tac giả luận vã xguyễn Thị Trang. Dé tài luận văn: Nén câu tắng Việt hướng Tóm lược và dựa trên Xoá Từ Chuyên ngành: KHDI. Mã số SV: CB190202 Táo giả, Người hướng, dẫn khoa họo và Hội đồng châm luận văn xác nhận tác giả dã sửa chữa, bổ sung huận văn theo biên bản họp Hội dông ngày 31/10/2020 với cáo nội đụng sau: STT 'Yêu cẩu của hột đẳng Nội dung da chink sia, hỗ sung Ô đầu mỗi chương bổ sung thêm nội đưng Bổ sung tóm tắt nôi dung ở đầu tóm tắt, cụ thể lä trang 9, trang 20 và trang.

1 | mỗi chương nhằm mang cải 39 nhìn tổng quan cho người dec. Tiö sưng kiến thức nên về học sâu tat chương 2, thêm mye 2.1 Bổ sung phần kiến thức nàn Nói rõ các thuật ngũ liên quan dén phan 2 | dho phân mô lành. Tắm rố các xây dựng đữ liêu, đưa vi dụ cụ th. Thông thuật ngữ, dua ví dụ rõ rằng.

tin thay đối tai muc 3.2 Thay đại từ nhân xưng “cm” thành “tác giã” trong toàn bộ luận văn. 'Viết lại các phần đễ làm rõ đóng gúp của. tác giả Bé sung bing gidi thích các thuật ngũ viết tất. Chỉnh sửa bỏ sung một số nội đmng khác của luận văn như thay di dai tử nhân xưng, bố sưng các thông tin và làm rõ vai trò và đóng góp chính của táo giả Ngày tháng nấm viên hướng dẫn Tác luận văn TS.

Nguyễn Kiêm Hiểu Nguyễn Thị Trang CHỦ TỊCH HỘI ĐỒNG PGS.TS Lê Thanh Hương LỜI CẢM ON Trời đâu tiên, xin trân ong câm ơn Thây đã hưởng dẫn tôi là T8. Nguyễn Kiêm Tiểu, thầy đã tận tỉnh hưởng dẫn tôi trong quá trình học tập cũng như trong việc hoàn thành luận văn. Xin chân thành cảm ơn các Thay, Cé thuộc bộ môn hệ thống thông tin, khoa Công Nghệ Thông Tin và Truyền thông, trường dại học Bách Khoa Hà Nội dã tận tình giảng đạy cho tôi trong thời gian học tập, Xin cảm ơn team Data Miming ctia céng ty VCCorp di hé tre téi rat nhigu vé dit liện, cơ sở vật chai. để hoàn thành các nghiên cứu của rnĩnh.

Do giới hạn kiên thức và khã năng cửa bản thân càn nhiều thiểu sót và hạn chê, kính mong sự chỉ đẫn và đóng gớp của các Thây, Cô dé bai luận văn của tôi dược hoàn thiện hơn. Xin chân thành cảm ơnf DANH MỤC IUNH VẼ Hình 1: Minh hoạ mạng RNN.-cenerirrrrrrirrrrereoeoB Hình 2 Minh hơa mạng RNN 9 Ilink 3 Minh hoa mang LSTM - - 10 Hình 4 Các kỉ hiệu trên mựng I.STM - - 10 Hình5 Tầng cổng quên trên TM: - - 10 Hình 6 Tầng cổng vào trên LSIM Hình 7 Tầng cổng ra trên mang LSM Tlink 8 Minh hoa GRU - Hình 9 Kiến trúc mẻ hình sea2seq.s--c255<22 Hinh 10 Mé hinh seq2seq attention. Hinh 11 M6 hinh Pointer-Generator. - Linh 12 Mé hinh Bi-encoder-decoder LSI'M.

7 Tiink 13 Vi du Headline va Sapo mén bio tin tức Hinh 14 Ví đụ về cảy cú pháp phụ thuộc. Tinh 15 Minh hoạ tỉnh chất cây cú pháp phu thuộc Hình 16 Cây củ pháp phụ thuộc có tính chất Projective. HH 1iình 17 cây cú pháp phụ thuộc không eó tính chất Projective 25 Hình 18 Ứng dụng trích rút quan hi Hinh 19 Ứng dụng dịch may - Hình 20 Ví đụ chuyên đối cây củ pháp phụ thuộc Think 21 Cây cú pháp phụ thuộc sau khi Matching - - cose Mh Hình 22 Một số vi đụ của bộ đữ liệu hướng xoä lừ - eos AB Hình 23 Môi số ví dụ nến câu hướng tóm lược - 4 Hinh 24 Một số ví đụ nén cấu hướng xoá từ. DANH MỤC BẰNG Bảng 1 Các nhãn từ loại Bảng 2 Quan hệ phụ thuộc Nominals ÔÔ os ASSeke Bảng 3 Quan hệ phụ thuộc Clause Bảng 4 Quan hệ phụ thuộc Modiñer word Bảng 5 Quan hệ phụ thuộc Pưnction word.

Bang 6 Quan hé phu thude Coordination. Bảng 7 Các quan hệ phụ thuộc khác - .Ô Bang 8 Tập dữ liệu hưởng tóm lược. Bảng 9 Đánh giá Rơuge hướng tóm lược. thBS >»èu# Bảng 10 Dánh giá thủ công hướng tóm lược Hảng 11 Thông tin đử liều hướng xoá từ.

Bang 12 Kết quả đánh giá tự đồng hưởng xoá từ. Bảng 13 Kết qua danh aiả tú công hướng xơ từ. Từ Mata Lsim Long-Short Term Memory Bi-LSTM Bidirectional Long-Short Tarm Memory Seq2Seq Sequence to Sequence RNN Recurrent Neural Network GRU Gated recurrent units Pointer Pointer generator network TOM TAT LUAN VAN Tom tat van ban 1a mét bai toan quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Trong đó nén câu la mét bai toan co sở.

Bài toán nén câu có thê dược ứng đụng trực tiếp hoặc có thẻ sử dụng hiện quả như ruột module trong (om tắt vẫn tản hướng trích rút đề cải thiện chất lượng tóm tải Luận văn này được tôi lập trung vào bái toán nén eau tong Tiếng Việt Với bài toán nảy, luận văn tập trung khai thác theo hai hướng tiếp cận phổ biến là phương pháp tóm lược va dựa trên xoá từ. Ở cả hai hướng tiếp cận, tôi đêu xây đựng được tập dữ liệu huẳn luyện một cách tự động, dựa trên các kì thuật thu thập dữ liệu, phân tích nội dung ở mrức nông, và phân tích củ pháp. Tiếp theo, tôi có thứ nghiệm mô hình seq2seq cho hướng, tiếp cận tóm lược, và đã có những hiệu quả nhất định. Với hưởng xeá từ, tôi áp dung md hinh Bi-eneoder-decoder T.STM đề giải quyết cho việc lựa chọn từ nào bị loại bỏ.

Điế đánh giá kết quả, tôi đã xây đựng thủ công tập kiểm thử và thực hiện dánh giá về dịnh lượng một cách tự động, vá dánh giá dịnh tính một cách thủ công. Ở cả hai phương pháp, kết quả thực nghiệm đều sinh ra nhiều tóm tắt câu với chất lượng tốt, đắm bảo nội dung chính của câu gốc. Trong quả trinh thực hiện luận văn tôi được sự hễ trợ của đội đữ liệu ở công ty VCCorp những phản việc sau: Thu nhập dữ liệu raw, cùng đánh giá và xây dụng tập dữ liệu thử nghiệm cho cả hướng Tóm lược và hướng Xoá từ. Từ Mata Lsim Long-Short Term Memory Bi-LSTM Bidirectional Long-Short Tarm Memory Seq2Seq Sequence to Sequence RNN Recurrent Neural Network GRU Gated recurrent units Pointer Pointer generator network DANH MỤC IUNH VẼ Hình 1: Minh hoạ mạng RNN.-cenerirrrrrrirrrrereoeoB Hình 2 Minh hơa mạng RNN 9 Ilink 3 Minh hoa mang LSTM - - 10 Hình 4 Các kỉ hiệu trên mựng I.STM - - 10 Hình5 Tầng cổng quên trên TM: - - 10 Hình 6 Tầng cổng vào trên LSIM Hình 7 Tầng cổng ra trên mang LSM Tlink 8 Minh hoa GRU - Hình 9 Kiến trúc mẻ hình sea2seq.s--c255<22 Hinh 10 Mé hinh seq2seq attention.

Hinh 11 M6 hinh Pointer-Generator. - Linh 12 Mé hinh Bi-encoder-decoder LSI'M. 7 Tiink 13 Vi du Headline va Sapo mén bio tin tức Hinh 14 Ví đụ về cảy cú pháp phụ thuộc. Tinh 15 Minh hoạ tỉnh chất cây cú pháp phu thuộc Hình 16 Cây củ pháp phụ thuộc có tính chất Projective.

HH 1iình 17 cây cú pháp phụ thuộc không eó tính chất Projective 25 Hình 18 Ứng dụng trích rút quan hi Hinh 19 Ứng dụng dịch may - Hình 20 Ví đụ chuyên đối cây củ pháp phụ thuộc Think 21 Cây cú pháp phụ thuộc sau khi Matching - - cose Mh Hình 22 Một số vi đụ của bộ đữ liệu hướng xoä lừ - eos AB Hình 23 Môi số ví dụ nến câu hướng tóm lược - 4 Hinh 24 Một số ví đụ nén cấu hướng xoá từ. DANH MỤC BẰNG Bảng 1 Các nhãn từ loại Bảng 2 Quan hệ phụ thuộc Nominals ÔÔ os ASSeke Bảng 3 Quan hệ phụ thuộc Clause Bảng 4 Quan hệ phụ thuộc Modiñer word Bảng 5 Quan hệ phụ thuộc Pưnction word. Bang 6 Quan hé phu thude Coordination. Bảng 7 Các quan hệ phụ thuộc khác - .Ô Bang 8 Tập dữ liệu hưởng tóm lược.

Bảng 9 Đánh giá Rơuge hướng tóm lược. thBS >»èu# Bảng 10 Dánh giá thủ công hướng tóm lược Hảng 11 Thông tin đử liều hướng xoá từ. Bang 12 Kết quả đánh giá tự đồng hưởng xoá từ. Bảng 13 Kết qua danh aiả tú công hướng xơ từ.

DANH MỤC BẰNG Bảng 1 Các nhãn từ loại Bảng 2 Quan hệ phụ thuộc Nominals ÔÔ os ASSeke Bảng 3 Quan hệ phụ thuộc Clause Bảng 4 Quan hệ phụ thuộc Modiñer word Bảng 5 Quan hệ phụ thuộc Pưnction word. Bang 6 Quan hé phu thude Coordination. Bảng 7 Các quan hệ phụ thuộc khác - .Ô Bang 8 Tập dữ liệu hưởng tóm lược. Bảng 9 Đánh giá Rơuge hướng tóm lược.

thBS >»èu# Bảng 10 Dánh giá thủ công hướng tóm lược Hảng 11 Thông tin đử liều hướng xoá từ. Bang 12 Kết quả đánh giá tự đồng hưởng xoá từ. Bảng 13 Kết qua danh aiả tú công hướng xơ từ. Từ Mata Lsim Long-Short Term Memory Bi-LSTM Bidirectional Long-Short Tarm Memory Seq2Seq Sequence to Sequence RNN Recurrent Neural Network GRU Gated recurrent units Pointer Pointer generator network TOM TAT LUAN VAN Tom tat van ban 1a mét bai toan quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Trong đó nén câu la mét bai toan co sở. Bài toán nén câu có thê dược ứng đụng trực tiếp hoặc có thẻ sử dụng hiện quả như ruột module trong (om tắt vẫn tản hướng trích rút đề cải thiện chất lượng tóm tải Luận văn này được tôi lập trung vào bái toán nén eau tong Tiếng Việt Với bài toán nảy, luận văn tập trung khai thác theo hai hướng tiếp cận phổ biến là phương pháp tóm lược va dựa trên xoá từ. Ở cả hai hướng tiếp cận, tôi đêu xây đựng được tập dữ liệu huẳn luyện một cách tự động, dựa trên các kì thuật thu thập dữ liệu, phân tích nội dung ở mrức nông, và phân tích củ pháp. Tiếp theo, tôi có thứ nghiệm mô hình seq2seq cho hướng, tiếp cận tóm lược, và đã có những hiệu quả nhất định.

Với hưởng xeá từ, tôi áp dung md hinh Bi-eneoder-decoder T.STM đề giải quyết cho việc lựa chọn từ nào bị loại bỏ. Điế đánh giá kết quả, tôi đã xây đựng thủ công tập kiểm thử và thực hiện dánh giá về dịnh lượng một cách tự động, vá dánh giá dịnh tính một cách thủ công. Ở cả hai phương pháp, kết quả thực nghiệm đều sinh ra nhiều tóm tắt câu với chất lượng tốt, đắm bảo nội dung chính của câu gốc.