mở đầu cho các công trình liên quan sau này. Luhn đã biên dịch từ một danh sách các từ chứa nội dung (content words) được sắp xếp theo tần xuất giảm dần và đánh chỉ số độ đo quan trọng của chúng. Ở mức một câu, nhân tố quan trọng được dựa trên độ đo quan trọng của các từ có mặt trong câu đó và khoảng cách giữa chúng với các từ có độ đo quan trọng thấp. Tất cả các câu được sắp xếp theo thứ tự của nhân tố quan trọng và các câu có vị trí cao nhất sẽ được lựa chọn trong hệ thống tóm tắt tự động [10][9].
Một nghiên cứu liên quan khác của Baxendale cũng được đề xuất vào năm 1958 tại viện nghiên cứu IBM và công bố trong cùng một tạp chí, cung cấp một góc nhìn khác khi tập trung vào tìm kiếm các thành phần ngữ nghĩa ngầm của các văn bản: Vị trí câu. Theo mục đích này, tác giả đã thu tập 200 đoạn để tìm ra tới 85% trong các đoạn đó, các câu chủ đề nằm ở vị trí đầu đoạn và 7% nằm ở vị trí cuối đoạn. Do đó, đơn giản nhất sẽ chọn câu đứng ở đầu đoạn hoặc cuối đoạn để tạo ra tóm tắt. Đặc trưng về vị trí câu cũng là một trong những đặc trưng tổ hợp trong các hệ thống tóm tắt dựa trên máy học sau này [10][9].
Nghiên cứu cơ bản của Edmundson năm 1969, mô tả một hệ thống sinh ra văn bản tóm tắt dựa trên cách tiếp cận trích rút câu. Đầu tiên tác giả phát triển một giao thức để tạo trích rút thủ công ứng dụng cho một tập gồm 400 văn bản kỹ thuật. Tiếp theo, các đặc trưng tần suất từ và vị trí quan trọng được sử dụng lại từ các nghiên cứu trước và bổ sung thêm hai đặc trưng nữa ` 15 là ngăn chặn từ và vai trò từ, trọng số câu được tính toán dựa trên các đặc trưng này. Khi đánh giá, độ chính xác của phương pháp tương đương với 44% so với trích rút thủ công [10][9].
Các đề tài đều có ưu điểm nhất định nhưng hầu hết các đề tài đều tập trung xử lý ngôn ngữ tiếng nước ngoài, đa số là các văn bản tiếng Anh. Để áp dụng cho các tài liệu tiếng Việt thì không có được độ chính xác mong muốn do đặc điểm ngôn ngữ tiếng Việt phức tạp và có rất nhiều điểm khác biệt so với ngôn ngữ khác. Một số phần mềm tóm tắt văn bản được đưa lên Intenet để sử dụng miễn phí như phần mềm Text Compactor[16]. Formatted: Vietnamese Hiện nay, các nghiên cứu về tóm tắt văn bản tiếng Việt chưa nhiều.
Đã có một số các nghiên cứu được công bố song vẫn còn nhiều hạn chế. Một số công trình nghiên cứu tập trung chính vào vấn đề trích rút các câu trong văn bản gốc và tổng hợp lại thành văn bản tóm tắt của nhóm tác giả Lê Thanh Hà, Huỳnh Thắng và Lương Chi Mai, năm 2005 [13][13]. Tác giả Nguyễn Thị Thu Hà với công trình tóm tắt văn bản tiếng Việt dựa trên học giám sát bằng mạng nơ ron và một số công trình liên quan khác [6][1].4 Đánh giá tóm tắt văn bản 1.1 Đánh giá theo cách thủ công Formatted: Vietnamese Hội thảo DUC (Document Understanding Conferrence) đã đưa ra đánh giá về các hệ thống tóm tắt trên tập dữ liệu dùng chung kể từ năm 2001. Nhiều chuyên gia phát triển những phương pháp đánh giá khác nhau.
Đánh giá của hội thảo DUC dựa trên chuyên gia con người. Do đó, chỉ dùng chú thích của một người tạo các mô hình với tập dữ liệu kiểm tra khác nhau.2 Phương pháp đánh giá BLEU Formatted: Vietnamese ` 16 Độ đo BLEU (Bilingual Evaluation Under Study) do Papineni và cộng sự đề xuất năm 2001. Trong độ đo này họ sử dụng trọng số xuất hiện n-gram. BLEU gắn với NIST (National Institute of Standards and Technology).
Một Field Code Changed phương pháp liên quan đến đánh giá tóm tắt tự động và được gọi là độ đo NIST. NIST là phương pháp dựa trên BLEU. Ý tưởng chính của BLEU là đánh giá độ tương tự giữa một văn bản ứng cử (candidate) và tập các bản tham khảo dưới dạng trung bình có trọng số của các n-gram trong văn bản cho bởi hệ thống và trong tập các văn bản tham khảo được cho bởi con người theo công thức (1-1) như sau: Field Code Changed Count (n gram) C Candidates n gramC clip p n (1-1) Count (n gram) C Candidates n gramC Trong đó Countclip(n-gram) là số n-gram xuất hiện lớn nhất trong văn bản cho bởi hệ thống và văn bản tham khảo và Count(ngram) là số n-gram trong văn bản cho bởi hệ thống. Khi sử dụng phương pháp đánh giá BLEU để đánh giá chất lượng tóm tắt, ta coi văn bản tóm tắt là văn bản ứng viên, văn bản gốc là văn bản nguồn.
Trong một số trường hợp người ta sử dụng phương pháp BLEU trong đánh giá chất lượng tóm tắt thủ công. Formatted: Font: 5 pt 1.3 Phương pháp đánh giá ROUGE Các phương pháp đánh giá tóm tắt truyền thống thường gắn với đánh giá thủ công do chuyên gia con người thực hiện thông qua một số độ đo khác nhau, chẳng hạn: mức độ súc tích, mức độ liền mạch, ngữ pháp, mức độ dễ đọc và nội dung. Tuy nhiên, phương pháp đánh giá kết quả tóm tắt thủ công được báo cáo tại hội thảo DUC 2003 đòi hỏi hơn 3000 giờ. Chi phí này quá cao.
Vì thế, đánh giá tóm tắt tự động là một yêu cầu cấp thiết. Lin và Hovy đề ` 17 xuất một phương pháp đánh giá mới gọi là ROUGE (Recall-Oriented Understudy for Gisting Evaluation). Hiện nay phương pháp đo này được sử dụng như một phương pháp chuẩn đánh giá kết quả tóm tắt tự động cho văn bản tiếng Anh. Một cách hình thức, ROUGE-N là một độ đo đối với các n-gram trong văn bản tóm tắt ứng viên và trong tập các văn bản tóm tắt tham khảo, được tính theo công thức (1-2) ở dưới đây.
Field Code Changed Count ( gram ) SRe ferenceSummaries gramnS match n ROUGE N (1-2) Count ( gram ) SRe ferenceSummaries gramnS n Trong công thức (1-2), n biểu thị cho chiều dài của n-gram, gramn và Countmatch(gramn) là số chuỗi n-gram lớn nhất xuất hiện trong văn bản tóm tắt ứng viên và tập các văn bản tóm tắt tham khảo.4 Độ đo precision và độ đo recall Đối với phương pháp tóm tắt văn bản dựa trên trích rút câu, các câu được trích chọn kết nối với nhau, tạo nên văn bản tóm tắt, không cần hiệu chỉnh thêm. Trong trường hợp này, người ta sử dụng độ đo triệu hồi và chính xác để đánh giá chất lượng bản tóm tắt. Độ đo triệu hồi là tỉ số giữa số lượng các câu đồng thời được trích rút bởi con người và hệ thống trên số các câu chỉ được lựa chọn bởi con người. SCHO Field Code Changed Recall = (1-3) SCH trong đó: SCHO: số lượng những câu được cả hệ thống và con người trích rút.
SCH: số lượng những câu được con người trích rút. ` 18 Độ đo chính xác là tỉ số giữa số lượng các câu được cả hệ thống và con người trích rút trên số các câu được hệ thống trích rút. SCHO Field Code Changed Precision = (1-4) SCS trong đó: SCHO: số lượng những câu được cả hệ thống và con người trích rút. SCS: số lượng những câu được hệ thống trích rút.
Formatted: Space Before: 0 pt, After: 0 pt, Line spacing: Multiple 1.6 li Formatted: Normal, Justified, Indent: First line: 0.7 cm, Line spacing: Multiple 1.6 li Trong chương này luận văn đã đưa ra tổng quan về tóm tắt văn bản tiếng Formatted: Font: 14 pt Formatted: Normal, Justified, Indent: First Việt, hiện trạng nghiên cứu tóm tắt văn bản ở trong nước cũng như ngoài line: 0.7 cm, Line spacing: Multiple 1.6 li nước, hiện trạng tóm tắt văn bản tiếng Việt hiện nay cũng đã và đang được quan tâm nghiên cứu và phát triển bởi các nhóm xử lý ngôn ngữ tự nhiên tiếng Việt trong nước (JAIST). Luận văn cũng đã đưa ra đặc điểm của ngôn ngữ tiếng Việt, một số phương pháp tóm tắt văn bản đánh giá tóm tắt văn bản. Formatted: Font: 14 pt Ở chương 2 của luận văn sẽ đi sâu vào phương pháp tóm tắt văn bản dựa trên Naïve Bayes. Formatted: Font: 14 pt ` 19 Chương 2 : PHƯƠNG PHÁP TÓM TẮT VĂN BẢN TIẾNG VIỆT DỰA TRÊN NAIVE BAYES Formatted: Font: 7 pt Trong chương này, luận văn trình bày một số phương pháp tóm tắt văn Formatted: Normal, Line spacing: Multiple 1.6 li bản điển hình và đi sâu vào phương pháp tóm tắt văn bản Naïve Bayes, trên Formatted: Font: 14 pt, English (U.) Formatted: Normal, Indent: First line: 1.06 cơ sở đó tìm hiểu phương pháp rút gọn đặc trưng trong xử lý tiếng Việt và cm, Line spacing: Multiple 1.65 li Formatted: Font: 14 pt, English (U.) đưa giải pháp tích hợp với bộ công cụ gán nhãn từ loại VnTagger để xây dựng hệ thống thử nghiệm.1 Một số phương pháp tóm tắt văn bản điển hình Formatted: Font: (Default) Times New Roman, 14 pt, Italic, Vietnamese 2.1 Phương pháp tóm tắt văn bản bằng cây quyết định Lin và Hovy (1997) đã nghiên cứu một đặc trưng rất quan trọng, vị trí Formatted: Vietnamese của câu.
Độ quan trọng của câu bằng chính vị trí của nó trong văn bản, tác giả đã gọi là “position method”, nảy sinh từ ý tưởng rằng các văn bản sinh ra một cấu trúc diễn ngôn, và một câu gần chủ đề hơn khuynh hướng tập trung xuất hiện trong vị trí có thể định được (ví dụ tiêu đề, tóm tắt…). Do đó, cấu trúc diễn ngôn quan trọng thay đổi theo lĩnh vực, đặc trưng vị trí câu không thể được định nghĩa đơn giản như (Baxendale, 1958). Nghiên cứu này đã có một đóng góp quan trọng bằng kỹ thuật xác định vị trí tối ưu và cách đánh giá thế nào cho hiệu quả. Một kho dữ liệu tin tức lớn được sử dụng, kho được sưu tập bởi Zif-Davis từ chương trình TIPSTER, nó bao gồm văn bản về máy tính (computer) và liên quan tới phần cứng, thêm vào là tập các từ khóa chủ đề và abstract nhỏ khoảng 6 câu.
Có hai cách đánh giá được sử dụng là precision và Formatted: Vietnamese recall. Trong nghiên cứu tiếp theo của Lin (1999) đã bác bỏ giả thiết rằng các đặc trưng là độc lập lẫn nhau và đã đưa ra mô hình trích rút câu sử dụng cây ` 20 quyết định thay thế cho phân loại Naïve – Bayes. Lin đã khảo sát rất nhiều Formatted: Vietnamese Formatted: Vietnamese đặc trưng và hiệu ứng của chúng trong trích rút câu.
