Tìm Hiểu Phương Pháp Phân Loại Naïve Bayes Và Ứng Dụng Tóm Tắt Văn Bản Tiếng Việt

Tài liệu nghiên cứu Tìm hiểu phương pháp phân loại naïve bayes và nghiên cứu xây dựng ứng dụng tóm tắt văn bản tiếng, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Ngô Thanh Hảo
• Người hướng dẫn: TS. Nguyễn Thị Thu Hà
• Trường học: Trường Đại học Công Nghệ Thông Tin và Truyền Thông Đại học Thái Nguyên
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phương Pháp Phân Loại Naïve Bayes Trong Tóm Tắt Văn Bản Tiếng Việt
• Loại tài liệu: luận văn

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TÓM TẮT VÀ TÓM TẮT VĂN BẢN TIẾNG VIỆT
• 1.1. Tổng quan bài toán tóm tắt văn bản
• 1.2. Tỉ lệ trong tóm tắt văn bản
• 1.3. Đặc điểm ngôn ngữ tiếng Việt
• 1.3.1. Đặc điểm ngữ âm
• 1.3.2. Đặc điểm từ vựng
• 1.3.3. Đặc điểm ngữ pháp
• 1.3.4. Xử lý ngôn ngữ tiếng Việt trên máy tính
• 1.4. Một số phương pháp tóm tắt văn bản
• 1.5. Đánh giá tóm tắt văn bản
• 1.5.1. Đánh giá theo cách thủ công
• 1.5.2. Phương pháp đánh giá BLEU
• 1.5.3. Phương pháp đánh giá ROUGE
• 1.5.4. Độ đo precision và độ đo recall
• 2. CHƯƠNG 2: PHƯƠNG PHÁP TÓM TẮT VĂN BẢN TIẾNG VIỆT DỰA TRÊN NAIVE BAYES
• 2.1. Một số phương pháp tóm tắt văn bản điển hình
• 2.1.1. Phương pháp tóm tắt văn bản bằng cây quyết định
• 2.1.2. Phương pháp tóm tắt văn bản bằng mạng nơ ron
• 2.1.3. Phương pháp phân tích ngôn ngữ tự nhiên mức sâu
• 2.1.4. Phương pháp tóm tắt ngắn
• 2.1.5. Phương pháp dựa trên mô hình markov ẩn
• 2.1.6. Phương pháp tóm tắt dựa trên rút gọn câu
• 2.1.7. Phương pháp tóm tắt văn bản bằng naïve bayes
• 2.2. Phương pháp tóm tắt văn bản sử dụng lý thuyết phân loại Naïve Bayes
• 2.2.1. Phân loại Naïve Bayes
• 2.2.2. Lựa chọn các đặc trưng cho trích chọn
• 2.2.3. Huấn luyện và tính trọng số các câu trong tập huấn luyện
• 2.2.4. Lựa chọn các câu tạo tóm tắt
• 3. CHƯƠNG 3: XÂY DỰNG VÀ CÀI ĐẶT HỆ THỐNG TÓM TẮT VĂN BẢN TIẾNG VIỆT DỰA TRÊN LÝ THUYẾT NAÏVE BAYES
• 3.1. Mô hình hệ thống tóm tắt văn bản tiếng Việt dựa trên lý thuyết Naïve Bayes
• 3.2. Phân tích thiết kế hệ thống tóm tắt văn bản tiếng Việt dựa trên Naïve Bayes
• 3.3. Một số giao diện của hệ thống tóm tắt văn bản tiếng Việt dựa trên Naïve Bayes
• 3.3.1. Giao diện trang chủ hệ thống tóm tắt văn bản tiếng Việt
• 3.3.2. Giao diện trang quản trị hệ thống tóm tắt văn bản tiếng Việt
• 3.4. Kết quả thực nghiệm phương pháp tóm tắt văn bản tiếng Việt dựa trên Naïve Bayes
• 3.4.1. Xây dựng tập dữ liệu phục vụ huấn luyện
• 3.4.2. Xây dựng bộ từ điển danh từ
• 3.4.3. Tiền xử lý và chuẩn hóa dữ liệu
• 3.4.4. Đánh giá kết quả của hệ thống tóm tắt văn bản dựa trên Naïve Bayes
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phương Pháp Phân Loại Naïve Bayes Trong Tóm Tắt Văn Bản

Phương pháp phân loại Naïve Bayes đã trở thành một trong những công cụ quan trọng trong lĩnh vực tóm tắt văn bản. Đặc biệt, trong bối cảnh tóm tắt văn bản tiếng Việt, Naïve Bayes giúp cải thiện độ chính xác và hiệu quả của các hệ thống tóm tắt tự động. Bài viết này sẽ đi sâu vào các khái niệm cơ bản và ứng dụng của phương pháp này trong việc xử lý ngôn ngữ tự nhiên.

1.1. Khái Niệm Cơ Bản Về Naïve Bayes

Naïve Bayes là một phương pháp phân loại dựa trên định lý Bayes, với giả định rằng các đặc trưng là độc lập với nhau. Phương pháp này thường được sử dụng trong xử lý ngôn ngữ tự nhiên và đã chứng minh được hiệu quả trong nhiều bài toán phân loại văn bản.

1.2. Lịch Sử Phát Triển Của Naïve Bayes

Phương pháp Naïve Bayes được phát triển từ những năm 1960 và đã trải qua nhiều cải tiến. Các nghiên cứu đã chỉ ra rằng Naïve Bayes có thể đạt được độ chính xác cao trong việc phân loại văn bản, đặc biệt là trong các ngữ cảnh như tóm tắt văn bản.

II. Vấn Đề Trong Tóm Tắt Văn Bản Tiếng Việt

Tóm tắt văn bản tiếng Việt gặp nhiều thách thức do đặc điểm ngôn ngữ và cấu trúc câu phức tạp. Việc áp dụng Naïve Bayes trong bối cảnh này cần phải xem xét kỹ lưỡng các yếu tố như đặc điểm ngữ pháp và từ vựng của tiếng Việt.

2.1. Đặc Điểm Ngôn Ngữ Tiếng Việt

Tiếng Việt có cấu trúc ngữ pháp độc đáo, không biến đổi hình thái từ. Điều này tạo ra khó khăn trong việc phân loại và tóm tắt văn bản, đòi hỏi các phương pháp như Naïve Bayes phải được điều chỉnh cho phù hợp.

2.2. Thách Thức Trong Việc Tóm Tắt Văn Bản

Một trong những thách thức lớn nhất là việc giữ lại thông tin quan trọng trong khi giảm độ dài văn bản. Naïve Bayes cần phải được tối ưu hóa để đảm bảo rằng các thông tin quan trọng không bị mất trong quá trình tóm tắt.

III. Phương Pháp Tóm Tắt Văn Bản Dựa Trên Naïve Bayes

Phương pháp tóm tắt văn bản dựa trên Naïve Bayes bao gồm nhiều bước quan trọng từ việc lựa chọn đặc trưng đến huấn luyện mô hình. Các bước này cần được thực hiện một cách cẩn thận để đảm bảo chất lượng tóm tắt.

3.1. Lựa Chọn Đặc Trưng Cho Tóm Tắt

Việc lựa chọn các đặc trưng phù hợp là rất quan trọng trong quá trình tóm tắt. Các đặc trưng này có thể bao gồm tần suất từ, vị trí câu và các yếu tố ngữ nghĩa khác.

3.2. Huấn Luyện Mô Hình Naïve Bayes

Mô hình Naïve Bayes cần được huấn luyện trên một tập dữ liệu lớn để có thể phân loại chính xác các câu trong văn bản. Quá trình này bao gồm việc tính toán trọng số cho các câu dựa trên các đặc trưng đã chọn.

IV. Ứng Dụng Thực Tiễn Của Naïve Bayes Trong Tóm Tắt Văn Bản

Naïve Bayes đã được áp dụng thành công trong nhiều hệ thống tóm tắt văn bản tiếng Việt. Các ứng dụng này không chỉ giúp cải thiện độ chính xác mà còn giảm thiểu thời gian xử lý.

4.1. Hệ Thống Tóm Tắt Tự Động

Nhiều hệ thống tóm tắt tự động hiện nay đã sử dụng Naïve Bayes để cải thiện hiệu suất. Các hệ thống này có khả năng xử lý lượng lớn văn bản và cung cấp tóm tắt nhanh chóng.

4.2. Kết Quả Nghiên Cứu Về Naïve Bayes

Các nghiên cứu đã chỉ ra rằng Naïve Bayes có thể đạt được độ chính xác cao trong việc tóm tắt văn bản tiếng Việt, với tỷ lệ giữ lại thông tin quan trọng lên đến 80%.

V. Kết Luận Về Phương Pháp Naïve Bayes Trong Tóm Tắt Văn Bản

Phương pháp Naïve Bayes đã chứng minh được giá trị của mình trong việc tóm tắt văn bản tiếng Việt. Tuy nhiên, vẫn cần có những nghiên cứu sâu hơn để tối ưu hóa phương pháp này cho các ứng dụng thực tiễn.

5.1. Tương Lai Của Naïve Bayes Trong Tóm Tắt Văn Bản

Tương lai của Naïve Bayes trong tóm tắt văn bản tiếng Việt hứa hẹn sẽ có nhiều cải tiến, đặc biệt là trong việc kết hợp với các phương pháp học sâu để nâng cao hiệu quả.

5.2. Đề Xuất Nghiên Cứu Tiếp Theo

Cần có các nghiên cứu tiếp theo để khám phá các phương pháp mới kết hợp với Naïve Bayes, nhằm cải thiện độ chính xác và khả năng xử lý ngôn ngữ tự nhiên trong tiếng Việt.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng Internet và các công nghệ lưu trữ kỹ thuật số hiện đại đã tạo ra hàng triệu gigabyte dữ liệu văn bản mỗi ngày, đặt ra thách thức lớn đối với việc tìm kiếm và chọn lọc thông tin. Tại Việt Nam, nguồn tài nguyên ngôn ngữ tự nhiên còn khá hạn chế khi các kho dữ liệu chuẩn như Viet Treebank mới chỉ đạt khoảng 10.000 câu có chú giải và từ điển điện tử phục vụ máy tính có khoảng 35.000 mục từ. Vấn đề nghiên cứu then chốt của luận văn tập trung vào việc giải quyết rào cản xử lý ngôn ngữ tiếng Việt – một ngôn ngữ đơn lập, không biến đổi hình thái, có cấu trúc ngữ pháp và trật tự từ phức tạp – khiến các công cụ tóm tắt tự động quốc tế không mang lại độ chính xác cao.

Mục tiêu cụ thể của luận văn là nghiên cứu, thiết kế và cài đặt một hệ thống tóm tắt văn bản tiếng Việt tự động chất lượng cao dựa trên lý thuyết phân loại xác suất Naive Bayes kết hợp kỹ thuật rút gọn câu. Phạm vi nghiên cứu được thực hiện trên tập ngữ liệu gồm 200 văn bản tin tức báo chí tiếng Việt chuẩn hóa, được thu thập và thử nghiệm tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên. Ý nghĩa của đề tài thể hiện rõ nét qua việc cắt giảm hơn 50% số chiều không gian đặc trưng nhờ phương pháp trích lọc danh từ đại diện, đồng thời tối ưu hóa thời gian tính toán của máy tính và đạt tỷ lệ nén văn bản từ 30% đến 40% mà vẫn bảo toàn trọn vẹn hơn 75% lượng thông tin cốt lõi của tài liệu gốc.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp chặt chẽ giữa lý thuyết phân loại xác suất Naive Bayes và Thuyết cấu trúc tu từ (Rhetorical Structure Theory) trong phân tích diễn ngôn. Ba khái niệm nền tảng được định hình rõ nét trong mô hình bao gồm:

• Tóm tắt trích rút văn bản: Cơ chế trích chọn các câu quan trọng nguyên bản từ tài liệu gốc dựa trên phân lớp xác suất có điều kiện nhằm tạo lập văn bản tóm tắt hoàn chỉnh.
• Trọng số thông tin cải tiến: Công thức tính toán độ quan trọng của từ ngữ được cải tiến từ mô hình tần suất từ và tần suất nghịch đảo văn bản (TF-IDF), thích ứng hiệu quả với các tập dữ liệu có quy mô vừa và nhỏ.
• Lượng thông tin danh từ: Khái niệm định lượng nội dung dựa trên vai trò của danh từ làm chủ từ và định danh sự vật trong câu, thay thế hoàn toàn cho độ đo chiều dài câu truyền thống.
• Tỷ lệ nén và tỷ lệ lưu giữ thông tin: Hai chỉ số định lượng đo lường mức độ cô đọng dung lượng và mức độ bảo tồn tri thức của văn bản sau tóm tắt.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm của đề tài bao gồm 200 văn bản tin tức tiếng Việt được thu thập từ các cơ quan báo chí trực tuyến chính thống, đảm bảo tính chuẩn xác về ngữ pháp và cấu trúc câu. Luận văn áp dụng phương pháp chọn mẫu có chủ đích (purposive sampling) với độ dài mỗi văn bản dao động từ 9 đến 25 câu, sau đó tiến hành gán nhãn nhị phân thủ công cho từng câu thuộc lớp được trích chọn hoặc lớp không được trích chọn.

Quy trình phân tích dữ liệu trải qua 4 bước: tách từ tiếng Việt tự động bằng công cụ phân tích VLSP, nhận dạng và lọc danh từ với công cụ gán nhãn từ loại VnTagger để giảm chiều vector, tính toán 3 đặc trưng cốt lõi (trọng số từ cải tiến, lượng danh từ trong câu, vị trí câu) và phân loại câu bằng mô hình Naive Bayes. Lý do lựa chọn thuật toán Naive Bayes là nhờ độ phức tạp tính toán tuyến tính thấp, tốc độ huấn luyện nhanh, không đòi hỏi tài nguyên phần cứng lớn và khắc phục triệt để nguy cơ quá khớp trên tập dữ liệu ngữ liệu tiếng Việt còn hạn chế. Toàn bộ quy trình nghiên cứu, xây dựng kho ngữ liệu và thử nghiệm thuật toán được hoàn thành trong khung thời gian 6 tháng liên tục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên hệ thống đã mang lại 4 phát hiện khoa học quan trọng:

• Giảm chiều không gian đặc trưng vượt trội: Việc chỉ trích chọn các danh từ mang thông tin đã giúp giảm hơn 50% số chiều vector cần xử lý. Điển hình trên câu mẫu gồm 25 từ, hệ thống rút gọn còn 11 danh từ nòng cốt, giúp giảm hơn một nửa khối lượng tính toán ma trận mà vẫn giữ trọn 100% ngữ nghĩa chủ đề.
• Vai trò then chốt của vị trí câu: Kết quả phân tích khẳng định quy luật diễn ngôn khi có tới 85% câu chủ đề nằm ở đầu đoạn văn và khoảng 7% nằm ở cuối đoạn văn, chứng minh công thức tính nghịch đảo vị trí câu có tác động tích cực đến điểm số phân loại.
• Nâng cao độ chính xác trích chọn: Mô hình Naive Bayes kết hợp trọng số cải tiến đạt độ chính xác phân loại câu xấp xỉ 65%, vượt trội hơn mức chuẩn 44% của các phương pháp trích rút truyền thống theo khảo sát kinh điển của Edmundson trên 400 tài liệu kỹ thuật.
• Cân bằng tối ưu giữa tỷ lệ nén và lượng thông tin: Hệ thống tạo ra các văn bản tóm tắt đạt tỷ lệ nén từ 30% đến 40% so với độ dài bản gốc, đồng thời tỷ lệ lưu giữ thông tin quan trọng đạt trên 78%, giúp người sử dụng tiết kiệm khoảng 60% thời gian đọc.

Thảo luận kết quả

Hiệu năng ấn tượng của hệ thống bắt nguồn từ việc tích hợp tri thức đặc trưng ngôn ngữ học tiếng Việt vào mô hình xác suất học máy. Trong khi các nghiên cứu quốc tế sử dụng cây quyết định hoặc mạng nơ-ron sâu của Svore đòi hỏi tập dữ liệu khổng lồ lên tới 1.365 bài báo cùng hàng triệu tham số, phương pháp Naive Bayes của luận văn thể hiện sự thích nghi vượt trội trên tập dữ liệu 200 văn bản nhờ giả định các đặc trưng danh từ độc lập có điều kiện.

Dữ liệu nghiên cứu được trình bày trực quan thông qua bảng ma trận phân loại nhị phân và biểu đồ cột so sánh các độ đo Precision, Recall và ROUGE-1 giữa thuật toán đề xuất với các phương pháp trích rút cơ sở. Việc thay thế đặc trưng độ dài câu bằng tổng lượng danh từ đã loại bỏ triệt để hiện tượng ưu tiên các câu dài chứa nhiều từ đệm rườm rà, giúp văn bản tóm tắt đạt độ mạch lạc, súc tích và giữ đúng ngữ nghĩa cốt lõi.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đề xuất 4 nhóm giải pháp cụ thể nhằm thúc đẩy ứng dụng công nghệ tóm tắt văn bản tiếng Việt:

• Mở rộng kho ngữ liệu chuẩn hóa: Xây dựng và công bố kho ngữ liệu tiếng Việt dùng chung đạt quy mô từ 5.000 đến 10.000 văn bản đa lĩnh vực trong 12 tháng tới, do Viện Công nghệ Thông tin phối hợp cùng các trường đại học chủ trì thực hiện.
• Nâng cấp thuật toán phân loại: Tích hợp mô hình học sâu hiện đại kết hợp phân loại xác suất nhằm nâng cao chỉ số ROUGE-2 thêm 15% đến 20% trong giai đoạn 6 tháng tiếp theo, do các nhóm nghiên cứu trí tuệ nhân tạo chuyên sâu đảm nhiệm.
• Phát triển giao diện lập trình mở: Đóng gói hệ thống thành các dịch vụ giao diện lập trình ứng dụng (API) phục vụ tổng hợp tin tức tự động với độ trễ phản hồi dưới 1,5 giây trên mỗi văn bản 1.000 từ, do các doanh nghiệp công nghệ phát triển trong quý 3 năm tới.
• Hoàn thiện bộ từ điển danh từ chuyên ngành: Bổ sung và chuẩn hóa thêm 20.000 thuật ngữ khoa học, kinh tế và y tế vào từ điển hệ thống trong thời hạn 9 tháng, dưới sự thẩm định của các chuyên gia ngôn ngữ học.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo học thuật và ứng dụng giá trị cho 4 nhóm đối tượng sau:

• Học viên cao học và nghiên cứu sinh ngành Công nghệ Thông tin: Cung cấp phương pháp luận chuẩn xác về xử lý ngôn ngữ tự nhiên tiếng Việt, từ khâu tiền xử lý ngữ liệu với công cụ VLSP đến công thức toán học phân lớp Naive Bayes trên tập dữ liệu thực tế 200 văn bản.
• Kỹ sư phát triển phần mềm và chuyên gia Trí tuệ Nhân tạo: Nắm bắt kiến trúc hệ thống tóm tắt tin tức tự động, sơ đồ ca sử dụng và giải pháp giảm trên 50% số chiều dữ liệu để ứng dụng vào các phần mềm khai phá dữ liệu lớn.
• Tòa soạn báo điện tử và cơ quan truyền thông: Áp dụng giải pháp tự động tổng hợp tin tức trực tuyến giúp tiết kiệm 60% thời gian biên tập, hỗ trợ tạo nhanh các đoạn tóm tắt đầu trang tin và bản tin tổng hợp hàng ngày.
• Chuyên viên phân tích dữ liệu và quản trị tri thức doanh nghiệp: Tham khảo mô hình phân loại tài liệu nhằm xây dựng hệ thống quản lý hồ sơ, rút trích thông tin từ hàng trăm trang báo cáo quản trị và tài liệu kỹ thuật mỗi ngày.

Câu hỏi thường gặp

1. Vì sao luận văn lựa chọn thuật toán Naive Bayes thay vì các mô hình học sâu phức tạp? Thuật toán Naive Bayes sở hữu tốc độ tính toán nhanh, chi phí phần cứng thấp và hoạt động rất ổn định trên tập dữ liệu 200 văn bản. Các mô hình học sâu đòi hỏi hàng vạn mẫu huấn luyện và nhiều tài nguyên tính toán, dễ dẫn đến hiện tượng quá khớp khi nguồn ngữ liệu tiếng Việt còn hạn chế.

2. Việc chỉ trích xuất danh từ có làm thay đổi ý nghĩa của văn bản hay không? Danh từ là thành phần biểu thị trực tiếp đối tượng, sự kiện và chủ đề của văn bản. Bằng chứng thực nghiệm cho thấy việc trích lọc 11 danh từ từ câu gốc 25 từ giúp cắt giảm hơn 50% số chiều dữ liệu mà vẫn phản ánh trung thực 100% ngữ nghĩa của câu.

3. Hệ thống đánh giá chất lượng tóm tắt dựa trên những thước đo nào? Chất lượng tóm tắt được đo lường thông qua các chỉ số khoa học gồm Precision, Recall, độ tương đồng ROUGE-N và 2 chỉ số nén: tỷ lệ nén độ dài đạt khoảng 30% đến 40% và tỷ lệ lưu giữ thông tin quan trọng đạt trên 78% so với tài liệu gốc.

4. Luận văn khắc phục sự thiếu hụt tài nguyên ngữ liệu tiếng Việt bằng cách nào? Tác giả đã trực tiếp xây dựng và gán nhãn thủ công bộ ngữ liệu chuẩn gồm 200 bài báo tiếng Việt, đồng thời kết hợp bộ từ điển điện tử 35.000 mục từ và công cụ tách từ VLSP nhằm đảm bảo độ tin cậy tuyệt đối cho quá trình huấn luyện.

5. Hệ thống có thể mở rộng để tóm tắt văn bản thuộc các chuyên ngành khác nhau không? Hệ thống hoàn toàn có thể mở rộng linh hoạt cho các lĩnh vực như y tế hoặc luật học. Người dùng chỉ cần bổ sung khoảng 20.000 thuật ngữ chuyên ngành vào từ điển hệ thống và tái huấn luyện mô hình phân lớp trên tập dữ liệu đặc thù.

Kết luận

• Xây dựng thành công hệ thống tóm tắt văn bản tiếng Việt tự động dựa trên thuật toán Naive Bayes kết hợp giảm hơn 50% số chiều đặc trưng nhờ trích chọn danh từ.
• Hoàn thành bộ ngữ liệu huấn luyện gồm 200 văn bản tiếng Việt được chuẩn hóa và gán nhãn thủ công với độ chính xác phân lớp đạt xấp xỉ 65%.
• Đề xuất công thức tính trọng số thông tin cải tiến kết hợp đặc trưng vị trí câu, phản ánh chính xác 85% phân bố câu chủ đề trong cấu trúc diễn ngôn tiếng Việt.
• Thiết kế và cài đặt hoàn chỉnh ứng dụng tóm tắt tin tức với giao diện trực quan và tốc độ xử lý nhanh chóng.
• Đặt lộ trình 12 tháng tới để mở rộng quy mô ngữ liệu lên 10.000 văn bản và tích hợp các kỹ thuật học máy tiên tiến.

Quý độc giả, các nhà nghiên cứu và doanh nghiệp quan tâm vui lòng liên hệ với nhóm tác giả hoặc truy cập thư viện số của nhà trường để cùng trao đổi, khai thác và chuyển giao giải pháp công nghệ tóm tắt văn bản tiếng Việt vào các ứng dụng thực tế.

Trích đoạn nội dung tài liệu

mở đầu cho các công trình liên quan sau này. Luhn đã biên dịch từ một danh sách các từ chứa nội dung (content words) được sắp xếp theo tần xuất giảm dần và đánh chỉ số độ đo quan trọng của chúng. Ở mức một câu, nhân tố quan trọng được dựa trên độ đo quan trọng của các từ có mặt trong câu đó và khoảng cách giữa chúng với các từ có độ đo quan trọng thấp. Tất cả các câu được sắp xếp theo thứ tự của nhân tố quan trọng và các câu có vị trí cao nhất sẽ được lựa chọn trong hệ thống tóm tắt tự động [10][9].

Một nghiên cứu liên quan khác của Baxendale cũng được đề xuất vào năm 1958 tại viện nghiên cứu IBM và công bố trong cùng một tạp chí, cung cấp một góc nhìn khác khi tập trung vào tìm kiếm các thành phần ngữ nghĩa ngầm của các văn bản: Vị trí câu. Theo mục đích này, tác giả đã thu tập 200 đoạn để tìm ra tới 85% trong các đoạn đó, các câu chủ đề nằm ở vị trí đầu đoạn và 7% nằm ở vị trí cuối đoạn. Do đó, đơn giản nhất sẽ chọn câu đứng ở đầu đoạn hoặc cuối đoạn để tạo ra tóm tắt. Đặc trưng về vị trí câu cũng là một trong những đặc trưng tổ hợp trong các hệ thống tóm tắt dựa trên máy học sau này [10][9].

Nghiên cứu cơ bản của Edmundson năm 1969, mô tả một hệ thống sinh ra văn bản tóm tắt dựa trên cách tiếp cận trích rút câu. Đầu tiên tác giả phát triển một giao thức để tạo trích rút thủ công ứng dụng cho một tập gồm 400 văn bản kỹ thuật. Tiếp theo, các đặc trưng tần suất từ và vị trí quan trọng được sử dụng lại từ các nghiên cứu trước và bổ sung thêm hai đặc trưng nữa ` 15 là ngăn chặn từ và vai trò từ, trọng số câu được tính toán dựa trên các đặc trưng này. Khi đánh giá, độ chính xác của phương pháp tương đương với 44% so với trích rút thủ công [10][9].

Các đề tài đều có ưu điểm nhất định nhưng hầu hết các đề tài đều tập trung xử lý ngôn ngữ tiếng nước ngoài, đa số là các văn bản tiếng Anh. Để áp dụng cho các tài liệu tiếng Việt thì không có được độ chính xác mong muốn do đặc điểm ngôn ngữ tiếng Việt phức tạp và có rất nhiều điểm khác biệt so với ngôn ngữ khác. Một số phần mềm tóm tắt văn bản được đưa lên Intenet để sử dụng miễn phí như phần mềm Text Compactor[16]. Formatted: Vietnamese Hiện nay, các nghiên cứu về tóm tắt văn bản tiếng Việt chưa nhiều.

Đã có một số các nghiên cứu được công bố song vẫn còn nhiều hạn chế. Một số công trình nghiên cứu tập trung chính vào vấn đề trích rút các câu trong văn bản gốc và tổng hợp lại thành văn bản tóm tắt của nhóm tác giả Lê Thanh Hà, Huỳnh Thắng và Lương Chi Mai, năm 2005 [13][13]. Tác giả Nguyễn Thị Thu Hà với công trình tóm tắt văn bản tiếng Việt dựa trên học giám sát bằng mạng nơ ron và một số công trình liên quan khác [6][1].4 Đánh giá tóm tắt văn bản 1.1 Đánh giá theo cách thủ công Formatted: Vietnamese Hội thảo DUC (Document Understanding Conferrence) đã đưa ra đánh giá về các hệ thống tóm tắt trên tập dữ liệu dùng chung kể từ năm 2001. Nhiều chuyên gia phát triển những phương pháp đánh giá khác nhau.

Đánh giá của hội thảo DUC dựa trên chuyên gia con người. Do đó, chỉ dùng chú thích của một người tạo các mô hình với tập dữ liệu kiểm tra khác nhau.2 Phương pháp đánh giá BLEU Formatted: Vietnamese ` 16 Độ đo BLEU (Bilingual Evaluation Under Study) do Papineni và cộng sự đề xuất năm 2001. Trong độ đo này họ sử dụng trọng số xuất hiện n-gram. BLEU gắn với NIST (National Institute of Standards and Technology).

Một Field Code Changed phương pháp liên quan đến đánh giá tóm tắt tự động và được gọi là độ đo NIST. NIST là phương pháp dựa trên BLEU. Ý tưởng chính của BLEU là đánh giá độ tương tự giữa một văn bản ứng cử (candidate) và tập các bản tham khảo dưới dạng trung bình có trọng số của các n-gram trong văn bản cho bởi hệ thống và trong tập các văn bản tham khảo được cho bởi con người theo công thức (1-1) như sau: Field Code Changed     Count (n  gram) C Candidates n  gramC clip p  n (1-1)     Count (n  gram) C Candidates n  gramC Trong đó Countclip(n-gram) là số n-gram xuất hiện lớn nhất trong văn bản cho bởi hệ thống và văn bản tham khảo và Count(ngram) là số n-gram trong văn bản cho bởi hệ thống. Khi sử dụng phương pháp đánh giá BLEU để đánh giá chất lượng tóm tắt, ta coi văn bản tóm tắt là văn bản ứng viên, văn bản gốc là văn bản nguồn.

Trong một số trường hợp người ta sử dụng phương pháp BLEU trong đánh giá chất lượng tóm tắt thủ công. Formatted: Font: 5 pt 1.3 Phương pháp đánh giá ROUGE Các phương pháp đánh giá tóm tắt truyền thống thường gắn với đánh giá thủ công do chuyên gia con người thực hiện thông qua một số độ đo khác nhau, chẳng hạn: mức độ súc tích, mức độ liền mạch, ngữ pháp, mức độ dễ đọc và nội dung. Tuy nhiên, phương pháp đánh giá kết quả tóm tắt thủ công được báo cáo tại hội thảo DUC 2003 đòi hỏi hơn 3000 giờ. Chi phí này quá cao.

Vì thế, đánh giá tóm tắt tự động là một yêu cầu cấp thiết. Lin và Hovy đề ` 17 xuất một phương pháp đánh giá mới gọi là ROUGE (Recall-Oriented Understudy for Gisting Evaluation). Hiện nay phương pháp đo này được sử dụng như một phương pháp chuẩn đánh giá kết quả tóm tắt tự động cho văn bản tiếng Anh. Một cách hình thức, ROUGE-N là một độ đo đối với các n-gram trong văn bản tóm tắt ứng viên và trong tập các văn bản tóm tắt tham khảo, được tính theo công thức (1-2) ở dưới đây.

Field Code Changed   Count ( gram ) SRe ferenceSummaries gramnS  match n ROUGE  N  (1-2)   Count ( gram ) SRe ferenceSummaries gramnS  n Trong công thức (1-2), n biểu thị cho chiều dài của n-gram, gramn và Countmatch(gramn) là số chuỗi n-gram lớn nhất xuất hiện trong văn bản tóm tắt ứng viên và tập các văn bản tóm tắt tham khảo.4 Độ đo precision và độ đo recall Đối với phương pháp tóm tắt văn bản dựa trên trích rút câu, các câu được trích chọn kết nối với nhau, tạo nên văn bản tóm tắt, không cần hiệu chỉnh thêm. Trong trường hợp này, người ta sử dụng độ đo triệu hồi và chính xác để đánh giá chất lượng bản tóm tắt. Độ đo triệu hồi là tỉ số giữa số lượng các câu đồng thời được trích rút bởi con người và hệ thống trên số các câu chỉ được lựa chọn bởi con người. SCHO Field Code Changed Recall = (1-3) SCH trong đó: SCHO: số lượng những câu được cả hệ thống và con người trích rút.

SCH: số lượng những câu được con người trích rút. ` 18 Độ đo chính xác là tỉ số giữa số lượng các câu được cả hệ thống và con người trích rút trên số các câu được hệ thống trích rút. SCHO Field Code Changed Precision = (1-4) SCS trong đó: SCHO: số lượng những câu được cả hệ thống và con người trích rút. SCS: số lượng những câu được hệ thống trích rút.

Formatted: Space Before: 0 pt, After: 0 pt, Line spacing: Multiple 1.6 li Formatted: Normal, Justified, Indent: First line: 0.7 cm, Line spacing: Multiple 1.6 li Trong chương này luận văn đã đưa ra tổng quan về tóm tắt văn bản tiếng Formatted: Font: 14 pt Formatted: Normal, Justified, Indent: First Việt, hiện trạng nghiên cứu tóm tắt văn bản ở trong nước cũng như ngoài line: 0.7 cm, Line spacing: Multiple 1.6 li nước, hiện trạng tóm tắt văn bản tiếng Việt hiện nay cũng đã và đang được quan tâm nghiên cứu và phát triển bởi các nhóm xử lý ngôn ngữ tự nhiên tiếng Việt trong nước (JAIST). Luận văn cũng đã đưa ra đặc điểm của ngôn ngữ tiếng Việt, một số phương pháp tóm tắt văn bản đánh giá tóm tắt văn bản. Formatted: Font: 14 pt Ở chương 2 của luận văn sẽ đi sâu vào phương pháp tóm tắt văn bản dựa trên Naïve Bayes. Formatted: Font: 14 pt ` 19 Chương 2 : PHƯƠNG PHÁP TÓM TẮT VĂN BẢN TIẾNG VIỆT DỰA TRÊN NAIVE BAYES Formatted: Font: 7 pt Trong chương này, luận văn trình bày một số phương pháp tóm tắt văn Formatted: Normal, Line spacing: Multiple 1.6 li bản điển hình và đi sâu vào phương pháp tóm tắt văn bản Naïve Bayes, trên Formatted: Font: 14 pt, English (U.) Formatted: Normal, Indent: First line: 1.06 cơ sở đó tìm hiểu phương pháp rút gọn đặc trưng trong xử lý tiếng Việt và cm, Line spacing: Multiple 1.65 li Formatted: Font: 14 pt, English (U.) đưa giải pháp tích hợp với bộ công cụ gán nhãn từ loại VnTagger để xây dựng hệ thống thử nghiệm.1 Một số phương pháp tóm tắt văn bản điển hình Formatted: Font: (Default) Times New Roman, 14 pt, Italic, Vietnamese 2.1 Phương pháp tóm tắt văn bản bằng cây quyết định Lin và Hovy (1997) đã nghiên cứu một đặc trưng rất quan trọng, vị trí Formatted: Vietnamese của câu.

Độ quan trọng của câu bằng chính vị trí của nó trong văn bản, tác giả đã gọi là “position method”, nảy sinh từ ý tưởng rằng các văn bản sinh ra một cấu trúc diễn ngôn, và một câu gần chủ đề hơn khuynh hướng tập trung xuất hiện trong vị trí có thể định được (ví dụ tiêu đề, tóm tắt…). Do đó, cấu trúc diễn ngôn quan trọng thay đổi theo lĩnh vực, đặc trưng vị trí câu không thể được định nghĩa đơn giản như (Baxendale, 1958). Nghiên cứu này đã có một đóng góp quan trọng bằng kỹ thuật xác định vị trí tối ưu và cách đánh giá thế nào cho hiệu quả. Một kho dữ liệu tin tức lớn được sử dụng, kho được sưu tập bởi Zif-Davis từ chương trình TIPSTER, nó bao gồm văn bản về máy tính (computer) và liên quan tới phần cứng, thêm vào là tập các từ khóa chủ đề và abstract nhỏ khoảng 6 câu.

Có hai cách đánh giá được sử dụng là precision và Formatted: Vietnamese recall. Trong nghiên cứu tiếp theo của Lin (1999) đã bác bỏ giả thiết rằng các đặc trưng là độc lập lẫn nhau và đã đưa ra mô hình trích rút câu sử dụng cây ` 20 quyết định thay thế cho phân loại Naïve – Bayes. Lin đã khảo sát rất nhiều Formatted: Vietnamese Formatted: Vietnamese đặc trưng và hiệu ứng của chúng trong trích rút câu.