Tóm Tắt Văn Bản Tiếng Việt Dựa Vào Trích Xuất Câu

Chuyên khảo Tóm tắt văn bản tiếng việt dựa vào trích xuất câu phân tích chuyên sâu các khía cạnh quan trọng trong lĩnh vực hiện nay

• Tác giả: Nông Tiến Công
• Người hướng dẫn: PGS-TS Đoàn Văn Ban
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Tóm Tắt Văn Bản Tiếng Việt Dựa Vào Trích Xuất Câu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Lạng Sơn

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC HÌNH
• DANH MỤC CÁC BẢNG
• MỞ ĐẦU
• 1. Chương 1: TÓM TẮT VĂN BẢN TIẾNG VIỆT
• 1.1. Bài toán tóm tắt văn bản
• 1.2. Phân loại tóm tắt
• 1.3. Mô hình tóm tắt văn bản và một số phương pháp tiếp cận
• 1.4. Các phương pháp đánh giá
• 1.4.1. Các phương pháp đánh giá trong
• 1.4.2. Các phương pháp đánh giá ngoài
• 1.5. Tóm tắt văn bản tiếng Việt dựa vào trích xuất câu và một số vấn đề liên quan
• 1.5.1. Đặc điểm ngôn ngữ trong văn bản tiếng Việt
• 1.5.2. Một số hướng tiếp cận bài toán tóm tắt văn bản tiếng Việt
• 1.5.3. Mô hình tóm tắt văn bản tiếng Việt dựa vào trích xuất câu
• 1.6. Tổng kết chương
• 2. Chương 2: PHƯƠNG PHÁP TÓM TẮT VĂN BẢN DỰA TRÊN ĐỘ TƯƠNG ĐỒNG CÂU
• 2.1. Một số khái niệm và phương pháp tính độ tương đồng câu
• 2.1.1. Độ tương đồng ngữ nghĩa và phương pháp trích xuất câu dựa trên độ tương đồng ngữ nghĩa câu
• 2.1.2. Tính độ tương đồng theo độ đo Cosine
• 2.1.3. Phương pháp tính độ tương đồng câu dựa vào chủ đề ẩn
• 2.1.4. Phương pháp tính độ tương đồng câu dựa vào mạng Wikipedia
• 2.2. Mô hình tóm tắt văn bản tiếng Việt dựa trên trích xuất câu quan trọng theo phương pháp tính độ tương đồng câu
• 2.2.1. Giai đoạn tiền xử lý
• 2.2.2. Giai tạo danh sách câu khả dụng
• 2.2.3. Giai đoạn sinh văn bản tóm tắt
• 2.3. Tổng kết chương
• 3. Chương 3: THỰC NGHIỆM MÔ HÌNH TÓM TẮT VĂN BẢN TIẾNG VIỆT
• 3.1. Môi trường thực nghiệm
• 3.2. Chương trình tóm tắt văn bản
• 3.3. Tiến hành thực nghiệm
• 3.3.1. Cơ sở dữ liệu tổng thể
• 3.3.2. Mô hình suy luận chủ đề ẩn
• 3.3.3. Dữ liệu thực nghiệm
• 3.4. Đánh giá độ chính xác của mô hình tóm tắt văn bản
• 3.5. Tổng kết chương
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tóm Tắt Văn Bản Tiếng Việt Dựa Vào Trích Xuất Câu

Tóm tắt văn bản tiếng Việt dựa vào trích xuất câu là một lĩnh vực nghiên cứu quan trọng trong khoa học máy tính. Mục tiêu chính của nó là rút gọn nội dung văn bản mà vẫn giữ lại các thông tin quan trọng. Việc này không chỉ giúp người đọc tiết kiệm thời gian mà còn nâng cao hiệu quả trong việc tiếp nhận thông tin. Theo nghiên cứu, tóm tắt văn bản tự động có thể áp dụng trong nhiều lĩnh vực như báo chí, giáo dục và nghiên cứu khoa học.

1.1. Định Nghĩa Tóm Tắt Văn Bản Tiếng Việt

Tóm tắt văn bản tiếng Việt là quá trình rút gọn nội dung của văn bản gốc, giữ lại các ý chính và thông tin quan trọng. Điều này giúp người đọc dễ dàng nắm bắt nội dung mà không cần đọc toàn bộ văn bản.

1.2. Lợi Ích Của Tóm Tắt Văn Bản

Tóm tắt văn bản mang lại nhiều lợi ích như tiết kiệm thời gian, tăng cường khả năng tiếp nhận thông tin và hỗ trợ trong việc ra quyết định. Nó cũng giúp người dùng dễ dàng tìm kiếm thông tin cần thiết trong một khối lượng lớn dữ liệu.

II. Thách Thức Trong Việc Tóm Tắt Văn Bản Tiếng Việt

Việc tóm tắt văn bản tiếng Việt gặp phải nhiều thách thức do đặc điểm ngôn ngữ và cấu trúc câu. Ngôn ngữ tiếng Việt có nhiều từ đồng nghĩa, từ trái nghĩa và các cấu trúc ngữ pháp phức tạp. Điều này làm cho việc xác định ý chính và thông tin quan trọng trở nên khó khăn hơn.

2.1. Đặc Điểm Ngôn Ngữ Tiếng Việt

Tiếng Việt có nhiều từ đồng âm và từ đa nghĩa, điều này gây khó khăn trong việc xác định ý nghĩa chính xác của câu. Các nhà nghiên cứu cần phát triển các phương pháp tóm tắt phù hợp với đặc điểm ngôn ngữ này.

2.2. Khó Khăn Trong Việc Xác Định Ý Chính

Việc xác định ý chính trong văn bản tiếng Việt thường gặp khó khăn do cấu trúc câu phức tạp và sự đa dạng trong cách diễn đạt. Điều này đòi hỏi các phương pháp tóm tắt phải có khả năng phân tích ngữ nghĩa sâu sắc.

III. Phương Pháp Tóm Tắt Văn Bản Dựa Vào Trích Xuất Câu

Có nhiều phương pháp tóm tắt văn bản dựa vào trích xuất câu, trong đó các phương pháp thống kê và cấu trúc được sử dụng phổ biến. Các phương pháp này giúp xác định các câu quan trọng trong văn bản gốc để tạo ra bản tóm tắt hiệu quả.

3.1. Phương Pháp Thống Kê

Phương pháp thống kê sử dụng các số liệu về tần suất từ và vị trí của câu trong văn bản để xác định độ quan trọng. Các thuật toán như tf-idf thường được áp dụng để đánh giá mức độ nổi bật của các câu.

3.2. Phương Pháp Cấu Trúc

Phương pháp cấu trúc dựa trên mối quan hệ ngữ nghĩa và cú pháp giữa các câu. Nó giúp xác định các đơn vị ngữ liệu quan trọng dựa trên sự liên kết giữa các thành phần trong văn bản.

IV. Ứng Dụng Thực Tiễn Của Tóm Tắt Văn Bản

Tóm tắt văn bản tự động có nhiều ứng dụng thực tiễn trong các lĩnh vực như báo chí, giáo dục và nghiên cứu. Nó giúp người dùng nhanh chóng tiếp cận thông tin quan trọng mà không cần phải đọc toàn bộ văn bản.

4.1. Tóm Tắt Tin Tức

Trong lĩnh vực báo chí, tóm tắt tin tức giúp người đọc nhanh chóng nắm bắt các sự kiện quan trọng mà không cần đọc toàn bộ bài viết. Điều này rất hữu ích trong thời đại thông tin hiện nay.

4.2. Tóm Tắt Kết Quả Nghiên Cứu

Trong nghiên cứu khoa học, tóm tắt kết quả giúp các nhà nghiên cứu nhanh chóng hiểu được các phát hiện quan trọng mà không cần phải đọc toàn bộ tài liệu. Điều này thúc đẩy sự phát triển của khoa học và công nghệ.

V. Kết Luận Về Tóm Tắt Văn Bản Tiếng Việt

Tóm tắt văn bản tiếng Việt dựa vào trích xuất câu là một lĩnh vực nghiên cứu quan trọng với nhiều thách thức và cơ hội. Việc phát triển các phương pháp tóm tắt hiệu quả sẽ giúp nâng cao khả năng tiếp cận thông tin cho người dùng.

5.1. Tương Lai Của Tóm Tắt Văn Bản

Tương lai của tóm tắt văn bản tiếng Việt sẽ phụ thuộc vào sự phát triển của công nghệ và các phương pháp mới trong lĩnh vực xử lý ngôn ngữ tự nhiên. Các nghiên cứu tiếp theo cần tập trung vào việc cải thiện độ chính xác và hiệu quả của các mô hình tóm tắt.

5.2. Khuyến Nghị Nghiên Cứu Thêm

Cần có thêm nhiều nghiên cứu về tóm tắt văn bản tiếng Việt để phát triển các phương pháp mới và cải thiện các mô hình hiện có. Điều này sẽ giúp nâng cao chất lượng tóm tắt và đáp ứng nhu cầu ngày càng cao của người dùng.

Nội dung chính

Tổng quan nghiên cứu

Theo thống kê từ Tập đoàn Oracle, hiện nay có hơn 80% dữ liệu số trên toàn cầu tồn tại dưới dạng văn bản phi cấu trúc. Sự bùng nổ của mạng Internet và các trang thông tin điện tử khiến lưu lượng tin tức thời sự gia tăng với tốc độ chóng mặt, gây ra tình trạng quá tải thông tin đối với người dùng. Trước thách thức đó, việc khai phá dữ liệu và tự động rút gọn nội dung trở thành một nhiệm vụ cấp thiết trong ngành Khoa học máy tính. Tuy nhiên, việc áp dụng các công cụ xử lý ngôn ngữ tự nhiên tiêu chuẩn cho tiếng Việt gặp nhiều rào cản lớn do đặc trưng loại hình ngôn ngữ đơn lập, ranh giới từ không phân tách bằng khoảng trắng, hiện tượng đồng âm, đa nghĩa và sự tồn tại của hơn 14 bảng mã ký tự khác nhau trong lịch sử số hóa.

Nghiên cứu của học viên Nông Tiến Công với đề tài tóm tắt văn bản tiếng Việt dựa vào trích xuất câu được triển khai nhằm giải quyết bài toán cốt lõi: tự động xây dựng bản tóm tắt ngắn gọn, giữ trọn vẹn ý chính và loại bỏ tối đa các câu trùng lặp ngữ nghĩa. Mục tiêu cụ thể của luận văn là thiết kế quy trình tiền xử lý chuyên sâu cho tiếng Việt, kết hợp độ đo không gian vector truyền thống với mô hình phân tích chủ đề ẩn để xác định chính xác độ quan trọng của từng câu. Đề tài được thực hiện tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên, hoàn thành vào năm 2018 dưới sự hướng dẫn khoa học của Phó Giáo sư, Tiến sĩ Đoàn Văn Ban. Ý nghĩa thực tiễn của công trình được chứng minh qua việc tối ưu hóa tỷ lệ nén văn bản, đạt độ chính xác trung bình 73,8% ở mức nén 30%, vượt trội 29,0% so với giải pháp tóm tắt thương mại của Microsoft Word 2003, mở ra giải pháp tự động hóa hiệu quả cho các cổng thông tin điện tử và hệ thống tìm kiếm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng nền tảng dựa trên lý thuyết tóm tắt văn bản tự động của Inderjeet Mani và Dragomir Radev, phân định rõ hai hướng tiếp cận chính: tóm tắt tóm lược và tóm tắt trích xuất. Trong đó, tóm tắt trích xuất tập trung lựa chọn những câu nguyên bản có dung lượng thông tin cao nhất mà vẫn đảm bảo 3 tiêu chuẩn cốt lõi: bảo toàn nội dung, tính ngắn gọn và độ cố kết mạch lạc.

Khung lý thuyết của nghiên cứu tích hợp các mô hình toán học và ngữ nghĩa chuyên sâu:

• Mô hình không gian vector và độ đo Cosine: Biểu diễn mỗi câu thành một vector đặc trưng dựa trên tần suất xuất hiện của từ vựng, đo lường sự tương đồng bề mặt văn bản qua góc giữa hai vector.
• Mô hình phân bổ Dirichlet ẩn: Áp dụng lý thuyết phân tích chủ đề ẩn không giám sát nhằm biểu diễn văn bản dưới dạng phân phối xác suất trên một tập hợp các chủ đề tiềm ẩn, giúp giải quyết triệt để vấn đề từ đồng nghĩa và biến thể ngữ cảnh.
• Hàm tương đồng ngữ nghĩa tổ hợp: Kết hợp tuyến tính giữa độ đo tần suất từ và độ đo phân phối xác suất chủ đề ẩn thông qua một hằng số trộn thực nghiệm, gán trọng số định lượng cho từng câu so với toàn bộ tài liệu gốc.
• Khái niệm danh sách câu khả dụng: Cơ chế lọc thông minh loại bỏ các câu có độ tương đồng ngữ nghĩa vượt ngưỡng cho phép, ngăn chặn hiện tượng lặp ý trong bản tóm tắt cuối cùng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp chọn mẫu phân tầng có chủ đích trên nguồn dữ liệu ngữ liệu tiếng Việt quy mô lớn. Tập dữ liệu tổng thể dùng để huấn luyện mô hình chủ đề ẩn bao gồm 150 bài báo chuyên sâu thuộc lĩnh vực giáo dục trên Cổng thông tin Bộ Giáo dục và Đào tạo cùng tệp ngữ liệu mở chứa khoảng 650.000 câu trích xuất từ 10.000 bài báo trên báo điện tử VietnamNet. Quá trình tiền xử lý và huấn luyện phân tích 200 chủ đề ẩn được thực thi liên tục trong 22 giờ chạy máy, tạo ra bản đồ từ vựng gồm 113.833 mục từ, tệp lọc 1.933 từ dừng và 26 ký tự vô ích.

Tập dữ liệu thực nghiệm kiểm thử được chọn lọc gồm 30 bài báo thuộc 6 lĩnh vực thời sự: Giáo dục, Kinh doanh, Du lịch, Khoa học, Thể thao và Pháp luật, mỗi lĩnh vực gồm 5 bài viết hoàn chỉnh. Phương pháp phân tích kết hợp công cụ tách từ vnTokenizer chuẩn hóa bảng mã Unicode UTF-8 và thư viện JGibbsLDA nhằm suy luận phân phối xác suất chủ đề. Lý do lựa chọn phương pháp tổ hợp này là vì tiếng Việt có trật tự từ nghiêm ngặt và nhiều hư từ, nếu chỉ áp dụng thống kê tần suất từ đơn thuần thì độ chính xác đo lường sự tương đồng giữa hai câu chỉ đạt mức thấp khoảng 0,15, trong khi việc bổ sung chủ đề ẩn nâng độ tương đồng ngữ nghĩa lên tới 0,86. Toàn bộ chương trình thực nghiệm được lập trình độc lập trên môi trường phát triển NetBeans IDE 8.1, phục vụ công tác đánh giá đối sánh tự động.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử thực nghiệm trên 30 văn bản với các tỷ lệ nén 10%, 20% và 30% đã mang lại những phát hiện quan trọng:

• Thứ nhất, phương pháp tổ hợp chứng minh tính ưu việt rõ rệt so với các phương pháp truyền thống. Tại tỷ lệ nén 30%, mô hình tổ hợp đạt độ chính xác trung bình 73,8%, cao hơn 4,0% so với phương pháp tần số từ đơn thuần (69,8%) và bỏ xa công cụ Microsoft Word 2003 với mức chênh lệch lên đến 29,0% (công cụ của Microsoft chỉ đạt 44,8%).
• Thứ hai, độ chính xác của bản tóm tắt tăng tỷ lệ thuận với mức nén văn bản. Ở tỷ lệ nén 10%, phương pháp tổ hợp đạt độ chính xác trung bình 27,0%; khi nâng tỷ lệ nén lên 20%, độ chính xác tăng mạnh lên 65,8%; và đạt giá trị tối ưu 73,8% tại mức nén 30%.
• Thứ ba, hiệu quả tóm tắt có sự phân hóa tích cực theo từng lĩnh vực chuyên ngành. Tại tỷ lệ nén 30%, nhóm bài báo thuộc lĩnh vực Khoa học đạt độ chính xác cao nhất với 76,8%, tiếp theo là lĩnh vực Giáo dục đạt 76,7%, Kinh doanh đạt 74,9%, Pháp luật đạt 74,8%, Thể thao đạt 73,0% và Du lịch đạt 67,5%.
• Thứ tư, việc lọc câu qua danh sách câu khả dụng với ngưỡng tương đồng 0,55 và hằng số trộn 0,7 đã loại bỏ hoàn toàn các câu trùng lặp nội dung, giúp cấu trúc bản tóm tắt cô đọng và mạch lạc.

Thảo luận kết quả

Nguyên nhân chính giúp phương pháp tổ hợp đạt hiệu suất cao là nhờ khả năng nắm bắt ngữ nghĩa tiềm ẩn của mô hình phân tích chủ đề. Trong các bài viết tiếng Việt, tác giả thường sử dụng nhiều từ ngữ đồng nghĩa hoặc cách diễn đạt khác nhau để cùng biểu đạt một sự việc. Các phương pháp thống kê truyền thống và công cụ Microsoft Word 2003 chỉ dựa vào việc đếm từ bề mặt, dẫn đến việc chọn nhầm các câu chứa từ khóa lặp lại nhưng thiếu giá trị thông tin cốt lõi, thậm chí trích xuất nhiều câu có cùng một ý nghĩa. Ngược lại, việc suy luận qua 200 chủ đề ẩn giúp hệ thống nhận diện chính xác các câu có độ bao quát cao nhất đối với toàn bộ tài liệu.

Khi trực quan hóa kết quả trên các biểu đồ cột và bảng số liệu đối sánh, sự vượt trội của phương pháp tổ hợp được thể hiện nhất quán trên toàn bộ 6 nhóm chuyên mục. Đối với các văn bản có cấu trúc lập luận chặt chẽ như Khoa học và Giáo dục, độ tương đồng ngữ nghĩa giữa các câu trong văn bản gốc và các chủ đề huấn luyện thể hiện rõ nét, giúp độ chính xác đạt mức cao xấp xỉ 77,0%. Trong khi đó, các bài báo du lịch có văn phong tự do, giàu tính miêu tả nên độ chính xác đạt 67,5%, cho thấy nhu cầu cần tiếp tục bổ sung thêm ngữ liệu chuyên biệt cho các lĩnh vực đời sống xã hội.

Đề xuất và khuyến nghị

Dựa trên những phát hiện thực nghiệm, tác giả đề xuất 4 nhóm giải pháp chiến lược nhằm nâng cao hiệu quả ứng dụng tóm tắt văn bản tiếng Việt tự động:

• Tích hợp các kiến trúc học sâu và mô hình ngôn ngữ lớn: Các viện nghiên cứu và kỹ sư trí tuệ nhân tạo cần nghiên cứu tích hợp các kỹ thuật nhúng từ hiện đại và mô hình Transformer cho tiếng Việt trong giai đoạn 12 tháng tới, đặt mục tiêu nâng độ chính xác tóm tắt ở tỷ lệ nén 20% vượt mốc 85,0% và giảm thời gian trích xuất xuống dưới 0,5 giây mỗi tài liệu.
• Mở rộng quy mô kho ngữ liệu huấn luyện chủ đề ẩn: Các trung tâm dữ liệu học thuật và cơ quan thông tấn cần liên kết chuẩn hóa, mở rộng tập dữ liệu huấn luyện từ 650.000 câu lên hơn 5.000.000 câu trong vòng 6 tháng, tăng số lượng chủ đề suy luận từ 200 lên 500 chủ đề nhằm bao quát toàn diện các ngành kinh tế, kỹ thuật và văn hóa.
• Phát triển giao diện lập trình ứng dụng dạng dịch vụ đám mây: Doanh nghiệp công nghệ phần mềm nên đóng gói thuật toán thành các dịch vụ vi mô thương mại trong vòng 9 tháng, sẵn sàng xử lý đồng thời trên 1.000 yêu cầu mỗi giây, tự động tương thích và chuyển đổi giữa 14 bảng mã tiếng Việt khác nhau.
• Xây dựng bộ tiêu chuẩn đánh giá tự động đa chiều cho tiếng Việt: Hội đồng khoa học ngành Công nghệ Thông tin cần ban hành bộ ngữ liệu kiểm thử chuẩn gồm ít nhất 1.000 văn bản có gán nhãn chuyên gia vào cuối năm tới, thiết lập thang đo độ bao phủ và độ chính xác đạt mức đồng thuận chuyên gia trên 90,0%.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thực tiễn cho 4 nhóm đối tượng chính:

• Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính: Tiếp cận quy trình xây dựng mô hình toán học tổ hợp, công thức tính khoảng cách vector và phương pháp cài đặt giải thuật học không giám sát trên ngữ liệu tiếng Việt. Nghiên cứu sinh có thể kế thừa tập 1.933 từ dừng và 200 chủ đề ẩn để phát triển các đề tài xử lý ngôn ngữ nâng cao, rút ngắn 50% thời gian xây dựng tiền xử lý.
• Kỹ sư phát triển phần mềm và hệ thống tìm kiếm thông tin: Nắm vững giải pháp tích hợp các công cụ mã nguồn mở vnTokenizer và JGibbsLDA vào kiến trúc phần mềm thực tế. Kỹ sư có thể ứng dụng trực tiếp thuật toán để tạo trích đoạn tóm tắt tự động cho kết quả tìm kiếm nội bộ, giúp tăng 40% tốc độ tương tác của người dùng.
• Ban biên tập các tòa soạn báo điện tử và đơn vị truyền thông: Ứng dụng giải pháp tóm tắt tự động để tổng hợp nhanh các luồng sự kiện nóng từ hàng trăm bài viết mỗi ngày, giảm 80% thời gian đọc lướt của biên tập viên và tự động sinh bản tin tóm tắt cho 6 chuyên mục chính.
• Cán bộ quản lý thư viện số và trung tâm dữ liệu thông tin khoa học: Triển khai giải pháp phân loại chủ đề và sinh tóm tắt tự động cho kho lưu trữ hàng chục nghìn tài liệu nghiên cứu, nâng cao hiệu suất tra cứu tài liệu học thuật cho bạn đọc lên gấp 3 lần.

Câu hỏi thường gặp

• Tại sao phương pháp tóm tắt kết hợp chủ đề ẩn lại đạt độ chính xác cao hơn phương pháp thống kê từ truyền thống? Phương pháp thống kê truyền thống chỉ đếm số lần xuất hiện của từ bề mặt nên dễ bị sai lệch khi gặp từ đồng nghĩa hoặc câu văn diễn giải. Mô hình phân tích 200 chủ đề ẩn xác định đúng bản chất ngữ nghĩa tiềm ẩn của câu, nâng độ tương đồng ngữ nghĩa từ mức 0,15 lên 0,86, giúp chọn lọc chính xác các câu then chốt.

• Tiếng Việt đặt ra những thách thức đặc thù nào đối với bài toán trích xuất câu tự động? Tiếng Việt là ngôn ngữ đơn lập, không biến hình, từ ghép gồm nhiều tiếng ghép lại và không dùng khoảng trắng để phân định ranh giới từ. Ngoài ra, văn bản tiếng Việt tồn tại hơn 14 bảng mã ký tự khác nhau cùng nhiều biến thể dấu thanh và từ địa phương, đòi hỏi quá trình tiền xử lý phức tạp với 1.933 từ dừng.

• Danh sách câu khả dụng đóng vai trò gì trong việc tối ưu hóa chất lượng bản tóm tắt? Danh sách câu khả dụng đóng vai trò bộ lọc khử trùng lặp nội dung. Khi hai câu có độ tương đồng ngữ nghĩa vượt ngưỡng 0,55, hệ thống sẽ tự động loại bỏ câu có trọng số thấp hơn, đảm bảo bản tóm tắt không chứa các câu trùng lặp ý dù cách dùng từ khác nhau.

• Tỷ lệ nén văn bản ảnh hưởng như thế nào đến độ chính xác của mô hình? Tỷ lệ nén quyết định dung lượng câu trích xuất so với bản gốc. Thực nghiệm cho thấy ở tỷ lệ nén 10%, độ chính xác chỉ đạt 27,0% do số câu quá ít; nhưng khi nâng tỷ lệ nén lên 20% và 30%, độ chính xác tăng mạnh lên lần lượt 65,8% và 73,8%, đảm bảo bao quát đầy đủ thông tin.

• Mô hình tóm tắt của luận văn có khả năng ứng dụng thực tế trên những lĩnh vực nào? Mô hình đã được kiểm chứng hiệu quả thực nghiệm trên 6 lĩnh vực chính gồm Khoa học, Giáo dục, Kinh doanh, Pháp luật, Thể thao và Du lịch. Trong đó, các lĩnh vực có tính học thuật và chính luận cao như Khoa học và Giáo dục đạt độ chính xác cao nhất, xấp xỉ 77,0%.

Kết luận

• Luận văn đã giải quyết trọn vẹn bài toán tóm tắt văn bản tiếng Việt đơn tài liệu bằng phương pháp trích xuất câu dựa trên độ tương đồng ngữ nghĩa kết hợp mô hình phân tích chủ đề ẩn.
• Xây dựng thành công quy trình tiền xử lý hoàn chỉnh cho tiếng Việt, chuẩn hóa bảng mã Unicode UTF-8, thiết lập bộ ngữ liệu 200 chủ đề ẩn từ 650.000 câu văn bản và xử lý danh mục 1.933 từ dừng.
• Kết quả thực nghiệm khẳng định phương pháp tổ hợp đạt độ chính xác vượt trội 73,8% ở tỷ lệ nén 30%, cao hơn 29,0% so với công cụ Microsoft Word 2003 và chứng minh tính ổn định trên 6 lĩnh vực báo chí.
• Đề xuất giải pháp loại bỏ câu tương đồng thông qua danh sách câu khả dụng với ngưỡng 0,55, giúp văn bản tóm tắt đạt độ cô đọng cao, loại bỏ hoàn toàn hiện tượng lặp ý.
• Đóng góp phần mềm thực nghiệm hoàn chỉnh trên nền tảng NetBeans IDE 8.1, sẵn sàng phục vụ chuyển giao công nghệ cho các hệ thống quản trị nội dung số và cổng thông tin trực tuyến.

Kế hoạch trong giai đoạn 12 tháng tới tập trung mở rộng mô hình sang bài toán tóm tắt đa văn bản và tích hợp các mạng nơ-ron học sâu để tự động sinh văn bản tóm lược. Các nhà nghiên cứu và doanh nghiệp công nghệ quan tâm đến giải pháp xử lý ngôn ngữ tự nhiên tiếng Việt hãy kết nối và khai thác tài liệu luận văn để thúc đẩy ứng dụng trí tuệ nhân tạo vào thực tiễn quản trị thông tin.

Trích đoạn nội dung tài liệu

Chương 1 TÓM TẮT VĂN BẢN TIẾNG VIỆT 1. Bài toán tóm tắt văn bản Theo Inderjeet Mani thì mục đích của tóm tắt văn bản tự động là: “Tóm tắt văn bản tự động nhằm mục đích trích xuất nội dung từ một nguồn thông tin và trình bày các nội dung quan trọng nhất cho người sử dụng theo một khuôn dạng súc tích và gây cảm xúc đối với người sử dụng hoặc một chương trình cần đến” [13]. Theo Radev: “Văn bản tóm tắt là văn bản được tạo từ một hoặc nhiều văn bản khác mà truyền tải được những thông tin quan trọng trong văn bản gốc nhưng có độ dài không quá một nửa văn bản gốc (thường ngắn hơn đáng kể)” [11]. Như vậy, tóm tắt văn bản là việc tìm các ý chính của văn bản.

Bản tóm tắt là có ba đặc điểm sau [10], [11], [12], [13]: - Bảo toàn nội dung chính so với văn bản gốc: Các nội dung quan trọng hay nổi bật của bản gốc phải được giữ lại trong bản tóm tắt. - Ngắn ngọn: bản tóm tắt thường ngắn hơn bản gốc nhiều. - Dễ đọc: người sử dụng có thể đọc và hiểu được dễ dàng. Việc đưa ra được một bản tóm tắt có chất lượng và không bị giới hạn bởi miền ứng dụng được xác định là rất khó khăn nên các phương pháp giải quyết bài toán tóm tắt văn bản thường chỉ hướng đến một kiểu văn bản cụ thể hoặc một kiểu tóm tắt cụ thể.

Phân loại tóm tắt Có nhiều cách phân loại tóm tắt văn bản khác nhau, sau đây là một số cách phân loại tiêu biểu [13]: 1. Theo định dạng đầu ra - Tóm tắt trích xuất (Extract): là một bản tóm tắt gồm các đoạn văn bản được rút trích từ văn bản gốc. 3 - Tóm tắt tóm lược (Abstract): là một bản tóm tắt được tạo ra dựa trên các thông tin quan trọng trong văn bản gốc. Theo mức độ xử lý - Tiếp cận mức ngoài (surface-level): thông tin được miêu tả dưới dạng khái niệm về các đặc trưng nông (shallow feature).

Các đặc trưng nông bao gồm các thuật ngữ (term) quan trọng qua thống kê (dựa vào tần số của các thuật ngữ trong văn bản), các thuật ngữ quan trọng dựa vào vị trí, các thuật ngữ trong các cụm từ dấu hiệu hay các thuật ngữ trong câu truy vấn của người dùng. Kết quả là một bản tóm tắt dạng trích xuất (extract). - Tiếp cận mức sâu (deeper-level): ở mức này, bản tóm tắt có thể là dạng trích xuất hoặc dạng tóm tắt (abstract) và cần phải sử dụng đến sinh tổng hợp ngôn ngữ tự nhiên. Với dạng tiếp cận này, phải cần đến những phân tích về mặt ngữ nghĩa, chẳng hạn sử dụng hướng tiếp cận thực thể để xây dựng dạng biểu diễn của các thực thể văn bản (đơn vị văn bản) và mối quan hệ giữa các thực thể rồi từ đó tìm ra phần quan trọng.

Mối quan hệ giữa các thực thể gồm quan hệ ngữ nghĩa như: đồng nghĩa, trái nghĩa, nghĩa hẹp, nghĩa rộng…, quan hệ cú pháp: dựa trên cây phân tích cú pháp và các mối quan hệ khác. Theo mục đích của bản tóm tắt - Tóm tắt chỉ thị (Indicative): Đưa ra những thông tin ngắn gọn về chủ đề chính của văn bản. Dạng tóm tắt này thường được sử dụng trong các hệ thống tìm kiếm thông tin. Thông thường, độ dài của văn bản tóm tắt loại này chỉ từ 5 đến 10% độ dài của toàn bộ văn bản.

- Tóm tắt thông tin (Information): tóm tắt bao gồm tất cả các thông tin nổi bật có trong văn bản nguồn tại nhiều mức độ chi tiết khác nhau. - Tóm tắt đánh giá (Evaluation): tóm tắt nhằm mục đích đánh giá vấn đề chính của văn bản nguồn, thể hiện quan điểm của tác giả đối với công việc của họ. 4 Việc phân loại tóm tắt dựa theo mục đích như trên không loại trừ lẫn nhau, có thể một bản tóm tắt vừa có chức năng cung cấp tin tức lại vừa là kiểu trình bày sơ lược. Theo người dùng hoặc chủ đề - Tóm tắt chung (Generalized): tóm tắt nhằm mục đích đưa ra các nội dung quan trọng bao quát văn bản gốc.

- Tóm tắt hướng truy vấn (Query-based): tóm tắt nhằm mục đích đưa ra kết quả dựa vào câu truy vấn của người. - Tóm tắt hướng đến người dùng hoặc chủ đề (User focused or Topic focused summaries): văn bản tóm tắt đáp ứng nhu cầu của người dùng cụ thể hoặc chủ đề cụ thể nào đó. Theo số lượng văn bản đầu vào - Tóm tắt đơn văn bản: đầu vào là một văn bản - Tóm tắt đa văn bản: đầu vào là một tập văn bản 1. Theo ngôn ngữ - Tóm tắt đơn ngôn ngữ (Monolingual): Chỉ dựa trên một ngôn ngữ.

- Tóm tắt đa ngôn ngữ (Multilingual): Thực hiện tóm tắt trên nhiều loại ngôn ngữ khác nhau. Cách phân loại trên chỉ mang tính tương đối, trên thực tế một bản tóm tắt có thể mang nhiều đặc trưng phân loại khác nhau. Ví dụ, bản tóm tắt tin tức trong chương trình điểm báo của đìa truyền hình Việt Nam có thể được xếp vào dạng tóm tắt chỉ thị, hoặc tóm tắt đa văn bản, hoặc tóm tắt phục vụ tìm kiếm,. Một số thuật ngữ - Tỷ lệ nén (Compression Rate): là độ đo thể hiện bao nhiêu thông tin được cô đọng trong văn bản tóm tắt được tính bằng công thức: SummaryLength CompressionRate = SourceLength (1.1) 5 SummaryLength: Độ dài văn bản tóm tắt SourceLength: Độ dài văn bản nguồn - Độ nổi bật hay liên quan (Salience or Relevance): là trọng số được gán cho thông tin trong văn bản thể hiện độ quan trọng của thông tin đó đối với toàn văn bản hay để chỉ sự liên quan của thông tin đó đối với chương trình của người sử dụng.

- Sự cố kết (độ mạch lạc - coherence): Một văn bản tóm tắt gọi là cố kết nếu tất cả các thành phần nằm trong nó tuân theo một thể thống nhất về mặt nội dung và không có sự trùng lặp giữa các thành phần. Mô hình tóm tắt văn bản và một số phương pháp tiếp cận Hình 1. Mô hình hệ thống tóm tắt văn bản [13] Về cơ bản hệ thống tóm tắt văn bản tự động được chia thành 3 giai đoạn chính [13]: - Phân tích (Analysis or Interpretation): biểu diễn và hiểu văn bản nguồn - Biến đổi (Transformation): trích chọn những nội dung quan trọng 6 - Tổng hợp (Synthesis or Realization): tạo văn bản mới chứa những điểm chính, quan trọng của văn bản gốc. Trong mô hình trên, đầu vào của hệ thống có thể là một hoặc nhiều tài liệu, văn bản hay các thông tin đa phương tiện như ảnh, âm thanh, video.

Những thông số chính được đề cập trong mô hình ảnh hưởng lớn đến hoạt động và chất lượng văn bản tóm tắt của hệ thống là: - Tỷ lệ nén: Tỷ lệ nén cảng thấp thì thông tin sẽ bị mất càng nhiều. - Mục đích tóm tắt: Cho đại chúng hay cho nhóm người dùng cụ thể. - Chức năng: Tóm tắt chỉ thị, tóm tắt thông tin, hay tóm tắt đánh giá - Độ mạch lạc: Văn bản tóm tắt cần diễn đạt câu từ liền mạch hay chỉ bao gồm các đoạn rời rạc. Các phương pháp áp dụng trong pha phân tích Trong pha này, văn bản nguồn được phân tích để xác định các đơn vị ngữ liệu và các đặc trưng của chúng, kết quả của pha này là đầu vào cho pha biến đổi.

Các phương pháp áp dụng trong pha này bao gồm: ➢ Phương pháp thống kê Các phương pháp thuộc loại này sử dụng các số liệu thống kê về độ quan trọng của các từ, cụm từ, câu hoặc đoạn văn. Các phương pháp thống kê gồm: - Dựa vào vị trí + Chủ đề, tiêu đề: tiêu đề hay chủ đề của các đoạn văn thường chứa các từ và ngữ quan trọng. + Câu ở đầu hoặc cuối đoạn: xác suất câu đầu đoạn hay câu cuối đoạn chứa ý chính của cả đoạn là rất lớn, đặc biệt là câu đầu đoạn. Ngoài ra các đoạn đầu và cuối văn bản cũng quan trọng hơn các đoạn giữa.

+ Minh hoạ, chú thích: trong các câu chú thích, câu minh hoạ cho ảnh hay đồ thị thường chứa các thông tin quan trọng. 7 - Dựa vào cụm từ dấu hiệu Các cụm từ dấu hiệu có đặc điểm thống kê rất tốt. Sau các cụm từ này thường là các từ hay câu quan trọng. Có hai loại cụm từ dấu hiệu: + Thứ nhất là các cụm từ mang ý nhấn mạnh, sau cụm từ này đoạn văn quan trọng; chẳng hạn “nói chung là”, “đặc biệt là”, “tóm lại”, “cuối cùng thì”, “trong bài viết này tôi muốn chỉ ra”, “bài viết nói về”, “nội dung gồm”.

+ Thứ hai là các cụm từ không quan trọng, sau cụm từ này là các thành phần không có nhiều giá trị trong việc tóm tắt, chẳng hạn: “hiếm khi mà”, “bài này không nói đến”, “không thể nào…” - Dựa vào thống kê tần suất từ: Độ quan trọng của từ phụ thuộc vào số lần xuất hiện của từ đó trong văn bản. Có thể dùng các kĩ thuật như tf-idf [23], tập thuật ngữ thường xuyên (frequent item set) để xác định tần suất từ. ➢ Phương pháp cấu trúc Các phương pháp này sử dụng các mối liên hệ cấu trúc - ngữ pháp - ngữ nghĩa để xác định các đơn vị ngữ liệu quan trọng. Tư tưởng chính của các phương pháp này là những đơn vị ngữ liệu nào có chứa các thành phần liên quan nhiều với các thành phần khác sẽ có mức độ quan trọng cao.

Việc đánh giá các mối quan hệ sẽ dựa trên các mạng ngữ nghĩa hoặc các quan hệ cú pháp. - Phương pháp sử dụng quan hệ giữa câu, đoạn: Phương pháp này xác định mối quan hệ giữa các đoạn trong văn bản hay các câu trong đoạn với nhau thông qua việc tính toán mức độ liên quan giữa chúng. Các độ Cosine, Euclide, Jaccard… được chọn để xác định độ tương đồng giữa các câu hay đoạn văn bản đó. Sau đó, ta chọn ra đoạn hay câu có độ liên quan lớn nhất.

- Phương pháp chuỗi từ vựng (lexical chains): Phương pháp liên kết từ vựng sử dụng các từ điển quan hệ từ vựng để xây dựng các chuỗi từ liên kết với nhau về mặt ngữ nghĩa. Sau khi xây dựng được chuỗi các từ vựng này, ta đánh giá độ mạnh của chúng và chọn ra những câu phù hợp. Chuỗi từ vựng 8 không những chỉ dùng trong tóm tắt văn bản mà còn được coi là lý thuyết tổng quát của vấn đề ngữ nghĩa trong xử lý ngôn ngữ tự nhiên [16]. - Phương pháp liên kết tham chiếu (word coreferences): Phương pháp này gọi là phương pháp trích chọn trùng lặp (anaphora-based method).