Luận văn: Nghiên cứu phương pháp xử lý tiếng Việt cho tóm tắt văn bản

Luận văn thạc sĩ: Nghiên cứu các phương pháp xử lý tiếng Việt, ứng dụng trong tóm tắt văn bản. Tìm hiểu thuật toán và đánh giá hiệu quả.

• Tác giả: Lê Quý Tài
• Người hướng dẫn: TS. Phạm Bảo Sơn
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu các phương pháp xử lý tiếng Việt ứng dụng cho tóm tắt văn bản
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TÓM TẮT VĂN BẢN
• 1.1. Khái niệm
• 1.2. Lịch sử phát triển của tóm tắt văn bản
• 1.3. Phân loại các phƣơng pháp tóm tắt văn bản
• 1.4. Mô hình tóm tắt văn bản
• 1.5. Các phƣơng pháp áp dụng trong pha phân tích
• 1.6. Các phƣơng pháp áp dụng trong pha biến đổi
• 2. CHƯƠNG 2: BÀI TOÁN TÓM TẮT VĂN BẢN TIẾNG VIỆT
• 2.1. Một số hƣớng tiếp cận bài toán tóm tắt văn bản
• 2.2. Đặc điểm tiếng Việt
• 2.3. Phƣơng pháp cho bài toán tóm tắt văn bản tiếng Việt
• 3. CHƯƠNG 3: ỨNG DỤNG PHƢƠNG PHÁP CẤU TRÚC ĐỂ TÓM TẮT VĂN BẢN TIẾNG VIỆT
• 3.1. Mô hình tóm tắt sử dụng phƣơng pháp cấu trúc
• 3.2. Tiền xử lý văn bản
• 3.3. Xây dựng đồ thị liên kết
• 3.4. Sinh văn bản tóm tắt
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trƣờng thử nghiệm
• 4.2. Dữ liệu thử nghiệm
• 4.3. Phƣơng pháp đánh giá
• 4.4. Kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan về Tóm Tắt Văn Bản Tiếng Việt Nghiên Cứu

Với sự bùng nổ thông tin ngày nay, tóm tắt văn bản trở thành một nhu cầu thiết yếu. Nghiên cứu về tóm tắt văn bản tự động đã bắt đầu từ những năm 50, nhưng đối với tiếng Việt, do sự phức tạp của ngôn ngữ, lĩnh vực này vẫn còn nhiều hạn chế. Luận văn này tập trung vào việc nghiên cứu các phương pháp xử lý tiếng Việt để ứng dụng cho tóm tắt văn bản, nhằm giúp tiết kiệm thời gian và công sức trong việc xử lý thông tin. Theo [19], tóm tắt văn bản là "quá trình rút trích ra các thông tin quan trọng từ một hoặc nhiều văn bản để tạo ra văn bản ngắn gọn". Ba đặc điểm quan trọng của hệ thống tóm tắt văn bản là: tạo từ một hoặc nhiều văn bản, truyền tải thông tin quan trọng và ngắn gọn. Các ứng dụng của tóm tắt văn bản rất đa dạng, từ phần mềm xử lý văn bản đến các công cụ tìm kiếm trực tuyến. Cần có những nghiên cứu sâu hơn để phát triển các phương pháp tóm tắt văn bản hiệu quả cho tiếng Việt.

1.1. Lịch Sử Phát Triển của Tóm Tắt Văn Bản Tự Động

Nghiên cứu về tóm tắt văn bản tự động bắt đầu từ cuối thập kỷ 50 với công trình của Luhn (1958) dựa trên tần số từ. Các nghiên cứu sau đó tập trung vào vị trí của câu và cụm từ dấu hiệu. Đến những năm 80, các hướng tiếp cận mức thực thể dựa trên trí tuệ nhân tạo bắt đầu phát triển. Hiện nay, nhiều nghiên cứu áp dụng các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến. Bên cạnh đó, các nghiên cứu về tóm tắt đa văn bản, đa ngôn ngữ và đa phương tiện cũng đang được đẩy mạnh. Luhn (1958) cho rằng tần số của từng từ trong văn bản là một độ đo hữu dụng để đánh giá tầm quan trọng của chúng. Những câu bắt đầu và kết thúc của đoạn văn/bài viết hay những câu chứa những từ nhƣ “important” (đặc biệt), “result are” (kết quả là), “paper introduce” (bài báo giới thiệu về)… là những câu có ý nghĩa quan trọng.

1.2. Phân Loại Phương Pháp Tóm Tắt Văn Bản Hiệu Quả

Có nhiều tiêu chí để phân loại các phương pháp tóm tắt văn bản. Dựa vào dạng tóm tắt, có thể chia thành trích xuất (sao chép nguyên dạng các dãy từ) và tóm tắt (viết lại nội dung). Dựa vào mức độ xử lý, có tiếp cận mức ngoài (dựa trên đặc trưng nông) và tiếp cận mức sâu (phân tích ngữ nghĩa). Dựa vào mục đích, có trình bày sơ lược, tóm tắt cung cấp tin tức và phê bình đánh giá. Ngoài ra, có thể phân loại theo người sử dụng, số lượng văn bản và ngôn ngữ. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với từng ứng dụng cụ thể. Trích xuất tạo văn bản tóm tắt thiếu cấu kết cần thiết, các câu đƣợc trích ra có thể không phản ánh nội dung. Nói chung văn bản tóm tắt không đƣợc “trơn” do đƣợc “lắp ghép” từ các câu, đoạn văn đƣợc trích ra. abstracts: văn bản tóm tắt nói chung là không chứa các “dãy từ” trong văn bản nguồn mà là đƣợc “viết lại” một cách tự động.

II. Thách Thức Tóm Tắt Văn Bản Tiếng Việt Vượt Ngữ Pháp

Bài toán tóm tắt văn bản tiếng Việt gặp nhiều thách thức do đặc điểm phức tạp của ngôn ngữ. Các nghiên cứu hiện tại chủ yếu sử dụng các phương pháp dựa trên thống kê hoặc kết hợp ngữ nghĩa. Cần chú ý đến các đặc trưng của tiếng Việt như tính đơn âm tiết, yếu tố ngoại lai, từ đồng nghĩa, đặc điểm chính tả và bảng mã. Do vậy, tiền xử lý văn bản là bước vô cùng quan trọng để đảm bảo độ chính xác. Theo Ngữ pháp tiếng Việt [1] thì xét ở phƣơng diện ngữ pháp có thể định nghĩa từ là đơn vị nhỏ nhất mà có nghĩa và có thể hoạt động tự do (trong câu), từ là đơn vị trung tâm của ngữ pháp Việt Nam, chi phối toàn bộ cú pháp tiếng Việt, đảm nhận và san sẻ các chức năng năng cú pháp trong câu và góp phần đƣa câu vào các cấu tạo ngôn ngữ lớn hơn câu.

2.1. Đặc Điểm Tiếng Việt Ảnh Hưởng Xử Lý Ngôn Ngữ

Tiếng Việt là ngôn ngữ không biến hình và âm tiết tính, mỗi âm tiết được phát âm tách rời và thể hiện bằng một chữ viết. Tiếng là đơn vị cơ sở của cấu tạo ngữ pháp, có thể có nghĩa hoặc không. Từ là đơn vị nhỏ nhất có nghĩa và hoạt động tự do. Cụm từ là sự kết hợp của hai từ trở lên. Câu biểu thị một tư tưởng trọn vẹn. Việc xác định từ trong tiếng Việt khó khăn hơn so với các ngôn ngữ châu Âu do không thể chỉ dựa vào khoảng trắng. Từ tiếng Việt không có hiện tƣợng biến hình (ngôn ngữ đơn lập) bằng những phụ tố mang ý nghĩa ngữ pháp bên trong từ nhƣ các ngôn ngữ Ấn – Âu.

2.2. Yếu Tố Ngoại Lai và Từ Đồng Nghĩa Tiếng Việt

Tiếng Việt chứa nhiều yếu tố ngoại lai gốc Hán, Pháp, Anh. Các yếu tố gốc Ấn - Âu phải chịu áp lực của sự âm tiết hóa. Từ đồng nghĩa là những từ tương đồng về nghĩa nhưng khác nhau về âm thanh, có sắc thái ngữ nghĩa khác nhau. Chúng tạo thành một nhóm đồng nghĩa. Với bài toán tóm tắt văn bản thì từ đồng nghĩa cũng có một ý nghĩa khá quan trọng bởi trong các câu, đoạn văn trong văn bản có các từ đồng nghĩa hoặc gần nghĩa nhau và việc sử dụng từ đồng nghĩa sẽ làm nâng cao tính chính xác khi so sánh về độ tƣơng đồng ngữ nghĩa giữa các đơn vị văn bản.

2.3. Vấn Đề Chính Tả và Bảng Mã Tiếng Việt Trên Máy Tính

Đặc điểm chính tả tiếng Việt có ý nghĩa quan trọng tiền xử lý dữ liệu văn bản. Một số đặc điểm chính tả tiếng Việt cần quan tâm nhƣ: − Các tiếng đồng âm: nhƣ kĩ/kỹ, lí, lý… thƣờng bị sử dụng lẫn nhau nhƣ: lý luận, lí luận, kĩ thuật, kỹ thuật…− Các từ địa phƣơng: một số từ địa phƣơng sử dụng thay cho các từ phổ thông, chẳng hạn: cây kiểng/cây cảnh, đờn/đàn, đậu phộng/lạc…− Vị trí dấu thanh: theo quy định đánh dấu tiếng Việt, dấu đƣợc đặt trên nguyên âm có ƣu tiên cao nhất. − Hiện nay, việc đƣa tiếng Việt vào máy tính không chỉ để soạn thảo văn bản mà còn để xây dựng các phần mềm có giao diện tiếng Việt và cũng để xử lý tiếng Việt. Tuy nhiên, hiện nay có nhiều cách mã hoá các kí tự tiếng Việt khác nhau, dẫn tới có nhiều bảng mã khác nhau đƣợc sử dụng

III. Phương Pháp Cấu Trúc Tóm Tắt Tiếng Việt Hướng Dẫn Chi Tiết

Trong phương pháp cấu trúc, văn bản được biểu diễn dưới dạng đồ thị, trong đó các câu là các nút và mối quan hệ giữa các câu là các cạnh. Độ tương tự giữa các câu được tính toán dựa trên TF-IDF. Việc xác định ngưỡng tương tự là rất quan trọng. Cần có những cải tiến để áp dụng phương pháp này hiệu quả cho tiếng Việt, bao gồm phân tách từ, loại bỏ từ dừng và xử lý từ đồng nghĩa. Các bước thực hiện bao gồm tiền xử lý văn bản, xây dựng đồ thị quan hệ và trích xuất các câu quan trọng. Sau khi xây dựng đƣợc đồ thị quan hệ, ta có đƣợc hình vẽ trực quan cấu trúc của văn bản. Từ cấu trúc này, ta có thể xây dựng văn bản tóm tắt bằng cách trích xuất ra các câu phù hợp [24].

3.1. Tiền Xử Lý Văn Bản Tiếng Việt Tách Từ Loại Bỏ Từ Dừng

Tiền xử lý là bước quan trọng để chuẩn hóa văn bản. Quá trình này bao gồm chuẩn hóa bảng mã, sửa lỗi chính tả và dấu câu, và sử dụng bộ tách từ để phân tách từ và câu. Các phương pháp tách từ bao gồm so khớp cực đại và WFST. Tiếp theo, cần loại bỏ từ dừng (stop-words) là các từ xuất hiện nhiều trong các văn bản mà thƣờng thì không giúp ích trong việc phân biệt nội dung của các tài liệu. Việc xác định các từ dừng trong văn bản đƣợc thông qua một từ điển từ dừng.

3.2. Xây Dựng Đồ Thị Liên Kết Câu Sử Dụng TF IDF Cosine

Sau khi tiền xử lý, các câu được vector hóa bằng TF-IDF. Độ tương tự giữa các vector được tính toán bằng cosine. Nếu độ tương tự vượt qua một ngưỡng nhất định, hai câu được liên kết trong đồ thị. Trong mô hình không gian vector, ta coi mỗi văn bản nhƣ một vector (hay một điểm) trong không gian Euclide nhiều chiều, trong đó mỗi chiều là từ. Có 3 cách để biểu diễn vector [20] tuỳ thuộc vào kiểu của các thành phần trong vector: nhị phân, tần số từ tf, và tần số từ−tần số tài liệu ngƣợc tf-idf.

3.3. Sinh Văn Bản Tóm Tắt Chọn Câu Theo Bậc Độ Sâu Phân Đoạn

Có ba phương pháp để chọn câu để sinh văn bản tóm tắt: dựa vào bậc của nút, duyệt theo chiều sâu và phân đoạn văn bản. Mỗi phương pháp có cách tiếp cận riêng để xác định các câu quan trọng. + Chọn n nút có bậc cao nhất trong đồ thị (với n là số câu cần chọn trong văn bản tóm tắt).+ Sắp xếp các câu đƣợc chọn ra theo thứ tự xuất hiện trong văn bản gốc.Bƣớc 2: Duyệt đồ thị theo chiều sâu bắt đầu từ nút xuất phát, chọn các nút theo số bậc cao nhất.

IV. Thực Nghiệm Đánh Giá Hiệu Quả Tóm Tắt Văn Bản

Chương này trình bày về những kết quả thu đƣợc sau quá trình thử ngiệm chƣơng trình đồng thời đƣa ra những đánh giá, nhận xét để từ đó có thể nâng cao đƣợc độ chính xác của hệ thống. Chƣơng trình đƣợc xây dựng và thử nghiệm trên máy tính cá nhân có cấu hình và các phần mềm cần thiết nhƣ sau:Vi xử lý: Intel Dual Core T2390 1.86GHzBộ nhớ: 2GBHệ điều hành: Windows 7.Phần mềm phát triển: Microsoft Visual Basic 2008.Phần mềm WordSegForTV [12] nhằm thực hiện tách từ trong văn bản

4.1. Môi Trường Thử Nghiệm và Dữ Liệu Sử Dụng Trong Nghiên Cứu

Nghiên cứu thực hiện trên môi trường máy tính cá nhân có cấu hình tầm trung, sử dụng Visual Basic 2008 và WordSegForTV để tách từ. Tập dữ liệu bao gồm 50 văn bản thuộc nhiều lĩnh vực khác nhau. Từ điển từ dừng và từ điển đồng nghĩa cũng được sử dụng.

4.2. Phương Pháp Đánh Giá Kết Quả Tóm Tắt Khách Quan

Để đánh giá, kết quả tóm tắt được so sánh với văn bản tóm tắt do con người thực hiện. Các độ đo được sử dụng là độ chính xác (Precision), độ bao phủ (Recall) và hàm điều hòa F. Tỷ lệ nén được thử nghiệm ở các mức 10%, 20% và 30%.

V. Kết Quả Phân Tích Ưu Nhược Điểm Từng Phiên Bản

Kết quả thử nghiệm cho thấy việc sử dụng bộ tách từ và từ điển đồng nghĩa cải thiện độ chính xác. Phiên bản 3 (kết hợp tách từ, từ điển dừng và đồng nghĩa) cho kết quả tốt nhất với phương pháp duyệt theo chiều sâu. Ngưỡng tương tự cũng ảnh hưởng đáng kể đến hiệu quả tóm tắt.

5.1. Thử Nghiệm Ngưỡng Tương Tự Giữa Các Câu Trong Văn Bản

Việc xác định ngưỡng có một vị trí quan trọng trong chƣơng trình tóm tắt. Bởi lẽ ngƣỡng còn phụ thuộc vào từng loại văn bản, một ngƣỡng này có thể là tốt với loại văn bản nhƣng có thể lại không tốt với loại văn bản khác. Trong thử nghiệm kết quả tóm tắt đối với từng văn bản dƣới đây chúng tôi sử dụng ngƣỡng 0,2 để đánh giá.

5.2. So Sánh Các Phiên Bản Tách Từ Từ Dừng Từ Đồng Nghĩa

MS Word Phiên bản 1 Phiên bản 2 Phiên bản 3.Tỉ lệ Độ Độ Hàm Độ Độ Hàm Độ Độ Hàm Độ Độ Hàm.chính bao điều chính bao điều chính bao điều chính bao điều.xác phủ hoà xác phủ hoà xác phủ hoà xác phủ hoà 10% 34 28 30,71 43 38 40,35 51,33 42,33 46,4 51,33 43,33 46,99

VI. Kết Luận Hướng Phát Triển Tóm Tắt Văn Bản Tương Lai

Nghiên cứu này đã trình bày một phương pháp tiếp cận hiệu quả cho tóm tắt văn bản tiếng Việt. Tuy nhiên, cần có thêm nhiều nghiên cứu để cải thiện độ chính xác và khả năng ứng dụng của hệ thống. Các hướng phát triển bao gồm sử dụng các kỹ thuật học sâu, xử lý ngữ nghĩa và tóm tắt đa văn bản. Cần tập trung vào việc xây dựng các nguồn tài nguyên ngôn ngữ phong phú và phù hợp cho tiếng Việt. Nhƣ vậy, phiên bản này tỏ ra có hiệu quả ƣu thế hơn các phiên bản trƣớc. Dƣới đây là kết quả tổng hợp so sánh các phiên bản với nhau và với phần mềm Microsoft Office Word 2003.

6.1. Đánh Giá Tổng Quan và Hạn Chế Của Nghiên Cứu Hiện Tại

Nhấn mạnh các kết quả chính, những đóng góp của nghiên cứu và các hạn chế cần khắc phục để cải thiện hiệu quả tóm tắt.

6.2. Các Hướng Nghiên Cứu Mới Cho Tóm Tắt Văn Bản Tiếng Việt

Đề xuất các hướng nghiên cứu tiềm năng để nâng cao chất lượng tóm tắt văn bản, ví dụ: sử dụng học sâu, xử lý ngữ nghĩa sâu, tóm tắt đa văn bản và tạo tóm tắt theo yêu cầu của người dùng.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ngày nay, với sự phát triển nhƣ vũ bão của công nghệ thông tin, Internet cũng nhƣ các dịch vụ trực tuyến, ngày càng có nhiều thông tin đƣợc tạo ra. Ta có thể truy cập các thông tin đó qua sách, báo, Internet và các phƣơng tiện truyền thông. Hơn nữa, nhu cầu đọc, tìm kiếm và lƣu trữ thông tin của con ngƣời cũng ngày càng tăng lên. Tuy nhiên, với một lƣợng lớn thông tin nhƣ vậy thì ngƣời ta không thể nào có đủ thời gian và sức lực để đọc hết đƣợc chúng.

Giải pháp là tóm tắt lại các văn bản đó, từ đó giúp tiết kiệm thời gian và công sức nhƣng vẫn có thể đọc và xử lý đƣợc nhiều văn bản. Tóm tắt văn bản tự động đã bắt đầu đƣợc nghiên cứu từ những năm 50 của thế kỉ trƣớc. Đã có nhiều công trình nghiên cứu về lĩnh vực này và có đƣợc những kết quả đáng kể. Tóm tắt văn bản đã đƣợc sử dụng trong các phần mềm xử lý văn bản (Microsoft Office Word…), trong khai phá cơ sở dữ liệu văn bản (Oracle…), trong các ứng dụng tìm kiếm thông tin trực tuyến (hệ thống tìm kiếm Google, Yahoo…) và đều thu đƣợc những kết quả rất đáng khích lệ.

Tuy nhiên, đối với Tiếng Việt, do sự phức tạp của ngôn ngữ nên hiện chƣa có nhiều công trình nghiên cứu về tóm tắt văn bản và kết quả của các công trình nghiên cứu về tóm tắt văn bản tiếng Việt còn hạn chế so với các ngôn ngữ khác mà đặc biệt là so với tiếng Anh. Vì vậy, chúng tôi chọn đề tài: “Nghiên cứu các phương pháp xử lý tiếng Việt ứng dụng cho tóm tắt văn bản” nhằm nghiên cứu những vấn đề tổng quan về xử lý ngôn ngữ tự nhiên và một số phƣơng pháp tóm tắt văn bản tiên tiến đã đƣợc ứng dụng và thu đƣợc kết quả khả quan đối với tiếng Anh; đồng thời nghiên cứu những đặc điểm của tiếng Việt nhằm cải tiến và ứng dụng những phƣơng pháp đó để có thể xây dựng ứng dụng tóm tắt văn bản tiếng Việt. Nội dung của luận văn đƣợc chia làm 4 chƣơng: Chƣơng 1. Tổng quan về tóm tắt văn bản Chƣơng này trình bày những vấn đề tổng quan về bài toán tóm tắt văn bản, một số hƣớng tiếp cận hiện đại và các phƣơng pháp đánh giá kết quả của văn bản tóm tắt.

Bài toán tóm tắt văn bản tiếng Việt Chƣơng này trình bày về bài toán tóm tắt văn bản tiếng Việt và một số khó khăn gặp phải do các đặc điểm của tiếng Việt (ngữ âm, ngữ pháp, chính tả…), và một số vấn đề về tiếng Việt trên máy tính (bảng mã, font chữ…), từ đó lựa chọn phƣơng pháp phù hợp cho bài toán tóm tắt văn bản. TIEU LUAN MOI download : [e-mail] 2 Chƣơng 3. Ứng dụng phương pháp cấu trúc để tóm tắt văn bản tiếng Việt Chƣơng này trình bày về việc sử dụng phƣơng pháp sử dụng cấu trúc văn bản kết hợp với từ điển từ dừng và từ điển đồng nghĩa để xây dựng chƣơng trình tóm tắt văn bản tiếng Việt. Thực nghiệm và đánh giá Chƣơng này trình bày về phƣơng pháp đƣợc sử dụng để đánh giá hệ thống tóm tắt và các kết quả thực nghiệm.

TIEU LUAN MOI download : [e-mail] 3 Chƣơng 1 TỔNG QUAN VỀ TÓM TẮT VĂN BẢN 1.1 Khái niệm Tóm tắt văn bản là một lĩnh vực của xử lý ngôn ngữ tự nhiên, đã đƣợc bắt đầu nghiên cứu từ những năm 50 của thế kỉ trƣớc. Có nhiều định nghĩa về tóm tắt văn bản: [19] định nghĩa tóm tắt văn bản là quá trình rút trích ra các thông tin quan trọng từ một hoặc nhiều văn bản để tạo ra văn bản ngắn gọn cho mỗi hoặc nhóm ngƣời dùng, cho từng tác vụ hay nhiều tác vụ khác nhau. [21] định nghĩa hệ thống tóm tắt văn bản là hệ thống đƣa ra dạng biểu diễn ngắn gọn của thông tin đầu vào căn cứ theo yêu cầu của ngƣời dùng. Theo Partha Lal (2002) [16] thì tóm tắt văn bản là việc thể hiện nội dung văn bản dƣới dạng giản lƣợc một cách tự động nhằm đáp ứng yêu cầu nào đó từ phía ngƣời dùng.

Đỗ Phúc, Hoàng Kiếm (2006) [5] định nghĩa tóm tắt văn bản tự động là việc tìm các ý chính của văn bản. Tựu chung lại, có ba đặc điểm quan trọng cần phải xem xét trong hệ thống tóm tắt văn bản: 1) Bản tóm tắt có thể đƣợc tạo ra từ một hoặc nhiều văn bản. 2) Bản tóm tắt cần truyền tải các thông tin quan trọng. 3) Bản tóm tắt cần phải ngắn.2 Lịch sử phát triển của tóm tắt văn bản Tóm tắt văn bản bắt đầu từ những năm cuối thập kỉ 1950 với nghiên cứu của Luhn (1958) [17] dựa trên tần số từ.

Ý tƣởng cơ bản của phƣơng pháp tần số từ dựa trên kiến thức cho rằng tần số của từng từ trong văn bản là một độ đo hữu dụng để đánh giá tầm quan trọng của chúng. Tiếp theo đó là phƣơng pháp tóm tắt dựa trên vị trí của các câu trong văn bản của Baxendale (1958), và những nghiên cứu của Edmundson (1969) [14] về vị trí của các câu trong văn bản và các từ/cụm từ mang ý nghĩa tổng quát (từ/cụm từ dấu hiệu). Theo đó, những câu bắt đầu và kết thúc của đoạn văn/bài viết hay những câu TIEU LUAN MOI download : [e-mail] 4 chứa những từ nhƣ “important” (đặc biệt), “result are” (kết quả là), “paper introduce” (bài báo giới thiệu về)… là những câu có ý nghĩa quan trọng. Đầu những năm 1970, tiếp tục có những nghiên cứu với hƣớng tiếp cận ngoài (sử dụng các cụm từ dấu hiệu) và đƣợc ứng dụng trong các phần mềm thƣơng mại (Pollock và Zamora).

Những năm 1980, phát triển nhiều nghiên cứu với nhiều hƣớng khác nhau, đặc biệt là hƣớng tiếp cận mức thực thể dựa trên trí tuệ nhân tạo nhƣ sử dụng script (Lehnert 1981), (DeJong 1982), các luật sản xuất và logic (Fum 1985), mạng ngữ nghĩa (Reimer và Hahn 1988), cũng nhƣ các hƣớng tiếp cận kết hợp (Rau 1989) hay (Aretoulaki 1994). Cavnar (1994): biểu diễn văn bản dựa trên n-gram thay cho cách biểu diễn truyền thống bằng từ khoá. Chinatsu Anoe (1997) đã phát triển hệ DimSum để tóm tắt văn bản sử dụng xử lý ngôn ngữ tự nhiên và kĩ thuật thống kê dựa trên hệ thống tf-idf, sử dụng WordNet để xem xét ngữ nghĩa của từ và đề xuất một số kĩ thuật lƣợng giá. Jaine Carbonell (1998) đã tóm tắt văn bản bằng cách xếp hạng các câu trội (câu chứa các ý chính của văn bản) và rút ra các câu trội.

Jade Goldstein (1999): phân loại tóm tắt dựa trên độ đo liên quan, phƣơng pháp sử dụng kết hợp giữa ngữ học, thống kê. Mỗi câu đƣợc đặc trƣng bằng các đặc tính ngữ học và độ đo thống kê.Larocca Neto (2000) đã tạo tóm tắt văn bản dựa trên các dãy từ trong câu đƣợc chọn theo hệ số tf, sau đó dùng kỹ thuật gom cụm (clustering) để tạo tóm tắt. Yoshio (2001) đã tạo tóm tắt văn bản tiếng Nhật. Có 2 phƣơng pháp là rút câu dựa trên từ khoá và rút câu dựa trên kiến trúc ngữ nghĩa trong đó có xây dựng độ đo mối liên kết giữa hai từ.

Hiện nay, một số nghiên cứu về xử lý ngôn ngữ tự nhiên cũng bƣớc đầu đƣợc áp dụng trong tóm tắt văn bản. Mặt khác, các nghiên cứu về tóm tắt đa văn bản, đa ngôn ngữ và tóm tắt đa phƣơng tiện cũng bắt đầu phát triển.3 Phân loại các phƣơng pháp tóm tắt văn bản Có nhiều tiêu chí để phân loại các phƣơng pháp tóm tắt văn bản, sau đây là một số cách phân loại tiêu biểu [15]: Căn cứ vào dạng tóm tắt, ta có thể chia thành: - Trích xuất (extract): bản tóm tắt hoàn toàn chứa các “dãy từ” đƣợc sao chép nguyên dạng từ văn bản nguồn. “Dãy từ” ở đây có thể là cụm từ, câu hoặc đoạn văn. Tuy nhiên, với dạng trích xuất thì văn bản tóm tắt thiếu cấu kết cần thiết, các câu TIEU LUAN MOI download : [e-mail] 5 đƣợc trích ra có thể không phản ánh nội dung.

Nói chung văn bản tóm tắt không đƣợc “trơn” do đƣợc “lắp ghép” từ các câu, đoạn văn đƣợc trích ra. - Tóm tắt (abstracts): văn bản tóm tắt nói chung là không chứa các “dãy từ” trong văn bản nguồn mà là đƣợc “viết lại” một cách tự động. Với dạng này, ngƣời ta cần nhiều kĩ thuật xử lý ngôn ngữ. Hiện tại, đây vẫn là vấn đề khó, chƣa thể giải quyết đƣợc một cách triệt để.

Căn cứ vào mức độ xử lý, có thể chia thành 2 dạng: - Tiếp cận mức ngoài (surface-level): thông tin đƣợc miêu tả dƣới dạng khái niệm về các đặc trƣng nông (shallow feature). Các đặc trƣng nông bao gồm các thuật ngữ (term) quan trọng qua thống kê (dựa vào tần số của các thuật ngữ trong văn bản), các thuật ngữ quan trọng dựa vào vị trí, các thuật ngữ trong các cụm từ dấu hiệu hay các thuật ngữ trong câu truy vấn của ngƣời dùng. Kết quả là một bản tóm tắt dạng trích xuất (extract). - Tiếp cận mức sâu (deeper-level): ở mức này, bản tóm tắt có thể là dạng trích xuất hoặc dạng tóm tắt (abstract) và cần phải sử dụng đến sinh tổng hợp ngôn ngữ tự nhiên.

Với dạng tiếp cận này, phải cần đến những phân tích về mặt ngữ nghĩa, chẳng hạn sử dụng hƣớng tiếp cận thực thể để xây dựng dạng biểu diễn của các thực thể văn bản (đơn vị văn bản) và mối quan hệ giữa các thực thể rồi từ đó tìm ra phần quan trọng. Mối quan hệ giữa các thực thể gồm quan hệ ngữ nghĩa nhƣ: đồng nghĩa, trái nghĩa, nghĩa hẹp, nghĩa rộng…, quan hệ cú pháp: dựa trên cây phân tích cú pháp và các mối quan hệ khác. Căn cứ vào mục đích của bản tóm tắt, có thể chia làm 3 dạng: - Trình bày sơ lƣợc (indicative): Đƣa ra những thông tin ngắn gọn về chủ đề chính của văn bản. Dạng tóm tắt này thƣờng đƣợc sử dụng trong các hệ thống tìm kiếm thông tin.

Thông thƣờng, độ dài của văn bản tóm tắt loại này chỉ từ 5 đến 10% độ dài của toàn bộ văn bản. - Tóm tắt cung cấp tin tức (Informative): Cung cấp các chủ đề con của toàn bộ văn bản, kiểu tóm tắt này có độ dài từ 20-30% văn bản gốc. - Phê bình và đánh giá: Văn bản tóm tắt đƣa ra những quan điểm của ngƣời tóm tắt về chủ đề đƣợc đƣa ra. Tuy nhiên, kiểu tóm tắt này dƣờng nhƣ vƣợt quá tầm của các hệ thống tóm tắt tự động hiện nay.

Việc phân loại tóm tắt dựa theo mục đích nhƣ trên không loại trừ lẫn nhau, có thể một bản tóm tắt vừa có chức năng cung cấp tin tức lại vừa là kiểu trình bày sơ lƣợc.