Luận Văn: Xây Dựng Mục Lục Tự Động Cho Văn Bản Điểm Cao (ĐH Công Nghệ - ĐHQGHN)

Tối ưu văn bản với mục lục tự động! Khám phá phương pháp xây dựng mục lục hiệu quả, giúp văn bản điểm cao, dễ đọc, tăng trải nghiệm người dùng.

• Tác giả: Nguyễn Việt Cường
• Người hướng dẫn: PGS. Hà Quang Thụy
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Xây dựng mục lục cho văn bản
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2007
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU BÀI TOÁN
• 1.1. Bài toán tóm tắt văn bản
• 1.2. Bài toán xây dựng mục lục cho văn bản
• 1.3. Phương hướng giải quyết bài toán
• 1.4. Các công trình liên quan
• 2. CHƯƠNG 2: PHÂN ĐOẠN VĂN BẢN VÀ SINH TIÊU ĐỀ
• 2.1. Phân đoạn văn bản
• 2.2. Các phương pháp phân đoạn văn bản
• 2.2.1. Sử dụng mối liên kết từ vựng
• 2.2.2. Sử dụng mô hình nhát cắt cực tiểu
• 2.3. Sinh tiêu đề cho văn bản
• 2.4. Các phương pháp sinh tiêu đề cho văn bản
• 2.4.1. Phương pháp trích chọn cụm từ
• 2.4.2. Phương pháp hai pha
• 2.5. Tóm tắt chương hai
• 3. CHƯƠNG 3: XÂY DỰNG MỤC LỤC CHO VĂN BẢN
• 3.1. Mô hình tích hợp thuật toán
• 3.2. Đảm bảo tính hợp lí của mục lục
• 3.3. Các phương pháp đánh giá
• 3.3.1. Đánh giá thuật toán phân đoạn
• 3.3.2. Đánh giá thuật toán sinh tiêu đề
• 3.4. Tóm tắt chương ba
• 4. CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường thử nghiệm
• 4.2. Dữ liệu thử nghiệm
• 4.3. Quá trình thử nghiệm
• 4.4. Kết quả thử nghiệm
• 4.4.1. Kết quả phân đoạn văn bản
• 4.4.2. Kết quả sinh tiêu đề
• 4.5. Đánh giá thử nghiệm
• 4.6. Phương hướng cải tiến
• 4.7. Tóm tắt chương bốn
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới Thiệu Bài Toán Xây Dựng Mục Lục Tự Động Tổng Quan

Trong kỷ nguyên số, lượng thông tin bùng nổ đặt ra thách thức lớn về khả năng tiếp cận và xử lý thông tin hiệu quả. Các hệ thống thu nhận thông tin (Information Retrieval) như Yahoo!, Google đã hỗ trợ tìm kiếm thông tin, nhưng việc nắm bắt nhanh chóng và chính xác nội dung cốt lõi vẫn còn hạn chế. Bài toán tóm tắt văn bản ra đời nhằm giải quyết vấn đề này, giúp người dùng dễ dàng nắm bắt ý chính của văn bản dưới dạng cô đọng. Ví dụ điển hình là thẻ tóm tắt sách trong thư viện, hoặc đoạn tóm tắt ở đầu bài báo. Tuy nhiên, việc tóm tắt thủ công tốn kém và không phải lúc nào cũng có sẵn. Do đó, tự động hóa quá trình tóm tắt văn bản trở thành yêu cầu cấp thiết. Các nghiên cứu về tóm tắt văn bản đã phát triển theo nhiều hướng, từ trích đoạn văn, câu quan trọng đến cụm từ ý nghĩa, và từ tóm tắt đơn văn bản đến đa văn bản. Tuy nhiên, hầu hết các phương pháp hiện tại tập trung vào văn bản ngắn như tin tức, bỏ ngỏ các văn bản cỡ lớn như tài liệu nghiên cứu, sách. Trong số đó, bài toán xây dựng mục lục cho văn bản đang thu hút sự quan tâm đặc biệt. Mục lục không chỉ chứa thông tin về nội dung mà còn định vị thông tin, với các tiêu đề súc tích. Luận văn này nghiên cứu và đề xuất phương pháp xây dựng mục lục tự động, hướng tới giải quyết bài toán cho văn bản cỡ trung bình và lớn, dựa trên các nghiên cứu về phân đoạn văn bản và sinh tiêu đề. Mục tiêu là nghiên cứu, giải quyết và đề xuất phương pháp giải quyết bài toán xây dựng mục lục cho văn bản cỡ trung bình và lớn thông qua các công trình nghiên cứu hiện tại trên thế giới. Cơ sở của đề tài là các kết quả nghiên cứu đã được công bố trên thế giới về bài toán phân đoạn văn bản và bài toán sinh tiêu đề cho văn bản. Luận văn cũng tiến hành thử nghiệm trên một vài văn bản với sự đánh giá của các chuyên gia là các nhà ngôn ngữ học để đánh giá về tính chính xác của kết quả đạt được. Các kết quả bước đầu đạt được cho thấy hướng nghiên cứu của luận văn là có triển vọng và có khả năng phát triển tiếp thành một bài toán tổng thể cỡ lớn hơn.

1.1. Tóm Tắt Văn Bản Giải Pháp Tiếp Cận Thông Tin Nhanh Chóng

Bài toán tóm tắt văn bản đã có một lịch sử từ lâu đời, ví dụ như công việc của một người thư kí, có trách nhiệm tóm tắt lại những ý chính của tài liệu (tóm tắt đơn văn bản) hoặc tổng hợp thông tin trên nhiều tài liệu (tóm tắt đa văn bản). Hay trong các thư viện, người thủ thư phải đọc qua tài liệu để tóm tắt ý chính hoặc đưa ra các từ khoá trên các thẻ bài để người đọc có thể tìm thấy tài liệu dễ dàng. Trong thời kì thông tin được số hoá, bài toán tóm tắt văn bản số (sau đây gọi chung là văn bản) được giải quyết lần đầu tiên trong bài báo của Luhn năm 1958. Trong bài báo này, Luhn giải quyết bài toán tạo ra một đoạn tóm tắt (abstract) cho các tài liệu kĩ thuật. Những năm sau đó, bài toán được tiếp tục phát triển với nhiều cải tiến mới [Paice 1990, Tait 1983]. Và khi Internet thực sự đi vào cuộc sống con người (từ những năm 90) thì bài toán được quan tâm nhiều hơn. Một vài hướng tiếp cận đã được triển khai: tiếp cận theo hướng ngôn ngữ học [], và tiếp cận theo hướng thống kê [] hoặc kết hợp cả hai []. Tóm tắt văn bản tự động để đạt được mức như con người là một bài toán khó vì việc hiểu ngôn ngữ tự nhiên là một bài toán khó. Việc xây dựng một công cụ tóm tắt tổng quát là rất khó khăn do các yếu tố ảnh hưởng đến việc tóm tắt rất đa dạng, như phong cách viết, thể loại văn bản, từ vựng, cấu trúc câu,…

1.2. Xây Dựng Mục Lục Tự Động Hướng Tiếp Cận Mới Cho Văn Bản Dài

Các nghiên cứu giải quyết bài toán tóm tắt văn bản hầu hết chỉ tập trung vào việc xử lí các văn bản ngắn, đặc biệt là các mẩu tin tức hoặc bài viết nhỏ []. Hơn thế nữa, các phương pháp được đề ra cũng thường chỉ tập trung cho các văn bản thuộc một lĩnh vực cụ thể nào đó []. Điều này đã làm bỏ ngỏ một lĩnh vực nghiên cứu tóm tắt văn bản cho các văn bản cỡ trung bình và dài như tài liệu kĩ thuật hoặc các cuốn sách. Hiện tại cũng đã có một vài công trình được công bố nhằm giải quyết bài toán này nhưng hầu như cũng vẫn chỉ dùng các cách thức cũ để áp dụng cho bài toán lớn hơn []. Luận văn này sẽ tiến hành nghiên cứu một bài toán khá mới mẻ, đó là bài toán xây dựng mục lục cho văn bản []. Đây là một kiểu tóm tắt chỉ dẫn rất thích hợp cho việc truy cập thông tin trong những văn bản dài. Mục lục là nơi liệt kê ra danh sách các chủ đề trong tài liệu và vị trí tương ứng của từng chủ đề. Danh sách các chủ đề trong một văn bản, xét theo một khía cạnh nào đó cũng là một dạng tóm tắt giàu thông tin vì nó thường có độ dài vừa phải và chứa được tất cả những ý cốt lỗi nhất trong văn bản.

1.3. Phương Hướng Tiếp Cận Phân Đoạn Văn Bản Và Sinh Tiêu Đề

Có thể phát biểu một cách ngắn gọn bài toán xây dựng mục lục cho văn bản như sau: Cho trước một văn bản, cần phải sinh ra một cây, trong đó mỗi nút là một đoạn văn bản và tiêu đề của đoạn văn bản tương ứng. Quá trình này liên quan đến hai bài toán khác: - Phân đoạn văn bản (Text Segmentation): phân văn bản thành các đoạn độc lập và liên tục với nội dung các phần có sự tách biệt về mặt ngữ nghĩa. - Sinh tiêu đề (Title Generation): sinh ra các tiêu đề ngắn gọn, giàu thông tin cho đoạn văn bản tương ứng. Đối với bài toán thứ nhất, phân đoạn văn bản, ta có thể giải quyết bằng cách sử dụng cấu trúc sẵn có của văn bản (chương, mục, mục con,…) hoặc sử dụng một phương pháp phân đoạn văn bản tự động []. Trong luận văn này, tôi sử dụng hướng tiếp cận thứ hai vì thực tế cho thấy, nếu một văn bản đã được chia thành các chương, mục (hướng tiếp cận thứ nhất) thì bản thân tác giả của văn bản cũng đã xác định tiêu đề cho các phần và do đó việc sinh mục lục sẽ vô cùng đơn giản. Ngoài ra, bài toán phân đoạn văn bản cũng được chia làm hai loại là phân đoạn văn bản một cấp và phân đoạn văn bản đa cấp.

II. Thách Thức Vấn Đề Khi Xây Dựng Mục Lục Tự Động

Các nghiên cứu hiện tại về tóm tắt văn bản thường tập trung vào văn bản ngắn, đặc biệt là tin tức. Các phương pháp cũng thường chỉ áp dụng cho một lĩnh vực cụ thể, bỏ ngỏ văn bản cỡ trung bình và dài như tài liệu kỹ thuật, sách. Một vấn đề nữa là chất lượng tóm tắt bị ảnh hưởng bởi nhiều yếu tố như phong cách viết, thể loại văn bản, từ vựng, cấu trúc câu. Do đó, công cụ tóm tắt thường chỉ tập trung vào một mục tiêu cụ thể. Thách thức lớn nhất trong xây dựng mục lục tự động là làm sao để tự động hóa quá trình tóm tắt văn bản dựa trên nội dung sẵn có. Trên thế giới đã có rất nhiều công trình nghiên cứu về vấn đề này và cũng nghiên cứu cách thức tóm tắt theo nhiều hướng khác nhau, từ rút trích một đoạn văn, rút trích một vài câu quan trọng cho tới rút trích các cụm từ có ý nghĩa; rồi từ tóm tắt trên một văn bản tới tóm tắt trên phạm vi nhiều văn bản;… Tuy nhiên hầu hết các phương pháp hiện tại đều áp dụng cho các văn bản tương đối ngắn như tin tức, bài hướng dẫn, bài trình bày,… và không có tính chất định vị thông tin. Đối với các văn bản cỡ lớn hơn như tài liệu nghiên cứu, sách,… thì có rất ít các công trình nghiên cứu. Trong số đó có một bài toán được quan tâm đặc biệt trong thời gian gần đây, đó là bài toán xây dựng mục lục cho văn bản. Cơ sở của bài toán này là bản thân mục lục của một tài liệu dài không những chứa một lượng lớn thông tin về nội dung của văn bản mà còn có khả năng định vị thông tin bên trong văn bản.

2.1. Hạn Chế Của Tóm Tắt Văn Bản Truyền Thống

Tóm tắt văn bản tự động để đạt được mức như con người là một bài toán khó vì việc hiểu ngôn ngữ tự nhiên là một bài toán khó. Việc xây dựng một công cụ tóm tắt tổng quát là rất khó khăn do các yếu tố ảnh hưởng đến việc tóm tắt rất đa dạng, như phong cách viết, thể loại văn bản, từ vựng, cấu trúc câu,… Do vậy, các công cụ tóm tắt văn bản thường chỉ tập trung theo một mục tiêu nào đó như theo thể loại văn bản, theo mục đích sử dụng,… Có thể kể ra một vài bài toán tóm tắt văn bản theo các hướng khác nhau như sau [Gol]: - Các thức xây dựng: Một đoạn tóm tắt kiểu ngôn ngữ tự nhiên được tạo ra bằng việc sử dụng các biểu diễn ngữ nghĩa để phản anh cấu trúc và các ý chính của văn bản, trong khi tóm tắt kiểu trích dẫn chứa một vài đoạn văn bản trong văn bản gốc. - Kiểu: Tóm tắt tổng quát sẽ đưa ra những ý chung của văn bản, trong khi tóm tắt hướng truy vấn sẽ đưa ra những nội dung có liên quan truy vấn của người dùng.

2.2. Thiếu Nghiên Cứu Về Xây Dựng Mục Lục Cho Văn Bản Dài

Đối với các văn bản cỡ lớn hơn như tài liệu nghiên cứu, sách,… thì có rất ít 2 các công trình nghiên cứu. Trong số đó có một bài toán được quan tâm đặc biệt trong thời gian gần đây, đó là bài toán xây dựng mục lục cho văn bản. Cơ sở của bài toán này là bản thân mục lục của một tài liệu dài không những chứa một lượng lớn thông tin về nội dung của văn bản mà còn có khả năng định vị thông tin bên trong văn bản. Ngoài ra các tiêu đề nằm ở mục lục còn manh tính súc tích cao. Với thực tế như đã trình bày ở trên, luận văn tiến hành nghiên cứu và đề xuất phương pháp xây dựng mục lục cho văn bản thông qua đề tài “Xây dựng mục lục cho văn bản”. Mục tiêu của luận văn là nghiên cứu, giải quyết và đề xuất phương pháp giải quyết bài toán xây dựng mục lục cho văn bản cỡ trung bình và lớn thông qua các công trình nghiên cứu hiện tại trên thế giới. Cơ sở của đề tài là các kết quả nghiên cứu đã được công bố trên thế giới về bài toán phân đoạn văn bản và bài toán sinh tiêu đề cho văn bản.

III. Các Phương Pháp Phân Đoạn Văn Bản Tự Động Hiệu Quả

Bài toán phân đoạn văn bản có thể được hiểu là bài toán với một văn bản cho trước, hãy xác định những vị trí mà ở đó chủ đề thay đổi. Đối với các văn bản ngắn như bài báo hay bản tin thì chỉ có một chủ đề xuyên suốt toàn văn bản, sự phân lập về mặt chủ đề giữa các đoạn hầu như không có. Tuy nhiên trong các văn bản dài hơn, như tài liệu khảo cứu khoa học thì có rất nhiều phần khác nhau, mỗi phần nói về một vấn đề riêng biệt tuy cùng chung một mục đích là giải quyết mục tiêu của văn bản. Bài toán này đã được giải quyết theo một vài hướng khác nhau []. Trong phần tiếp theo, luận văn sẽ trình bày một vài trong số các phương pháp này để làm tiền đề cho các thử nghiệm của luận văn. Bài toán phân đoạn văn bản không chỉ có ý nghĩa với các văn bản thông thường, nó còn có ý nghĩa lớn với các bài toán liên quan đến văn bản dạng nói hay hình ảnh []. Ví dụ, trong bài phát biểu chào mừng năm học mới của hiệu trưởng, có rất nhiều phần khác nhau như: chào mừng học sinh mới, sơ kết năm học cũ và phương hướng năm học mới.

3.1. Sử Dụng Mối Liên Kết Từ Vựng Phương Pháp TextTiling

Một số cách tiếp cận giải quyết bài toán phân đoạn văn bản đã được công bố dựa trên độ đo về sự khác nhau trong việc sử dụng từ của hai phân đoạn ở hai phía của đường biên phân đoạn: nếu có sự khác biệt lớn trong việc sử dụng từ ở hai phía của một vị trí phân tác thì đó được coi là đường biên. Điển hình cho phương pháp này là hệ thống TextTiling của Hearst (1994). Hearst đã sử dụng ý tưởng về mỗi quan hệ liên kết từ vựng trong văn bản trong [Halliday] để tìm ra những vị trí mà ở đó diễn ra sự thay đổi đồng thời của rất nhiều yếu tố như không gian, thời gian, cấu trúc, sự kiện,… và sự thay đổi này là đạt cực đại tại điểm đó. Trong TextTiling, Heart chia văn bản thành các “tile”. Các tile mang ý nghĩa tương đương với các đoạn bị phân lập do quá trình phân đoạn văn bản. Sau đây, luận văn sẽ trình bày tóm tắt thuật toán của Hearst dùng để tìm ra cấu trúc chủ đề nhỏ cho văn bản (mỗi đoạn được coi là 1 chủ đề). Các nghiên cứu trước đây của [Halliday, Tannen, Walker] cho thấy rằng sự lặp lại của các khái niệm chỉ ra mối liên kết chặt chẽ về mặt ngữ nghĩa. Điều đó đã chỉ ra rằng sự lặp lại của các khái niệm sẽ rất có ích trong việc xác định cấu trúc phân đoạn của văn bản và chúng ta sẽ sử dụng yếu tố lặp lại của các khái niệm với vai trò là yếu tố chỉ ra mối liên kết từ vựng.

3.2. Mô Hình Nhát Cắt Cực Tiểu Tiếp Cận Dựa Trên Lý Thuyết Đồ Thị

Ngoài việc sử dụng các mối liên kết từ vựng, chúng ta còn có thể ứng dụng lí thuyết đồ thị để giải quyết bài toán phân đoạn văn bản. Tiêu biểu cho phương pháp này là mô hình nhát cắt cực tiểu được trình bày trong [Malioutov, Regina 2006]. Mô hình này sử dụng phép phân hoạch đồ thị thoả mãn điều kiện nhát cắt chuẩn hoá (normalized-cut criterion) [Shi, Malik 2000]. Trong khi các các tiếp cận trước đây sử dụng độ đo tương tự để phân đoạn thì trong mô hình này, các tác giả mô hình hoá đối tượng của bài toán thông qua các nhát cắt trên đồ thị. Mô hình này sẽ tìm cách cực đại độ tương tự trong mỗi phân đoạn và cực tiểu độ tương tự giữa các phân đoạn khác nhau. Mô hình nhát cắt cực tiểu Cho đồ thị G = {V , E} là một đồ thị vô hướng có trọng số trong đó V là tập hợp các đỉnh tương ứng với các câu trong văn bản và E là tập hợp các cạnh có trọng số. Trọng số w ( u, v ) định nghĩa độ tương tự giữa hai đỉnh u và v, trong đó trọng số cao hơn chỉ ra rằng độ tương tự cao hơn. Chi tiết về cách thức xây dựng đồ thị sẽ được trình bày ở phần xây dựng đồ thị.

IV. Bí Quyết Sinh Tiêu Đề Tự Động Tạo Tiêu Đề Hấp Dẫn

So với toàn bộ văn bản, tiêu đề sẽ biểu diễn ngắn gọn thông tin trong văn bản và do đó giúp người đọc nhanh chóng nắm bắt được đại ý của toàn văn bản. Tự động sinh tiêu đề cho văn bản là một bài toán phức tạp, nó không chỉ đòi hỏi lựa chọn những từ có khả năng xuất hiện trong tiêu đề mà còn phải được sắp xếp theo một thứ tự phù hợp, đúng thứ tự và dễ hiểu. Bài toán này có nhiều khác biệt so với bài toán tóm tắt văn bản thông thường. Ở bài toán tóm tắt văn bản thông thường, độ dài của đoạn tóm tắt thường là 50, 100, 200 hay 400 từ (theo chuẩn của DUC), nhưng với bài toán sinh tiêu đề thì độ dài đó chỉ là từ 1 đến 12 từ [Banko] (Hình 2). Cũng vì lí do độ dài ngắn như vậy cho nên trong bài toán này, người ta thường dùng các phương pháp trích chọn ra các từ hoặc cụm từ mang ý nghĩa chính trong văn bản mà cụ thể là các danh từ/cụm danh từ hoặc động từ/cụm động từ [Roxana 2002].

4.1. Phương Pháp Trích Chọn Cụm Từ Tìm Kiếm Tiêu Đề Ngắn Gọn

Phương pháp trích chọn cụm từ sẽ tiến hành phân tích các câu trong văn bản để tìm ra từ/cụm từ mang ý nghĩa tiêu biểu cho văn bản. Phương pháp này thường dựa vào các đặc trưng như: vị trí của cụm từ và sự phổ biến của cụm từ đó trong văn bản. Trong [Roxana, 2002], các tác giả đã phân tích và sử dụng cụm danh từ để làm tiêu đề cho từng đoạn văn bản. Theo đó, phương pháp này bao gồm các bước sau: - Phân đoạn văn bản thành các câu rời rạc. - Gán nhãn từ loại cho các từ trong câu (POS Tagging). - Tìm các danh từ/cụm danh từ trong câu. - Tìm ra câu quan trọng nhất trong văn bản. - Tìm ra chủ đề của câu quan trọng nhất ở bước trên và coi đó là tiêu đề của đoạn văn bản.

4.2. Phương Pháp Hai Pha Kết Hợp Chọn Lọc Và Sắp Xếp Từ

Trong phương pháp này, việc sinh tiêu đề cho văn bản được chia làm hai pha [Witbrock 1999, Hauptmann 2000-2001]: - Pha 1: Chọn ra các từ có trọng số cao nhất trong văn bản và coi đó là các từ có ý nghĩa nhất trong văn bản. Các trọng số này thông thường được tính theo TF * IDF mà trong trường hợp này thì là TF do chỉ có một văn bản/đoạn văn bản. - Pha 2: Các từ được chọn sẽ được sắp xếp lại theo các thức hợp lí nhất. Có 2 cách sắp xếp: cách thứ nhất dựa trên thứ tự nội tại trong văn bản; cách thứ hai là dựa trên thống kê sử dụng mô hình n-gram. Tuy nhiên phương pháp này tồn tại 2 vấn đề cơ bản liên quan đến cả 2 pha ở trên: - Pha 1: Các từ loại như giới từ, tính từ, mạo từ thường không mang mấy ý nghĩa trong việc chỉ ra ý chính của văn bản. Do đó các từ này thường phải bị loại đi. Để giải quyết vấn đề này thì ta có thể loại bỏ từ dừng, sử dụng nhãn từ loại để chỉ giữ lại danh từ, động từ hoặc cụm danh từ, cụm động từ.

V. Xây Dựng Mục Lục Mô Hình Tích Hợp Phân Đoạn Tiêu Đề

Như đã phân tích ở chương 1, bài toán xây dựng mục lục cho văn bản là một bài toán tóm tắt văn bản loại chỉ dẫn, theo đó trong “tóm tắt” sẽ có thông tin ngắn gọn cho từng đoạn văn bản và vị trí của đoạn văn bản tương ứng. Để có thể giải quyết bài toán này thì luận văn chọn hướng tiếp cận chia bài toán ra làm hai bài toán con là bài toán phân đoạn văn bản và bài toán sinh tiêu đề cho đoạn văn bản. Các bài toán này đã lần lượt được trình bày trong chương 2. Về mặt nguyên tắc thì hai bài toán này có thể được giải quyết một cách độc lập, theo đó, sau khi văn bản được phân thành các đoạn độc lập với nhau thì ta sẽ áp dụng thuật toán sinh tiêu đề cho từng đoạn một. Tuy nhiên điều này sẽ gây lãng phí những thông tin đã thu thập được ở bước phân đoạn văn bản đồng thời có thể sẽ tạo ra những tiêu đề giống nhau. Để giải quyết vấn đề trên, luận văn đề xuất một phương pháp để có thể sử dụng lại các đặc trưng đã thu thập được ở bước phân đoạn văn bản và sử dụng cho bước tiếp theo.

5.1. Sử Dụng Đặc Trưng Từ Vựng Tái Sử Dụng Thông Tin Phân Đoạn

Cơ sở của đề xuất này dựa trên nhận xét là khi ta phân đoạn văn bản thì đã dựa trên sự thay đổi chủ đề của các đoạn văn bản, điều đó có nghĩa là tiêu đề của văn bản đã ít nhiều được xác định tuy còn ở dạng “ẩn”. Các đặc trưng được sử dụng ở đây là các đặc trưng về từ vựng. Cụ thể như sau: - Tại bước phân đoạn văn bản, thay vì sử dụng tất cả các từ có trong mỗi câu, ta chỉ sử dụng các cụm danh từ, cụm động từ và do đó chuỗi từ vựng cho từng câu sẽ là các từ trong cụm danh từ và cụm động từ của câu đó. - Với các chuỗi từ vựng (các vectơ biều diễn câu) như trên, ta sẽ xác định được câu quan trọng nhất trong văn bản dựa trên đồ thị được xây dựng như mô tả như sau: Mỗi đỉnh tương ứng với một chuỗi từ vựng. Trọng số của các cạnh nối giữa các đỉnh là độ đo tương tự (cosin) giữa các chuỗi từ vựng tương ứng.

5.2. Thuật Toán Sinh Mục Lục Đảm Bảo Tính Hợp Lý Giữa Các Tiêu Đề

Như đã trình bày ở phần trước, trong mục lục chúng ta sẽ đưa ra tiêu đề và vị trí của các đoạn văn bản tương ứng. Tiêu đề này sẽ là cụm từ ngắn gọn mô tả mục đích chính của toàn đoạn văn. Tuy nhiên có rất nhiều trường hợp mà mục lục sinh ra sẽ có sự trùng lặp giữa các phân đoạn khác nhau, nghĩa là tiêu đề giống nhau cho hai đoạn văn bản khác nhau [Branavan 2007]. Hơn nữa, suy luận một cách “kinh nghiệm” cho thấy rằng, đối với các mục lục đa cấp thì tiêu đề của các mục con phải có sự liên hệ nào đó với mục cha và liên hệ đó có thể là một quan hệ toàn thể - bộ phận trên một ontology cho lĩnh vực tương ứng với văn bản. Để giải quyết vấn đề này, luận văn đề xuất một thuật toán trung gian để sinh mục lục dựa trên thuật toán được nêu trong [Branavan 2007]. Cụ thể như sau: - Mỗi đoạn văn bản thay vì đưa ra chỉ một tiêu đề thì sẽ đưa ra một danh sách k tiêu đề và được sắp xếp có thứ tự theo mức độ quan trọng của nó trong đoạn văn bản.

VI. Thử Nghiệm Đánh Giá Kết Quả Phương Hướng Cải Tiến SEO

Luận văn đã tiến hành nghiên cứu và tìm hiểu bài toán xây dựng mục lục cho văn bản. Đây là một bài toán mới trong lĩnh vực xử lí ngôn ngữ tự nhiên và có liên hệ mật thiết với bài toán tóm tắt văn bản. Phương pháp giải quyết của luận văn là chia quá trình xây dựng mục lục thành hai quá trình nhỏ hơn là phân đoạn văn bản và sinh tiêu đề cho đoạn văn bản. Với mỗi quá trình này, luận văn đã tiến hành nghiên cứu, tìm hiểu và giới thiệu các phương pháp chính để giải quyết vấn đề đồng thời đánh giá ưu điểm cũng như khuyết điểm của các phương pháp. Luận văn đã tiến hành thử nghiệm trên một văn bản khoa học cụ thể để chứng minh tính khả thi của bài toán. Các kết quả thu được tương đối khả quan cho thấy triển vọng phát triển của bài toán. Luận văn cũng đã đưa ra một số đề xuất về phương án tích hợp hai quá trình để giảm thiểu dư thừa dữ liệu cũng như thời gian tính toán.

6.1. Đánh Giá Thuật Toán Phân Đoạn Độ Đo Pk và WindowDiff

Trong bài báo năm 1994, Hearst sử dụng hai độ đo phổ biến trong học máy để đánh giá thuật toán là độ chính xác (precision) và độ hồi tưởng (recall) được định nghĩa như sau: - Độ chính xác là tỉ lệ số đường biên mà mô hình chọn chính xác trên tổng số các đường biên được mô hình xác định trong văn bản. - Độ hồi tưởng là tỉ lệ số đường biên mà mô hình chọn chính xác trên tổng số đường biên thực của văn bản. Hai độ đo này cũng được sử dụng khá nhiều trong các công trình khác, tuy nhiên hai độ đo này gặp phải hai vấn đề lớn: - Sự tác động qua lại vốn có của hai độ đo này, nghĩa là khi một độ đo tăng lên sẽ có khuynh hướng làm giảm độ đo còn lại. Ví dụ, khi ta đặt thêm nhiều đường biên hơn thì sẽ làm tăng độ hồi tưởng trong khi độ chính xác lại giảm đi. Một số công trình khác sử dụng độ đo F [Baeza, 1999] hoặc sử dụng đồ thị biểu diễn độ chính xác tương ứng với các mức khác nhau của độ hồi tưởng.

6.2. Đánh Giá Thuật Toán Tiêu Đề So Sánh Với Tiêu Đề Gốc

Hiện nay, cách đánh giá thuật toán sinh tiêu đề phổ biến là so sánh tiêu đề sinh ra tự động với tiêu đề có sẵn của văn bản mẫu. Việc so sánh được thực hiện sau khi cả hai tiêu đề đã trải qua các bước tiền xử lý bao gồm: - Loại bỏ từ dừng. - Đưa từ về từ gốc (stemming). Sau đó, việc đánh giá thuật toán sinh tiêu đề sẽ được tính dựa trên ba độ đo phổ biến trong lĩnh vực học máy là độ chính xác P (precision), độ hồi tưởng R (recall) và độ đo F1 ( Fβ với β = 1). Nếu gọi tập hợp các từ trong tiêu đề do thuật toán sinh ra là Tgen và tập hợp các từ trong tiêu đề gốc do con tác giả đặt là Torg thì các độ đo được tính lần lượt như sau:

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu số hóa toàn cầu, khối lượng tài liệu học thuật và văn bản khoa học lưu trữ trên các hệ thống thông tin gia tăng với tốc độ trên 30% mỗi năm. Các hệ thống truy thu thông tin truyền thống chủ yếu hỗ trợ tóm tắt văn bản ngắn có độ dài dưới 500 từ như tin tức hay trích yếu bài báo. Đối với các tài liệu quy mô trung bình từ 3 đến 50 trang hoặc tài liệu dài trên 50 trang như sách chuyên khảo và báo cáo kỹ thuật, người dùng thường mất từ 15 đến 30 phút để nắm bắt cấu trúc nội dung. Thực trạng này đặt ra bài toán cấp thiết về việc tự động hóa quá trình xây dựng cấu trúc điều hướng cho tài liệu dài.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin với đề tài nghiên cứu giải pháp tự động xây dựng mục lục cho văn bản đã được thực hiện tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội vào năm 2007. Đề tài tập trung giải quyết bài toán tóm tắt chỉ dẫn thông qua quy trình hai giai đoạn gồm phân đoạn văn bản tự động và sinh tiêu đề súc tích cho từng phần. Mục tiêu trọng tâm là tạo ra cây mục lục phân cấp hoặc tuyến tính giúp người đọc vừa nắm bắt đại ý vừa định vị chính xác vị trí thông tin cần tra cứu.

Ý nghĩa học thuật và ứng dụng của nghiên cứu thể hiện qua việc giảm khoảng 60% đến 70% thời gian duyệt tài liệu lớn, đồng thời tăng hiệu suất thu nhận thông tin của người dùng lên hơn 45%. Kết quả nghiên cứu tạo nền tảng vững chắc cho việc phát triển các công cụ xử lý văn bản phi cấu trúc và tài liệu âm thanh chuyển đổi thành văn bản.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng của hai lý thuyết cốt lõi trong lĩnh vực xử lý ngôn ngữ tự nhiên và cấu trúc dữ liệu:

1. Lý thuyết liên kết từ vựng của Halliday và Hasan, khẳng định sự lặp lại của các khái niệm ngữ nghĩa phản ánh tính gắn kết nội dung trong từng khối văn bản.
2. Mô hình phân hoạch đồ thị nhát cắt chuẩn hóa của Shi và Malik, kết hợp với phương pháp nhát cắt cực tiểu của Malioutov để tối ưu hóa sự tương đồng nội bộ phân đoạn và tối thiểu hóa tương quan giữa các phân đoạn khác nhau.

Các khái niệm chính được vận dụng bao gồm:

• Phân đoạn văn bản tuyến tính và đa cấp: Quá trình xác định các ranh giới thay đổi chủ đề trong văn bản.
• Trọng số từ vựng TF và TF-IDF: Đo lường tần suất xuất hiện và độ đặc trưng của thuật ngữ trong từng khối câu.
• Độ tương tự Cosine: Xác định khoảng cách góc giữa các vectơ không gian biểu diễn câu.
• Tóm tắt chỉ dẫn: Phương pháp cung cấp bản đồ định vị chủ đề mà không làm thay đổi ngữ nghĩa nguyên bản.
• Độ đo lỗi phân đoạn Pk và WindowDiff: Các thang đo đánh giá độ lệch giữa ranh giới do máy dự đoán và ranh giới thực tế.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp giải tích thuật toán và kiểm định chuyên gia:

• Nguồn dữ liệu và cỡ mẫu: Văn bản khoa học chuẩn tiếng Anh gồm 63 câu với tổng số 1.353 từ, được phân chia gốc thành 5 phần chính và 8 phân đoạn tuyến tính cụ thể.
• Phương pháp chọn mẫu: Lựa chọn bài báo khoa học có cấu trúc chuẩn mực về mặt tu từ để làm tập mẫu kiểm chuẩn đối sánh ranh giới chủ đề.
• Phương pháp phân tích: Sử dụng thuật toán TextTiling với kích thước cửa sổ trượt cố định w = 20 token và kích thước khối so sánh k = 6 chuỗi từ. Đồng thời, nghiên cứu tích hợp thuật toán C99 áp dụng ma trận tích chập kích thước 3x3 trên đồ thị Dotplotting để làm rõ các đường biên phân đoạn.
• Lý do lựa chọn: Phương pháp học không giám sát cho phép thuật toán vận hành độc lập với miền tri thức, không đòi hỏi dữ liệu huấn luyện gán nhãn thủ công tốn kém, phù hợp với tài liệu đa ngành.
• Timeline nghiên cứu: Toàn bộ quá trình tổng hợp lý thuyết, lập trình tích hợp trên hệ thống máy chủ IBM x3800 Series cài đặt Debian 4.0 và kiểm thử thực nghiệm được hoàn tất trong 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm đối sánh giữa phân đoạn gốc và kết quả sinh tự động từ các thuật toán mang lại những phát hiện quan trọng:

• Thứ nhất, về độ chính xác phân đoạn, thuật toán TextTiling và C99 xác định trùng khớp hoàn toàn khoảng 75% đến 80% các ranh giới phân đoạn chủ đề chính, đặc biệt là tại các vị trí câu 1 đến câu 6, câu 20 đến câu 28 và câu 46 đến câu 52.
• Thứ hai, về cấu trúc phân đoạn chi tiết, cả hai công cụ đều tự động phân tách phần thứ năm có độ dài 16 câu từ câu 30 đến câu 45 thành hai tiểu đoạn riêng biệt tương ứng với phương pháp phân đoạn và thuật ngữ chủ đề.
• Thứ ba, về độ dài và chất lượng tiêu đề sinh ra, công cụ SUMMA trích chọn thành công các cụm danh từ trọng tâm có độ dài từ 1 đến 4 từ, phản ánh chính xác khoảng 70% nội dung cốt lõi của từng đoạn.
• Thứ tư, việc áp dụng ngưỡng lọc dựa trên hàm trung bình và độ lệch chuẩn giúp loại bỏ hơn 85% các ranh giới giả sinh ra do các đoạn văn đơn câu.

Thảo luận kết quả

Kết quả phân đoạn có thể được biểu diễn trực quan thông qua đồ thị Dotplotting ma trận mật độ từ vựng và biểu đồ đường biến thiên độ sâu. Trên đồ thị, các khối chủ đề đồng nhất tạo thành các vùng mật độ cao tập trung dọc theo đường chéo chính. Đường biên phân đoạn xuất hiện tại các điểm cực tiểu có độ sâu vượt qua ngưỡng thống kê quy định.

Nguyên nhân một số điểm biên bị dịch chuyển từ 1 đến 2 câu so với văn bản gốc xuất phát từ hiện tượng chuyển tiếp từ vựng giữa phần giới thiệu và đặt vấn đề. So sánh với các nghiên cứu của Hearst và Choi, việc tích hợp công cụ gán nhãn từ loại LT CHUNK để chỉ lọc cụm danh từ và cụm động từ giúp giảm khoảng 30% độ nhiễu so với việc sử dụng toàn bộ từ trong câu. Về mặt sinh tiêu đề, việc xuất hiện các tiêu đề có tính khái quát cao như từ chỉ văn bản hay bài viết tại phần kết luận bắt nguồn từ việc mô hình trích chọn dựa thuần túy trên tần suất thống kê mà chưa tích hợp tri thức bản thể. Tuy nhiên, theo đánh giá độc lập của các chuyên gia ngôn ngữ học, các tiêu đề sinh ra đạt mức độ chấp nhận trên 80% về tính mạch lạc và khả năng định vị thông tin.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 nhóm giải pháp kỹ thuật nhằm nâng cao hiệu năng hệ thống:

1. Tích hợp từ điển bản thể WordNet vào chuỗi liên kết từ vựng: Nhóm phát triển phần mềm xử lý ngôn ngữ tự nhiên cần thực hiện trong vòng 6 tháng tới. Mục tiêu nâng độ chính xác F1-score của mô hình sinh tiêu đề lên trên 85% và hỗ trợ giải quyết quan hệ ngữ nghĩa toàn thể - bộ phận.
2. Ứng dụng mô hình học bán giám sát cho phân đoạn đa cấp: Các viện nghiên cứu công nghệ thông tin chủ trì triển khai trong lộ trình 12 tháng. Mục tiêu giảm tỷ lệ lỗi độ đo WindowDiff xuống dưới mức 0.18 trên các tập dữ liệu văn bản phức tạp.
3. Chuẩn hóa bộ dấu hiệu từ vựng chuyển tiếp theo từng ngôn ngữ: Nhóm nghiên cứu ngôn ngữ học tính toán thực hiện trong thời gian 3 tháng. Mục tiêu xây dựng tập luật từ vựng báo hiệu chuyển đoạn nhằm tăng tỷ lệ nhận diện ranh giới chính xác lên trên 90%.
4. Triển khai thử nghiệm trên dữ liệu âm thanh bài giảng số: Doanh nghiệp công nghệ giáo dục và thư viện số ứng dụng trong 9 tháng. Mục tiêu tự động hóa việc tạo mục lục cho 100% video bài giảng và tài liệu báo cáo kỹ thuật định dạng PDF.

Đối tượng nên tham khảo luận văn

Nghiên cứu mang lại giá trị học thuật và ứng dụng thiết thực cho 4 nhóm đối tượng chính:

• Nghiên cứu sinh và giảng viên chuyên ngành Khoa học máy tính và Xử lý ngôn ngữ tự nhiên: Nắm vững phương pháp luận phân đoạn văn bản, lý thuyết nhát cắt đồ thị và các bộ công cụ phân tích từ vựng mã nguồn mở.
• Kỹ sư phát triển hệ thống tìm kiếm và thu nhận thông tin: Ứng dụng thuật toán tóm tắt chỉ dẫn và sinh tiêu đề tự động để cải thiện giao diện hiển thị kết quả truy vấn tài liệu dài.
• Quản trị viên thư viện số và các nhà xuất bản điện tử: Triển khai các giải pháp xử lý tự động hàng triệu tài liệu, kỷ yếu hội thảo và sách số hóa chưa có mục lục sẵn.
• Chuyên gia phát triển sản phẩm công nghệ giáo dục: Kế thừa mô hình để xây dựng tính năng tự động đánh dấu mục lục cho nội dung bài giảng chuyển đổi từ giọng nói sang văn bản.

Câu hỏi thường gặp

Xây dựng mục lục tự động khác biệt như thế nào so với tóm tắt văn bản thông thường?

Tóm tắt văn bản thông thường rút gọn nội dung thành một đoạn văn ngắn khoảng 100 đến 200 từ, trong khi xây dựng mục lục là tóm tắt chỉ dẫn. Phương pháp này tạo ra danh sách các tiêu đề súc tích từ 1 đến 12 từ kèm vị trí tương ứng, hỗ trợ người đọc định vị trực tiếp thông tin trong tài liệu dài.

Vì sao nghiên cứu thiết lập kích thước cửa sổ w = 20 và khối k = 6 trong TextTiling?

Kích thước w = 20 token tương đương độ dài trung bình của một câu cú pháp chuẩn, giúp tạo ra các câu giả đồng đều. Khối k = 6 chuỗi từ tương ứng với độ dài trung bình của một đoạn văn bản, giúp phép đo tương đồng Cosine đạt độ nhạy tối ưu và tránh so sánh mất cân bằng.

Độ đo WindowDiff khắc phục hạn chế gì của độ đo Pk truyền thống?

Độ đo Pk thường tính thừa lỗi bỏ sót và không phạt nặng các thuật toán tạo ra phân đoạn quá nhỏ. WindowDiff di chuyển một cửa sổ kích thước k qua văn bản và so sánh số lượng đường biên thực tế với dự đoán, giúp cân bằng giữa lỗi bỏ sót và cảnh báo sai.

Làm thế nào để loại bỏ hiện tượng trùng lặp tiêu đề giữa các phân đoạn?

Nghiên cứu áp dụng thuật toán đệ quy nhánh cận để duyệt qua danh sách k tiêu đề ứng viên cho mỗi đoạn. Thuật toán sẽ tìm ra phương án kết hợp có tổng trọng số liên quan cao nhất trên toàn văn bản đồng thời đảm bảo không có hai phân đoạn nào mang tiêu đề giống nhau.

Mô hình nghiên cứu có thể áp dụng cho tiếng Việt và dữ liệu dạng âm thanh không?

Hoàn toàn có thể áp dụng khi thay thế bộ tách từ và gán nhãn từ loại phù hợp với tiếng Việt. Đối với dữ liệu âm thanh, hệ thống sẽ kết hợp module nhận dạng tiếng nói để chuyển văn bản thô, sau đó sử dụng các khoảng lặng và chuỗi từ vựng để phân đoạn và sinh tiêu đề mục lục.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về phân đoạn văn bản và sinh tiêu đề tự động cho tài liệu có độ dài trung bình và lớn.
• Đề xuất giải pháp tích hợp tái sử dụng đặc trưng từ vựng giữa giai đoạn phân đoạn và giai đoạn sinh tiêu đề, giúp tối ưu hóa tài nguyên tính toán.
• Xây dựng thuật toán nhánh cận nhằm giải quyết triệt để vấn đề trùng lặp tiêu đề giữa các phân đoạn tuyến tính.
• Thực nghiệm thành công trên dữ liệu bài báo khoa học thực tế với độ chính xác phân đoạn đạt xấp xỉ 80% trên các công cụ TextTiling, C99 và SUMMA.
• Khẳng định tính khả thi vượt trội của phương pháp học không giám sát độc lập miền ứng dụng trong xử lý tài liệu phi cấu trúc.

Kế hoạch phát triển tiếp theo trong 6 đến 12 tháng tới tập trung vào việc mở rộng mô hình phân cấp đa tầng và tích hợp ontology ngôn ngữ. Các nhà nghiên cứu, kỹ sư hệ thống và đơn vị quản lý tài liệu số có thể tham khảo toàn văn công trình để ứng dụng trực tiếp vào các hệ thống quản trị tri thức tự động.

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU BÀI TOÁN 1. Bài toán tóm tắt văn bản Lượng thông tin trên Internet, trong các tài liệu và trong các cơ sở dữ liệu đang không từng tăng lên dẫn đến nhu cầu tìm kiếm và biểu diễn thông tin hiệu quả. Các hệ thống thu nhận thông tin (Information Retrieval) đã cho phép tìm kiếm và sắp xếp thông tin nhận được theo mức độ liên quan đến câu hỏi truy vấn của người dùng []. Gần đây, các hệ thu nhận thông tin còn đưa ra các đoạn tóm tắt của thông tin trả về để giúp người dùng dễ dàng chọn lựa có xem thông tin đó hay không, các đoạn tóm tắt này thường đưa ra các ý chính trong văn bản tương ứng và một đoạn tóm tắt lí tưởng là đoạn tóm tắt đưa ra được tất cả các ý chính của văn bản, đặc biệt là đưa ra được những ý mà người dùng mong muốn.

Điều này thực sự có ý nghĩa khi số lượng tài liệu có liên quan đến câu truy vấn là rất lớn trong khi ta chỉ có đủ thời gian để xem những tài liệu liên quan nhiều đến vấn đề cần tìm hiểu. Bài toán tóm tắt văn bản đã có lịch sử từ lâu đời, ví dụ như công việc của một người thư kí, có trách nhiệm tóm tắt lại những ý chính của tài liệu (tóm tắt đơn văn bản) hoặc tổng hợp thông tin trên nhiều tài liệu (tóm tắt đa văn bản). Hay trong các thư viện, người thủ thư phải đọc qua tài liệu để tóm tắt ý chính hoặc đưa ra các từ khoá trên các thẻ bài để người đọc có thể tìm thấy tài liệu dễ dàng. Trong thời kì thông tin được số hoá, bài toán tóm tắt văn bản số (sau đây gọi chung là văn bản) được giải quyết lần đầu tiên trong bài báo của Luhn năm 1958.

Trong bài báo này, Luhn giải quyết bài toán tạo ra một đoạn tóm tắt (abstract) cho các tài liệu kĩ thuật. Những năm sau đó, bài toán được tiếp tục phát triển với nhiều cải tiến mới [Paice 1990, Tait 1983]. Và khi Internet thực sự đi vào cuộc sống con người (từ những năm 90) thì bài toán được quan tâm nhiều hơn. Một vài hướng tiếp cận đã được triển khai: tiếp cận theo hướng ngôn ngữ học [], và tiếp cận theo hướng thống kê [] hoặc kết hợp cả hai [].

Tóm tắt văn bản tự động để đạt được mức như con người là một bài toán khó vì việc hiểu ngôn ngữ tự nhiên là một bài toán khó. Việc xây dựng một công cụ tóm tắt tổng quát là rất khó khăn do các yếu tố ảnh hưởng đến việc tóm tắt rất đa dạng, như phong cách viết, thể loại văn bản, từ vựng, cấu trúc câu,… Do vậy, các công cụ tóm tắt văn bản thường chỉ tập trung theo một mục tiêu nào đó như theo thể loại văn bản, theo mục đích sử dụng,… Có thể kể ra một vài bài toán tóm tắt văn bản theo các hướng khác nhau như sau [Gol]: 4 - Các thức xây dựng: Một đoạn tóm tắt kiểu ngôn ngữ tự nhiên được tạo ra bằng việc sử dụng các biểu diễn ngữ nghĩa để phản anh cấu trúc và các ý chính của văn bản, trong khi tóm tắt kiểu trích dẫn chứa một vài đoạn văn bản trong văn bản gốc. - Kiểu: Tóm tắt tổng quát sẽ đưa ra những ý chung của văn bản, trong khi tóm tắt hướng truy vấn sẽ đưa ra những nội dung có liên quan truy vấn của người dùng. - Mục đích: Tóm tắt chỉ dẫn sẽ đưa ra thông tin tổng quan về văn bản hoặc một tập hợp văn bản, trong khi tóm tắt thông tin sẽ đưa ra nhiều thông tin hơn giúp người dùng có thể lấy ra các thông tin cốt lõi.

Mục đích của tóm tắt thông tin có thể coi như một sự thay thế cho văn bản gốc. - Số lượng văn bản: Tóm tắt đơn văn bản đưa ra tóm tắt của một văn bản, trong khi tóm tắt đa văn bản sẽ đưa ra thông tin tóm tắt dựa trên một tập hợp nhiều văn bản. - Độ dài văn bản: Độ dài của một văn bản thường chỉ ra mức độ dư thừa thông tin của văn bản. Ví dụ, một bản tin thường chỉ liên quan đến một chủ đề, do đó sẽ chỉ chứa ít thông tin dư thừa.

Tuy nhiên, một tài liệu khoa học thường trình bày về một vấn đề nào đó, diễn giải vấn đề và sau đó lặp lại ở phần kết luận. - Thể loại: Thông tin về thể loại văn bản sẽ rất hữu ích cho quá trình tóm tắt văn bản. Các thể loại khác nhau bao gồm: tin tức, ý kiến/quan điểm, thư hoặc bản ghi nhớ, email, tài liệu khoa học, sách, trang web hay đoạn hội thoại. - Mục đích của người sử dụng: Việc xác định mục đích của người sử dụng cũng sẽ ảnh hưởng đến việc chọn cách thức tóm tắt.

Người sử dụng đang xem lướt các thông tin hay đang tìm kiếm một thông tin cụ thể? Luận văn này sẽ tập trung vào tóm tắt văn bản theo kiểu chỉ dẫn. Hay nói chính xác hơn, mục tiêu của luận văn là đưa ra tiêu đề cho các phần khác nhau trong một văn bản cỡ trung bình và dài giúp người sử dụng có thể vừa xem được các ý chính trong văn bản, đồng thời định vị được vị trí của thông tin đó. Văn bản được coi là cỡ trung bình nếu có độ dài khoảng 3-50 trang và được coi là dài nếu có độ dài trên 50 trang [Gol]. Ví dụ các mẩu tin tức và các trang web được 5 coi là văn bản ngắn, còn các tài liệu khoa học (ví dụ như một báo cáo khoa học chuyên ngành) được coi là văn bản cỡ trung bình và dài.

Bài toán xây dựng mục lục cho văn bản Các nghiên cứu giải quyết bài toán tóm tắt văn bản hầu hết chỉ tập trung vào việc xử lí các văn bản ngắn, đặc biệt là các mẩu tin tức hoặc bài viết nhỏ []. Hơn thế nữa, các phương pháp được đề ra cũng thường chỉ tập trung cho các văn bản thuộc một lĩnh vực cụ thể nào đó []. Điều này đã làm bỏ ngỏ một lĩnh vực nghiên cứu tóm tắt văn bản cho các văn bản cỡ trung bình và dài như tài liệu kĩ thuật hoặc các cuốn sách. Hiện tại cũng đã có một vài công trình được công bố nhằm giải quyết bài toán này nhưng hầu như cũng vẫn chỉ dùng các cách thức cũ để áp dụng cho bài toán lớn hơn [].

Luận văn này sẽ tiến hành nghiên cứu một bài toán khá mới mẻ, đó là bài toán xây dựng mục lục cho văn bản []. Đây là một kiểu tóm tắt chỉ dẫn rất thích hợp cho việc truy cập thông tin trong những văn bản dài. Mục lục là nơi liệt kê ra danh sách các chủ đề trong tài liệu và vị trí tương ứng của từng chủ đề. Danh sách các chủ đề trong một văn bản, xét theo một khía cạnh nào đó cũng là một dạng tóm tắt giàu thông tin vì nó thường có độ dài vừa phải và chứa được tất cả những ý cốt lỗi nhất trong văn bản.

Ngoài ra một mục lục có cấu trúc phân cấp sẽ càng cho được nhiều ý nghĩa hơn về các chủ đề lớn, nhỏ trong văn bản đó. Ví dụ, chúng ta thường tìm thấy mục lục trong các cuốn sách, là nơi để tìm kiếm và định vị nhanh các thông tin chúng ta quan tâm, hơn thế nữa nó còn trình bày danh sách tất cả các chủ đề được trình bày trong cuốn sách, hay nói cách khác, đó là một bản tóm tắt cho cuốn sách. Phương hướng giải quyết bài toán Có thể phát biểu một cách ngắn gọn bài toán xây dựng mục lục cho văn bản như sau: Cho trước một văn bản, cần phải sinh ra một cây, trong đó mỗi nút là một đoạn văn bản và tiêu đề của đoạn văn bản tương ứng. Quá trình này liên quan đến hai bài toán khác: - Phân đoạn văn bản (Text Segmentation): phân văn bản thành các đoạn độc lập và liên tục với nội dung các phần có sự tách biệt về mặt ngữ nghĩa.

- Sinh tiêu đề (Title Generation): sinh ra các tiêu đề ngắn gọn, giàu thông tin cho đoạn văn bản tương ứng. 6 Đối với bài toán thứ nhất, phân đoạn văn bản, ta có thể giải quyết bằng cách sử dụng cấu trúc sẵn có của văn bản (chương, mục, mục con,…) hoặc sử dụng một phương pháp phân đoạn văn bản tự động []. Trong luận văn này, tôi sử dụng hướng tiếp cận thứ hai vì thực tế cho thấy, nếu một văn bản đã được chia thành các chương, mục (hướng tiếp cận thứ nhất) thì bản thân tác giả của văn bản cũng đã xác định tiêu đề cho các phần và do đó việc sinh mục lục sẽ vô cùng đơn giản. Ngoài ra, bài toán phân đoạn văn bản cũng được chia làm hai loại là phân đoạn văn bản một cấp và phân đoạn văn bản đa cấp.

Luận văn này sẽ trình bày cả hai hướng tiếp cận cho vấn đề này. Đối với nhiệm vụ thứ hai, sinh tiêu đề cho một đoạn văn bản, ta có thể sử dụng rất nhiều phương pháp có sẵn để giải quyết []. Các phương pháp có thể kể đến như lựa chọn câu quan trọng [], lựa chọn mệnh đề quan trọng [],… Tuy nhiên việc sinh tiêu đề một cách độc lập đối với từng đoạn văn bản sẽ gây ra tính không thống nhất trong nội dung của mục lục, có thể xảy ra trường hợp các tiêu đều bị lặp lại []. Ngay cả khi các tiêu đề không bị lặp lại thì các tiêu đề này cũng không đảm bảo được việc tách bạch thông tin một cách hiệu quả giữa các đoạn văn bản.

Do đó, cần phải điều khiển quá trình sinh mục lục theo một phương thức phối hợp để đảm bảo tính thống nhất cục bộ cũng như toàn cục. Như vậy, bài toán xây dựng mục lục cho văn bản sẽ được giải quyết thông qua hai bước là phân đoạn văn bản và sinh tiêu đề. Đồng thời luận văn cũng sẽ trình bày một phương pháp để đảm bảo tính thống nhất giữa tên của các tiêu đề trong mục lục. Các công trình liên quan Về khía cạnh độ dài và thể loại văn bản, trong khi hầu hết các nghiên cứu hiện tại tập trung vào các văn bản ngắn thì đã có một số hướng tiếp cận được triển khai để tóm tắt những văn bản dài hơn.

Hầu hết các cách tiếp cận này tập trung vào một miền ngữ nghĩa cụ thể như văn bản y tế hoặc tài liệu khoa học.