Chương 1: Khái quát về bài toán phân tách cụm danh từ cơ sở 1. Giới thiệu bài toán Trong những năm gần đây, nhiều ứng dụng xử lý ngôn ngữ tự nhiên như trích chọn thông tin, tóm tắt văn bản, hỏi đáp và dịch máy phát triển mạnh mẽ đem lại nhiều lợi ích thiết thực. Trong các ứng dụng này, cụm danh từ cơ sở đóng một vai trò quan trọng. Chính vì vậy, ngay từ những năm 1990, đã có nhiều nghiên cứu liên quan đến lĩnh vực này trên tiếng Anh và cho đến nay các nghiên cứu đó vẫn liên tục được cải tiến và đã đạt được một số kết quả khả quan nhất định.
Các ngôn ngữ khác như tiếng Trung, tiếng Hàn Quốc, tiếng Ấn Độ … cũng rất được quan tâm và nghiên cứu khá nhiều. Nhiều công trình nghiên cứu và bài báo khoa học liên quan đến vấn đề này đã được công bố, điển hình phải kể đến hai hội nghị: Hội nghị về xử lý ngôn ngữ tự nhiên CoNLL1 năm 2000 với chủ đề chính là phân tách cụm từ và phân tách cụm danh từ; Hội nghị về phân tích sơ bộ các ngôn ngữ Nam Á SPSAL 2007 2. Đối với tiếng Việt, hiện nay hầu hết các nhà nghiên cứu mới chỉ tập trung vào bài toán tách từ và gán nhãn từ loại. Phân tách cum danh từ cơ sở tiếng Việt vẫn còn là bài toán mở.
Các nghiên cứu về bài toán này rất ít và mới chỉ dừng ở mức thử nghiệm quy mô nhỏ, chưa được công bố rộng rãi. Phân tách các cụm từ là bài toán chia một câu thành các cụm sao cho các từ trong cùng một cụm có liên quan với nhau về mặt cú pháp. Các cụm này không chồng lên nhau (non-overlapping) theo nghĩa một từ chỉ được phép thuộc một cụm duy nhất. Ví dụ câu tiếng Anh dưới đây sẽ được tách thành các cụm như sau: [NP He] [VP reckons] [NP the current account deficit] [VP will narrow] [PP to] [NP only £ 1.8 billion] Hoặc một câu tiếng Việt sẽ được tách thành các cụm như sau: [NP Cô ấy] [VP học] [PP ở] [NP trường Đại học Công nghệ] Ở đây, các cụm được biểu diễn như một nhóm các từ liền kề nhau nằm giữa hai dấu ngoặc vuông: Dấu ngoặc vuông mở biểu thị bắt đầu một cụm; Dấu ngoặc vuông đóng biểu thị kết thúc một cụm.
Các chữ viết hoa liền sau dấu ngoặc vuông mở là kí hiệu viết tắt biểu thị loại của các cụm, ví dụ NP là cụm danh từ, VP là cụm động từ, PP là cụm giới từ. Trong các loại cụm thì cụm danh từ chiếm tỷ lệ lớn nhất, tập dữ liệu 1 http://www.be/conll2000/ 2 http://shiva.in/SPSAL2007/ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 tiếng Anh WSJ 15-18 có tới 51% là cụm danh từ [12]. Hơn nữa, trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên, việc tách các cụm danh từ là bước trung gian quan trọng để xử lý các bước tiếp theo. Vì vậy, phân tách cụm danh từ cũng đóng vai trò quan trọng trong xử lý ngôn ngữ tự nhiên.
Phân tách cụm danh từ là một phần của bài toán phân tách cụm từ, giải quyết việc nhận biết các cụm danh từ không đệ quy (non-recursive noun phrase) hay cụm danh từ không chồng nhau (non-overlappling noun phrase) trong câu. Các cụm danh từ được phân tách ở đây là các cụm danh từ đơn giản, hay cụm danh từ cơ sở. Đó là các cụm danh từ không đệ quy, tức là không chứa một cụm danh từ khác bên trong nó và không chứa thành phần bổ nghĩa là một cụm danh từ. Trong khuôn khổ luận văn này, tôi chỉ tập trung giải quyết bài toán tách cụm danh từ cơ sở tiếng Việt.
Tuy nhiên, do các đặc trưng ngôn ngữ của tiếng Việt nên cấu trúc của cụm danh từ cơ sở tiếng Việt sẽ khác cấu trúc cụm danh từ đơn giản trong các xử lý trích cụm danh từ tiếng Anh. Đặc trưng và cấu trúc cụm danh từ cơ sở tiếng Việt sẽ được trình bày kỹ ở Chương 3. Một hệ thống phân tách cụm danh từ cơ sở tốt có thể được áp dụng trong nhiều bài toán như: Trong hệ thống tìm kiếm thông tin, thay vì tìm kiếm tài liệu chứa các từ riêng lẻ, hệ thống sẽ tìm kiếm dựa vào các cụm từ. Khi đó một số cụm từ và danh từ riêng sẽ rất hữu ích cho mục đích tìm kiếm tài liệu.
Phân tách các cụm từ cũng rất hữu ích cho các bài toán trích chọn thông tin, máy hỏi-đáp. Hệ thống dịch máy dựa vào thống kê có thể gồm các hệ con có nhiệm vụ dịch các cụm như cụm danh từ, cụm động từ, cụm giới từ,… như một tác vụ nhỏ trong quá trình dịch. Hệ dịch con có thể được huấn luyện trên tập dữ liệu học là các cụm danh từ, cụm động từ, cụm giới từ,… Với hệ dịch máy sử dụng tập dữ liệu huấn luyện song song, các cụm danh từ cũng được sử dụng để gióng hàng văn bản. Các câu trong tập dữ liệu song song được gióng hàng bằng cách sử dụng các thông tin cụm từ và liên kết cụm ở ngôn ngữ nguồn với cụm ở ngôn ngữ đích.
Phân tách cụm danh từ có thể được sử dụng như một bước tiền xử lý trước khi phân tích cả câu. Vì ngôn ngữ tự nhiên có tính nhập nhằng cao nên việc phân tích một câu có thể trở nên rất phức tạp. Trong những trường hợp này, phân tách cụm từ có thể được sử dụng như một bước tiền xử lý giải quyết những nhập nhằng này. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 Xác định đồng tham chiếu là bài toán xác định các cụm danh từ cùng tham chiếu tới một thực thể nào đó.
Xác định đồng tham chiếu là một trong những nghiên cứu cốt lõi trong xử lý ngôn ngữ tự nhiên, đóng vai trò quan trọng trong các lĩnh vực như máy hỏi-đáp, dịch tự động, tóm tắt văn bản. Để giải quyết bài toán phải qua nhiều bước, nhưng bước quan trọng đầu tiên là phải xác định được các cụm danh từ trong từng câu. Vì vậy, phân tách cụm danh từ là bài toán cơ sở để xác định tham chiếu trong văn bản. Trong hệ thống tự động sinh chỉ mục các thuật ngữ cho một cuốn sách, bước đầu tiên là phải xác định được các thuật ngữ để đánh chỉ mục.
Các thuật ngữ này thường là danh từ hoặc cụm danh từ. Do đó, bài toán phát hiện và phân tách cụm danh từ sẽ là một bước quan trọng trong quá trình sinh chỉ mục tự động. Một số nghiên cứu về bài toán phân tách cụm danh từ cơ sở Năm 1991, Stenven Abney đã đề xuất bài toán phân tích một câu đầu vào thành các cụm từ trong đó các từ trong cùng một cụm tương liên với nhau [7]. Nghiên cứu của tác giả dựa vào kết quả nghiên cứu của hai nhà tâm lý học Gee và Grojean (1983), theo đó các cụm là những quãng ngắt khi đọc một câu.
Giả sử khi đọc một câu, ta không đọc liền mạch cả câu đó mà sẽ ngắt ra thành các cụm như sau: [I begin] [with an intuition] : [when I read] [a sentence], [I read it] [a chunk] [at a time] Những cụm này được gọi là cụm . Cụm điển hình gồm một từ nội dung, xung quanh là các từ chức năng. Từ chức năng (function word) là những từ chứa ít nghĩa từ vựng hoặc nhập nhằng về ngữ nghĩa nhưng nó diễn tả quan hệ ngữ pháp với các từ khác trong một câu như giới từ, đại từ, …); Những từ không phải là từ chức năng được gọi là từ nội dung (content word). Sau Abney, một số nghiên cứu khác tập trung chủ yếu vào phát hiện các cụm danh từ ở mức thấp, thường là trích chọn các thuật ngữ (Bourigault 1992, Voutilainen 1993) (theo [19]) bằng cách sử dụng văn phạm.
Phải đến năm 1995 khi Lance Ramshaw và Mitch Marcus đề xuất phương pháp phân tách cụm từ bằng phương pháp học máy thì bài toán này mới được biết đến rộng rãi và được nhiều nhà khoa học quan tâm. Phương pháp học máy dựa vào biến đổi (Transformation-Based Learning - TBL) được Ramshaw và Marcus sử dụng và đem lại kết quả khả quan với F1 bằng 92. Hai tác giả cũng xây dựng bộ dữ liệu chuẩn tiếng Anh mà hầu hết các nghiên cứu sau này thường sử dụng để so sánh, đánh giá kết quả. Ba nhà nghiên cứu Abney, Ramshaw, Marcus được coi là những người đi tiên phong trong vấn đề này.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 Sau nghiên cứu của Ramshaw và Marcus, nhiều nhà nghiên cứu khác đã đi sâu tìm hiểu, giải quyết bài toán, trong đó phải kể tới hội nghị CONLL-2000 tập trung về phân tách cụm danh từ và các loại cụm từ khác. Nhiều phương pháp học máy khác nhau đã được sử dụng để thử nghiệm và thu được kết quả khá tốt. Có thể được chia thành bốn nhóm phương pháp: phương pháp học dựa vào luật, học dựa vào bộ nhớ, học thống kê và các hệ thống kết hợp. Một số kỹ thuật mới được phát triển gần đây như mô hình trường ngẫu nhiên có điều kiện (Conditional Random Fields, CRFs), phương pháp học cấu trúc, học bán giám sát,… cũng đã được áp dụng, phát triển.
Mặc dù đã được nghiên cứu trong gần hai mươi năm qua nhưng đến nay nhiều nhà nghiên cứu vẫn quan tâm và tìm cách cải tiến. Điều này chứng tỏ sự cần thiết và tầm quan trọng của một hệ thống phân tách cụm từ danh từ nói riêng và các cụm từ nói chung. Một số kết quả tốt nhất cho bài toán phân tách cụm danh từ cơ sở tiếng Anh được biểu diễn trong bảng 1. Bảng 1: Một số kết quả bài toán phân tách cụm danh từ cơ sở tiếng Anh Tác giả Phương pháp F1 Hieu, Minh 2006 [25] Trường ngẫu nhiên có điều kiện 96.74 Kudo, Matsumoto 2001 [34] Máy vector hỗ trợ 95.77 Sang 2000 [13] Kết hợp các phương pháp 94.90 Sha, Pereira 2003 [31] Trường ngẫu nhiên có điều kiện 94.38 Với các ngôn ngữ khác, hầu hết kết quả tách cụm danh từ thấp hơn khá nhiều so với tiếng Anh, do mỗi ngôn ngữ có những đặc trưng và khó khăn riêng.
Ngôn ngữ Trung Quốc đạt kết quả cao khi sử dụng phương pháp máy vector hỗ trợ và mô hình trường ngẫu nhiên có điều kiện [15]. Ba ngôn ngữ của Ấn Độ là Bengali, Hindi và Telugu đạt kết quả phân tách cụm từ cao nhất khi sử dụng phương pháp CRFs [10]. Ngôn ngữ Hàn Quốc cũng đạt kết quả rất cao với CRFs khi phân tách cụm danh từ cơ sở. Một số kết quả phân tách cụm danh từ của các ngôn ngữ khác được biểu diễn trong bảng 2.