CHƯƠNG 1: TỔNG QUAN VỀ GÁN NHÃN VAI TRÒ NGỮ NGHĨA Nội dung chính của chương là giới thiệu bài toán gán nhãn vai trò ngữ nghĩa theo các hướng tiếp cận khác nhau, đưa ra mô hình tổng quát của hệ thống gán nhãn vai trò ngữ nghĩa, ứng dụng của hệ thống trong xử lý ngôn ngữ tự nhiên.1 Giới thiệu Thông thường, gán nhãn vai trò ngữ nghĩa là quá trình gán một cấu trúc đơn giản: WHO did WHAT to WHOM, WHEN, WHERE, WHY, HOW,. cho một câu trong văn bản. (Ai? đã làm gì? với ai? khi nào? ở đâu? tại sao? như thếnào?. Ví dụ: (i) Mary hit Jack with a ball yesterday.
(ii) Jack was hit by Mary yesterday with a ball. Ta có thể thấy rằng “Mary, Jack, a ball, yesterday” đóng các vai trò ngữ nghĩa sau: “Người đánh, vật bị đánh, dụng cụ, thời gian” trong cả hai câu. Nhiệm vụ của gán nhãn vai trò ngữ nghĩa là gán các nhãn ngữ nghĩa đã được xác định trước cho những cụm từ này mà không quan tâm tới sự xuất hiện của chúng trong các nhận dạng cú pháp khác nhau. Lớp thông tin này rất cần thiết để hiểu một cách đầy đủ ý nghĩa của cả hai câu.
Tổng quát hơn, ví dụ trong nghiên cứu của (Levin 1993 [2]) đã minh họa hiện tượng thay thế một lớp động từ. Phép thay thế này trong nhận dạng cú pháp của argument ngữ nghĩa có phạm vi trải rộng, ảnh hưởng tới hầu hết các động từ trong tiếng Anh, và các thành phần được biểu thị bởi các động từ cụ thể, khá đa dạng. Trong những năm gần đây, những tiến bộ vượt bậc của các kỹ thuật phân tích cú pháp đã có ảnh hưởng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com không nhỏ đến các ứng dụng trong xử lý ngôn ngữ tự nhiên, tuy vậy, việc đi từ phân tích cú pháp tới hiểu đầy đủ ý nghĩa của một câu vẫn còn là một chặng đường dài để nghiên cứu. Điều này đã thôi thúc các nhà nghiên cứu phát triển một kỹ thuật tự động và chính xác cho vấn đề phân tích cú pháp lớp ngữ nghĩa, và đặt một bước tiến quan trọng hướng tới mục đích hiểu ngôn ngữ.
Gán nhãn vai trò ngữ nghĩa là một bài toán đã được định nghĩa tốt trong nhiều framework khác nhau, thu hút sự quan tâm của nhiều nhà nghiên cứu. Gán nhãn vai trò ngữ nghĩa hướng tới việc xác định và gán nhãn tất cả argument (hoặc vai trò ngữ nghĩa) cho mỗi vị tố xuất hiện trong câu. Cụ thể hơn, nhiệm vụ này bao gồm việc xác định các thành phần biểu diễn các argument của vị tố và gán nhãn các vai trò ngữ nghĩa cho các thành phần đó. Sau đây là một số ví dụ về các nhãn vai trò ngữ nghĩa: (i) [Agent Mary]hit [Theme Jack][Instrument with a ball][Temporal yesterday].
Trong các ví dụ này, thông tin được mô tả biễu diễn các nhãn vai trò ngữ nghĩa mà được gán cho các argument của vị tố (in nghiêng). Hai ví dụ đầu được phân tích sử dụng chú thích FrameNet, hai ví dụ còn lại được phân tích sử dụng kho ngữ liệu PropBank.2 Các phương pháp tiếp cận bài toán gán nhãn vai trò ngữ nghĩa 1.1 Tiếp cận theo luật Đây là cách tiếp cận truyền thống xuất phát từ cách làm của các hệ luật phát sinh trong hệ chuyên gia trong lĩnh vực trí tuệ nhân tạo (AI = Artificial Intelligence). Thông thường các hệ luật này được xây dựng bằng tay bởi các chuyên gia xử lý ngôn ngữ tự nhiên. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhiều nghiên cứu trước đó được thực hiện bởi Hirst (1987) [17] sử dụng một phép phân tích cú pháp dựa trên luật và biểu diễn tri thức dựa trên frame, tương tự như nghiên cứu của Fillmore (1976) [14], Hirst đã sử dụng phương pháp ánh xạ để kết nối các thành phần cú pháp tới các vị trí frame tương ứng của chúng và biểu diễn ngữ nghĩa của câu được xây dựng lần lượt từng thành phần.
Các nhóm tác giả Pustejovsky (1995) [30], Copestake và Flickinger (2000) [10] cũng đã có những nghiên cứu tương tự về các lớp từ vựng và ngữ pháp được xây dựng thủ công. Những nghiên cứu trước đây tập trung vào việc xác định các cấu trúc argument danh nghĩa sử dụng các cách tiếp cận tương tự như trên. Ví dụ, Dahl và cộng sự (1987) [3] đã sử dụng tập các quy tắc kết hợp các thành phần cú pháp với các vai trò ngữ nghĩa cho các vị tố danh nghĩa. Xét ví dụ sau của Dahl và cộng sự: Investigation revealed [Instrument metal] [Predicate contamination] in [Theme the filter].
Hệ thống tạo bởi Dahl và cộng sự sử dụng các luật sau để xác định các chất gây ô nhiễm (metal) và thực thể bị ô nhiễm (the filter): 1. Instrument là danh từ đứng trước vị tố contamination. Theme là đối tượng của cụm giới từ theo sau contamination. Các luật được định nghĩa trên cho phép hệ thống xác định đúng các lớp vai trò ngữ nghĩa trong ví dụ trên.
Hệ thống này không được đánh giá một cách chính thức nhưng hoàn toàn có cơ sở tin rằng các quy tắc trên có thể đúng khi được áp dụng. Các quy tắc trong nghiên cứu của Dahl và cộng sự đã cho thấy những ưu điểm và hạn chế thường gặp đối với các hệ thống gán nhãn ngữ nghĩa dựa trên hệ luật. Một mặt, nếu một luật chính xác cho ra một dự đoán, thì dự đoán đó gần như là đúng (ví dụ như việc xác định các nhãn Instrument và Theme bên trên). Hơn nữa, các hệ luật được xây dựng đầy đủ vì bất cứ một phép suy diễn nào LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cũng đều có thể được giải thích theo các luật đã tạo ra nó.
Tuy nhiên, các hệ thống được mô tả như trên có xu hướng dễ dàng bị phá vỡ đặc biệt khi được áp dụng trong các loại văn bản mà chưa được dự đoán trước. Đây là kết quả của bản chất “all or nothing” của việc giải thích ngữ nghĩa và cú pháp dựa trên hệ luật. Với tính linh hoạt, đa dạng của ngôn ngữ, chúng ta không ngạc nhiên, trong nhiều trường hợp, một tập giới hạn các quy tắc (luật) gặp thất bại khi áp dụng vào một câu trong ngôn ngữ tự nhiên. Vấn đề thực sự nảy sinh khi các nghiên cứu đòi hỏi cần mở rộng quy mô để bao quát hết các hiện tượng của ngôn ngữ.
Ban đầu, người ta cho rằng để mở rộng quy mô của hệ khử nhập nhằng ngữ nghĩa thì ta cứ việc thêm nhiều luật vào, nhưng thực tế đã cho thấy khi số luật tăng lên thì bản thân người thiết kế sẽ khó mà kiểm soát được tính hợp lý và tương thích của các bộ luật do mình đưa vào vì thế, sẽ xuất hiện nhiều luật mâu thuẫn nhau. Việc xây dựng một hệ luật như thế đòi hỏi công sức rất lớn và thường không bao quát hết mọi trường hợp, mặc dù, trong một số miền hẹp thì chúng tỏ ra hiệu quả. Kết quả là những hệ thống gán nhãn ngữ nghĩa được xây dựng trên luật sẽ có nguy cơ bị sụp đổ bởi chính sức nặng của chúng.2 Tiếp cận theo phương pháp thống kê Sự ra đời của các kho ngữ liệu lớn như FrameNet và PropBank đã cải tiến việc xử lý ngữ nghĩa dựa trên hệ luật sang phương pháp hướng ngữ liệu. Nghiên cứu của Gildea và Jurafsky (2002) [15] đã giải quyết bài toán SRL như một bài toán học máy có giám sát và sử dụng kho ngữ liệu FrameNet làm dữ liệu huấn luyện.
Gildea và Jurafsky đã sử dụng phương pháp thống kê cực đại hóa likelihood cho các đặc trưng cú pháp và từ vựng khác nhau để vừa phân biệt được các biên của phần tử frame bên trong văn bản vừa gán các nhãn vai trò ngữ nghĩa cho các phần tử được xác định. Mỗi ví dụ huấn luyện được phân tích thành một cây cú pháp sử dụng bộ phân tích cú pháp Collin (Collin, 1997 [9]) và một tập các đặc trưng cú pháp và từ vựng, như loại cụm từ của mỗi thành phần, LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com vị trí của nó,. được trích rút. Những đặc trưng này được kết hợp với các tri thức về vị tố, cũng như các thông tin về xác suất ưu tiên của các cách kết hợp khác nhau của vai trò ngữ nghĩa.
Nghiên cứu này đã đặt nền móng cho các hệ thống gán nhãn vai trò ngữ nghĩa tự động hiện nay. Gán nhãn ngữ nghĩa là một nhiệm vụ khá phức tạp, được phân tách thành các bài toán nhỏ hơn với các chiến lược gán nhãn khác nhau để có thể áp dụng được các phương pháp học máy. Vấn đề đầu tiên phải kể đến đó là việc chú thích cho các mệnh đề trong câu. Hầu hết các nhóm nghiên cứu tham dự CoNLL 2004 đều xác định việc chú thích vai trò ngữ nghĩa cho mỗi động từ vị ngữ trong câu là một nhiệm vụ độc lập.
Tuy nhiên hệ thống của Carreras và cộng sự (2004) [4] thực hiện chú thích đồng thời cho tất cả các mệnh đề. Do vậy, nhóm đầu tiên coi bài toán SRL tương tự với việc nhận dạng các cấu trúc dạng chuỗi (ví dụ bài toán chunking), trong khi đó, nhóm còn lại chỉ ra một cấu trúc phân cấp được hình thành bởi các argument của tất cả các mệnh đề. Các nghiên cứu này cũng đã chỉ ra ba chiến lược gán nhãn chủ yếu được sử dụng. Chiến lược đầu tiên xác định các ai trò một cách trực tiếp dựa vào việc gán nhãn chuỗi có định dạng BIO.
Chiến lược thứ hai bao gồm việc chia bài toán thành hai giai đoạn độc lập: giai đoạn nhận dạng (identification) các argument và giai đoạn gán nhãn (labelling). Chiến lược thứ ba cũng tiến hành dựa trên hai quá trình: quá trình lọc (filtering) quyết định tập argument và quá trình gán nhãn (labeling), trong đó, tập các argument tối ưu được rút ra từ tập ban đầu. Tốc độ phát triển nhanh chóng của các kỹ thuật học máy đã có nhiều đóng góp trong việc giải quyết bài toán gán nhãn vai trò ngữ nghĩa. Hacioglu và cộng sự tại hội nghị CoNLL 2004 [16] đã lựa chọn SVMs để thực hiện phân lớp vai trò ngữ nghĩa.
Động cơ khi chọn bộ phân lớp này là khả năng xử lý một số lượng cực lớn các đặc trưng tương tác hoặc đặc trưng chồng chéo với tính khái quát hóa cao. Cùng giải quyết bài toán này, Lim và cộng sự [21] đã đề xuất phương pháp gán nhãn sử dụng mô hình entropy cực đại (Maximum Entropy). LUAN VAN CHAT LUONG download : add luanvanchat@agmail.