I. Tổng Quan Hệ Thống Hội Thoại cho Viện Bảo Tàng Khái Niệm
Trong lĩnh vực trích rút thông tin, hệ thống hội thoại (Question-Answering, viết tắt là QA) đảm nhận việc tự động trả lời các câu hỏi được nhập vào ở dạng ngôn ngữ tự nhiên. Hệ thống dựa vào cơ sở dữ liệu hay các văn bản ngôn ngữ tự nhiên có sẵn, đưa ra câu trả lời phù hợp theo ngôn ngữ tự nhiên. QA đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (natural language processing -NLP) hơn các dạng trích rút thông tin khác. QA là nền móng để phát triển hệ thống hội thoại, kết hợp QA với các cơ chế quản lý hội thoại (Dialogue Management), ta sẽ được một hệ thống hội thoại hoàn chỉnh. Cách trích rút thông tin truyền thống dựa vào ý tưởng coi tập văn bản như những nhóm từ riêng biệt, nhờ đó, nội dung ngữ nghĩa của văn bản tương đương với tập từ khóa nó chứa mà không quan tâm đến trật tự từ hay mối quan hệ trong câu. Tuy nhiên, chỉ có từ khoá thôi thì chưa đủ, trật tự từ và quan hệ ngữ pháp rất quan trọng trong việc quyết định nghĩa của câu. Hệ thống hội thoại dựa trên cách tiếp cận chú trọng hơn đến ngữ pháp câu thông qua việc cho phép người dùng nhập câu hỏi dưới dạng ngôn ngữ tự nhiên, đưa ra câu trả lời ngắn gọn theo ngôn ngữ tự nhiên.
1.1. So Sánh QA và Hệ Thống Tìm Kiếm Truyền Thống
Hệ thống QA khác biệt so với hệ thống tìm kiếm truyền thống. Theo tài liệu gốc, hệ thống QA đầu vào là câu hỏi ngôn ngữ tự nhiên và đầu ra là câu trả lời ngắn gọn. Trong khi đó, hệ thống tìm kiếm nhận đầu vào là chuỗi truy vấn chứa từ khóa và trả về một tập hợp tài liệu. Điều này cho thấy QA hướng đến việc tra cứu nhanh, còn hệ thống tìm kiếm phù hợp với nghiên cứu mở rộng. Sự khác biệt này nằm ở khả năng hiểu ngôn ngữ tự nhiên và trích xuất thông tin cụ thể, thay vì chỉ đơn thuần tìm kiếm các tài liệu liên quan.
1.2. Các Vấn Đề Cần Xử Lý trong Hệ Thống QA Tiêu Biểu
Thực tế đã có nhiều hệ thống hội thoại được xây dựng. Theo tài liệu, về cấu trúc của các hệ thống này có thể khác nhau, nhưng nhìn chung, đều có những vấn đề chính cần quan tâm xử lý là: phân loại câu hỏi, xử lý câu hỏi, tổ chức cơ sở dữ liệu, trích rút thông tin từ văn bản và sinh câu trả lời. Kiến trúc của một hệ thống QA bao gồm nhiều thành phần xử lý ngôn ngữ tự nhiên và quản lý thông tin. Việc giải quyết các vấn đề này một cách hiệu quả là chìa khóa để xây dựng một hệ thống QA thành công.
II. Thách Thức Xử Lý Ngôn Ngữ Tự Nhiên trong Hội Thoại
Nghiên cứu về ngữ pháp tiếng Việt cho thấy chưa có định nghĩa chuẩn về cách gọi loại từ cũng như ngữ pháp câu. Trong tiếng Việt, trật tự sắp đặt các từ là phương tiện chính để biểu thị quan hệ ngữ pháp giữa các từ trong một câu. Trật tự các yếu tố cấu thành được quy định bằng một vị trí nhất định, khi vị trí thay đổi thì nghĩa có thể thay đổi theo. Từ trong tiếng Việt có thể có một tiếng hay gồm nhiều tiếng. Hơn nữa, trong tiếng Việt, những từ nhiều tiếng lại có thể được ghép bởi những tiếng hay từ khác có nghĩa. Ví dụ hai từ một tiếng đất, nước có thể được ghép với nhau thành một từ có ý nghĩa trừu tượng hơn là đất nước. Ngoài ra còn có các cụm danh từ, động từ và tính từ với nhiều thành phần cấu tạo, đảm nhiệm các chức năng khác nhau trong câu.
2.1. Phép Lặp Từ và Câu Tỉnh Lược Rào Cản Xử Lý Hội Thoại
Các đại từ, đại từ sở hữu hay danh từ thường được sử dụng để chỉ đến những tri thức đã được nhắc đến trong các câu hỏi trước, phép ngữ pháp như vậy gọi là phép lặp từ (anaphora). Ví dụ, trong đoạn hội thoại, nếu câu hỏi trước là "Quyển sách bìa đỏ kia là sách tham khảo à?" và câu sau là "Nó bao nhiêu tiền?", hệ thống cần hiểu "nó" chính là "quyển sách màu đỏ kia". Tương tự, câu tỉnh lược là câu không hoàn chỉnh mà nghĩa của nó phụ thuộc vào đoạn hội thoại trước đó. Xử lý những trường hợp này đòi hỏi hệ thống phải duy trì một model hội thoại.
2.2. Ngữ Pháp Phức Tạp và Nhập Nhằng trong Tiếng Việt
Mặc dù có nhiều điểm căn bản giống với ngữ pháp tiếng Anh, ngữ pháp tiếng Việt có nhiều điểm khác biệt khiến cho cấu trúc ngữ pháp vô cùng phong phú. Việc xây dựng một lí thuyết ngữ pháp hoàn chỉnh là điều chưa làm được. Sự phức tạp của ngữ pháp tiếng Việt làm cho việc phân tích cấu trúc câu, phân loại và nhận diện câu trở nên vô cùng khó khăn. Bên cạnh đó, ngữ pháp tiếng Việt còn có hiện tượng đồng âm, đồng nghĩa, chuyển nghĩa của từ rất phức tạp. Đặc điểm Tiếng Việt là ngôn ngữ đơn âm tiết, điều này gây nên khó khăn ngay từ giai đoạn tách và phân loại từ vựng.
2.3. Đa Nghĩa của Đại Từ Nhân Xưng và Hướng Tiếp Cận
Một trong những vấn đề phức tạp nhất của tiếng Việt là sự đa dạng của đại từ xưng hô. Tùy vào mối quan hệ giữa người nói với nhau, hoặc giữa người nói với người thứ ba mà các đại từ xưng hô này khác nhau. Ví dụ, "Mẹ" trong câu hỏi của con và câu chuyện của hai chị em mang ý nghĩa ngữ pháp khác nhau. Để xử lý vấn đề này yêu cầu có kiến thức xã hội sâu sắc, điều này rất khó thực hiện khi xây dựng các thuật toán. Cách tiếp cận khả thi nhất đó là hướng vào việc xây dựng các hệ thống cụ thể hướng lĩnh vực.
III. Kiến Trúc Chung Hệ Thống Hội Thoại Mô Hình Tổng Quan
Các hệ thống hội thoại thực tế có thể có cấu trúc khác nhau nhưng đều phải tập trung xử lý các vấn đề cơ bản như phân loại và xử lý câu hỏi, tổ chức cấu trúc dữ liệu, cơ sở dữ liệu, trích rút thông tin, xử lý và sinh câu trả lời. Về kiến trúc của hệ thống hội thoại, có thể chia thành 2 nhóm chính để tiếp cận: nhóm liên quan đến xử lý câu hỏi và câu trả lời (information extraction & syntactic analysis), nhóm liên quan đến truy nhập, trích rút thông tin theo từ khóa (information retrieval).
3.1. Kỹ Thuật Nhận Dạng Câu Hỏi và Trả Lời Hiệu Quả
Khi một câu hỏi được đặt ra cho một người hay một hệ thống trả lời tự động, nhiệm vụ đầu tiên phải giải quyết nhằm đưa ra được câu trả lời là phải hiểu được câu hỏi. Quá trình xử lý một câu hỏi bao gồm các bước con như sau: Phân tích câu hỏi, phân tích ngữ pháp của câu, viết dạng câu trả lời, lọc dạng câu trả lời, lọc các quan hệ phù hợp, sắp xếp nghĩa theo xác suất và mở rộng truy vấn. Quá trình phân tích câu hỏi bao gồm việc phân tích cú pháp của câu hỏi, xác định loại câu trả lời mong đợi, tìm từ khóa có liên quan để thực hiện trích rút đoạn văn.
3.2. Phân Tích Câu Hỏi Tìm Dạng Câu Trả Lời Mong Đợi
Tác vụ phân tích câu hỏi có thể không rõ ràng đối với con người khi trả lời câu hỏi, tuy nhiên đối với một hệ thống trả lời tự động nó đóng vai trò cốt yếu quyết định độ chính xác của hệ thống. Chắt lọc thông tin ẩn chứa trong câu hỏi giữ vai trò quan trọng, căn bản, cho phép hệ thống thực thi đúng lệnh để đưa ra được câu trả lời đúng đắn cho câu hỏi đó. Khi việc phân tích câu hỏi thất bại, rất khó và gần như là không thể cho hệ thống hội thoại thực hiện nhiệm vụ của nó. Cách tiếp cận căn bản nhất để phân tích câu hỏi là chia nhiệm vụ thành 2 phần: tìm kiếm dạng câu trả lời mong đợi (EAT) và tìm kiếm trọng tâm của câu hỏi.
IV. Truy Vấn và Mở Rộng Truy Vấn trong Hệ Thống Hội Thoại
Truy vấn ban đầu xây dựng từ những từ khóa nhằm mục tiêu đạt độ chính xác cao và có khả năng trích rút ra một số những ứng viên cho câu trả lời thích hợp trong tập hợp lớn (quá trình lọc). Quá trình lọc dạng câu có nhiệm vụ kiểm tra các ứng viên câu trả lời có chứa những thực thể cần có ở câu trả lời mong đợi hay không và loại bỏ những câu không thích hợp. Bộ lọc câu có nhiệm vụ nhận biết các mối quan hệ giữa các thành phần từ khóa của câu hỏi, và tìm kiếm mối quan hệ tương tự trong những ứng viên câu trả lời. Điều này thường được thực hiện đựa vào một cây phụ thuộc mà cấu trúc do hệ thống quyết định.
4.1. Luật Phân Tích và Viết Dạng Câu Trả Lời Query Reformulation
Luật phân tích từ ngữ giúp hệ thống hiểu được ý nghĩa của các từ trong câu hỏi, bao gồm cả từ đồng nghĩa và các biến thể. Luật viết dạng câu trả lời (query reformulation) giúp hệ thống chuyển đổi câu hỏi thành một truy vấn phù hợp để tìm kiếm thông tin trong cơ sở dữ liệu. Kỹ thuật này đảm bảo rằng truy vấn được tối ưu hóa để tìm kiếm các câu trả lời chính xác và đầy đủ.
4.2. Kỹ Thuật Trích Rút Dữ Liệu và Trích Rút Câu Trả Lời Extraction
Sau khi có truy vấn, hệ thống cần trích rút dữ liệu từ cơ sở dữ liệu hoặc các nguồn thông tin khác. Kỹ thuật trích rút dữ liệu giúp hệ thống tìm kiếm các tài liệu liên quan đến câu hỏi. Sau đó, kỹ thuật trích rút câu trả lời (answer extraction) giúp hệ thống tìm kiếm các đoạn văn hoặc câu cụ thể trong các tài liệu đã trích rút có chứa câu trả lời. Quá trình này đảm bảo rằng hệ thống chỉ trả về thông tin phù hợp và chính xác cho người dùng.
4.3. Xử Lý Đại Từ Thay Thế và Hiện Tượng Tỉnh Lược Câu
Hệ thống cần có khả năng xử lý các đại từ thay thế (ví dụ: "nó", "anh ta") để hiểu rõ ngữ cảnh của câu hỏi. Ngoài ra, hệ thống cũng cần có khả năng xử lý hiện tượng tỉnh lược câu (ví dụ: "ở đâu?" thay vì "bức tranh này ở đâu?"). Kỹ thuật xử lý đại từ thay thế và tỉnh lược câu giúp hệ thống hiểu được ý định thực sự của người dùng, ngay cả khi câu hỏi không được diễn đạt một cách đầy đủ.
V. Cấu Trúc Cây Trie trong Phân Tích Câu Hỏi Tiếng Việt
Một trong những kỹ thuật được sử dụng để phân tích câu hỏi là sử dụng cây Trie (một dạng cây phụ thuộc). Vấn đề này sẽ được làm rõ trong chương sau. Trích rút từ khóa (keyword) đóng vai trò quan trọng trong hệ thống. Cây Trie giúp tổ chức dữ liệu từ khóa một cách hiệu quả, cho phép tìm kiếm và so sánh từ khóa nhanh chóng. Sử dụng cây Trie giúp hệ thống xác định được loại câu hỏi và câu trả lời mong đợi một cách chính xác.
5.1. Ứng Dụng Cây Trie Xác Định Thực Thể trong Câu Hỏi
Cấu trúc cây Trie có thể được sử dụng để xác định các thực thể quan trọng trong câu hỏi, chẳng hạn như tên người, địa điểm, hoặc sự kiện. Bằng cách duyệt qua cây Trie, hệ thống có thể xác định được các từ khóa và cụm từ có liên quan đến các thực thể này. Thông tin này có thể được sử dụng để cải thiện độ chính xác của quá trình phân tích câu hỏi và trích rút thông tin.
5.2. Phân Tích Câu Hỏi Dựa Vào Cấu Trúc Trie Hiệu Quả
Sử dụng cấu trúc Trie cho phép hệ thống phân tích câu hỏi một cách hiệu quả, đặc biệt là trong việc xác định loại câu hỏi và câu trả lời mong đợi. Bằng cách kết hợp cấu trúc Trie với các kỹ thuật xử lý ngôn ngữ tự nhiên khác, hệ thống có thể hiểu được ý định thực sự của người dùng và đưa ra các câu trả lời chính xác.
