CHƯƠNG I : TỔNG QUAN 1. Giới thiệu chung về hệ thống hội thoại Trong lĩnh vực trích rút thông tin, hệ thống hội thoại (Question-Answering, viết tắt là QA) đảm nhận việc tự động trả lời các câu hỏi được nhập vào ở dạng ngôn ngữ tự nhiên. Hệ thống dựa vào cơ sở dữ liệu hay các văn bản ngôn ngữ tự nhiên có sẵn, đưa ra câu trả lời phù hợp theo ngôn ngữ tự nhiên. QA đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (natural language processing -NLP) hơn các dạng trích rút thông tin khác, ví dụ như: trích rút văn bản (document retrieval).
QA là nền móng để phát triển hệ thống hội thoại, kết hợp QA với các cơ chế quản lý hội thoại (Dialogue Management), ta sẽ được một hệ thống hội thoại hoàn chỉnh, hệ thống và người dùng đều giao tiếp hỏi – trả lời. Cách trích rút thông tin tuyền thống là dựa vào ý tưởng coi tập văn bản như những nhóm từ riêng biệt, nhờ đó, nội dung ngữ nghĩa của văn bản tương đương với tập từ khoá (keyword) nó chứa mà không quan tâm đến trật tự từ hay mối quan hệ trong câu. Tuy nhiên, chỉ có từ khoá thôi thì chưa đủ, trật tự từ và quan hệ ngữ pháp rất quan trọng trong việc quyết định nghĩa của câu. Hệ thống hội thoại dựa trên cách tiếp cận chú trọng hơn đến ngữ pháp câu thông qua việc cho phép người dùng nhập câu hỏi dưới dạng ngôn ngữ tự nhiên, đưa ra câu trả lời ngắn gọn theo ngôn ngữ tự nhiên.
Sự khác nhau giữa QA và hệ thống tìm kiếm QA SEARCH Input Câu hỏi ngôn ngữ tự nhiên Chuỗi truy vấn chứa từ khoá Ouput Câu trả lời ngắn gọn Một tập hợp tài liệu Uses Tra cứu nhanh Nghiên cứu mở rộng 11 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng Thực tế đã có nhiều hệ thống hội thoại được xây dựng, về cấu trúc của các hệ thống này có thể khác nhau, nhưng nhìn chung, đều có những vấn đề chính cần quan tâm xử lý là: • Phân loại câu hỏi • Xử lý câu hỏi • Tổ chức cơ sở dữ liệu • Trích rút thông tin từ văn bản • Sinh câu trả lời. Kiến trúc một hệ thống QA Một vài hệ thống hội thoại tự động tiêu biểu trong thực tế như: • PiQASso (Attardi et al., 2001) • Ask MSR (Brill et al., 2002) • TREC (Text REtrieval Conference, từ 1990 đến nay ) PiQASso là hệ thống hội thoại dựa trên sự kết hợp của các kỹ thuật trích rút thông tin hiện đại với các bộ lọc ngôn ngữ để lựa chọn đoạn văn bản chứa thông tin phù hợp để trả lời. Bộ lọc ngôn ngữ được dựa trên rất nhiều công cụ xử lý ngôn ngữ 12 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng tự nhiên như: POS tagger (Part-Of-Speech Tagger - nhận diện loại từ), NE tagger T 71 T 71 (Name Entity Tagger – nhận diện thực thể) và cả CSDL về ngôn ngữ. Nó phân tích câu hỏi để tìm ra từ khóa để truy vấn và tìm ra EAT, phân tích các đoạn văn bao gồm cả việc kiểm tra sự có mặt của các thực thể của EAT và mối quan hệ giữa các từ.
AskMSR là hệ thống hội thoại có độ chính xác cao dựa vào việc phân tích lượng dữ liệu online lớn mà nó thu được hơn là dựa vào các kỹ thuật xử lý ngôn ngữ tự nhiên. Đây là hệ thống đơn giản nhưng hiệu quả. TREC thực hiện lưu trữ các câu hỏi được phân theo từng loại cụ thể (ví dụ: tổ chức, sự kiện,…). Việc phân loại câu hỏi và câu trả lời dựa trên tìm thông tin từ một số lượng lớn các văn bản, tài liệu.
Khó khăn trong xử lý ngôn ngữ tự nhiên 2. Cấu trúc ngữ pháp và các thành phần cấu tạo câu Trong nghiên cứu về ngữ pháp tiếng Việt chúng ta có thể thấy rằng chưa có một định nghĩa chuẩn về cách gọi của loại từ cũng như ngữ pháp câu tiếng Việt. Trong tiếng Việt trật tự sắp đặt các từ là phương tiện chính để biểu thị quan hệ ngữ pháp – tức là quan hệ cú pháp – giữa các từ trong một câu. Trật tự các yếu tố cấu thành được quy định bằng một vị trí nhất định.
Khi vị trí thay đổi thì nghĩa có thể thay đổi theo. Từ trong tiếng Việt có thể có một tiếng hay gồm nhiều tiếng. Hơn nữa, trong tiếng Việt, những từ nhiều tiếng lại có thể được ghép bởi những tiếng hay từ khác có nghĩa. Ví dụ hai từ một tiếng đất, nước có thể được ghép với nhau thành một từ có ý nghĩa trừu tượng hơn là đất nước.
Ngoài ra còn có các cụm danh từ, động từ và tính từ với nhiều thành phần cấu tạo, đảm nhiệm các chức năng khác nhau trong câu. 13 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng 2. Phép lặp từ Các đại từ, đại từ sở hữu hay danh từ thường được sử dụng để chỉ đến những tri thức đã được nhắc đến trong các câu hỏi trước, phép ngữ pháp như vậy gọi là phép lặp từ (anaphora). Xét đoạn hội thoaị sau: > Quyển sách bìa đỏ kia là sách tham khảo à? Đúng vậy.
> Nó bao nhiêu tiền? [Quyển sách màu đỏ kia] bao nhiêu tiền ? 20. Hệ thống phải hiểu được “nó” ở đây chính là “quyển sách màu đỏ kia”. Một phương pháp đơn giản để xử lý loại câu này là lưu trữ danh sách các tri thức đã được nêu trước đó. Khi gặp phải một đại từ, hệ thống kiểm tra lại danh sách từ điểm mới nhất và thay thế đại từ với tri thức gần nhất thỏa mãn ngữ pháp và giới hạn câu.
Phép lặp từ là vấn đề phổ biến trong xử lý ngôn ngữ tự nhiên. Câu tỉnh lược Hàng ngày, con người thường xuyên sử dụng câu không hoàn chỉnh (câu tỉnh lược) trong hội thoại, mà nghĩa của những câu đó phụ thuộc vào những đoạn hội thoại thực hiện trước đó. Xử lý những trường hợp phức tạp của câu tỉnh lược đòi hỏi hệ thống phải duy trì một model hội thoại, điều này không phải lúc nào cũng dễ dàng mặc dù việc bắt buộc phải hỏi câu hỏi đầy đủ khá là khó chịu với người sử dụng. Ngữ pháp phức tạp.
Mặc dù có nhiều điểm căn bản giống với ngữ pháp tiếng Anh – ngôn ngữ tự nhiên được nghiên cứu kỹ càng, tỉ mỉ nhất – nhưng do nhiều yếu tố khác nhau như lịch sử phát triển lâu dài cùng với sự tiếp thu của nhiều nền văn hóa, ngữ pháp tiếng Việt có nhiều điểm khác biệt khiến cho cấu trúc ngữ pháp vô cùng phong phú. Việc xây dựng một lí thuyết ngữ pháp hoàn chỉnh là điều chưa làm được. Sự phức tạp của ngữ pháp tiếng Việt làm cho việc phân tích cấu trúc câu, phân loại và nhận diện câu trở nên vô cùng khó khăn… 14 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng Bên cạnh đó ngữ pháp tiếng Việt còn có hiện tượng đồng âm, đồng nghĩa, chuyển nghĩa của từ rất phức tạp. Ví dụ: từ “phát triển” trong 2 cụm từ “phát triển đất nước” và “đất nước phát triển” là 2 loại từ khác nhau.
“Phát triển” trong cụm từ thứ nhất là động từ tác động vào danh từ “đất nước” trong khi “phát triển” trong cụm từ thứ hai lại là tính từ bổ nghĩa cho danh từ đất nước.Nhập nhằng trong việc tách từ và phân loại từ. Đặc điểm Tiếng Việt là ngôn ngữ đơn âm tiết, điều này gây nên khó khăn ngay từ giai đoạn tách và phân loại từ vựng. Ví dụ như câu: • “Cụ /già đi/ nhanh/ quá” • “Cụ già/đi/nhanh /quá” Mặc dù nội dung trung tâm của đề tài không nhằm vào vấn đề này nhưng giai đoạn tách từ chính là giai đoạn tiền xử lý của hệ thống, vì thế sự đúng đắn của nó có ảnh hưởng rất lớn đến sự đúng đắn của cả thuật toán. Sự nhập nhằng , đa nghĩa của đại từ.
Một trong những vấn đề phức tạp nhất của tiếng Việt là trong Tiếng Việt có rất nhiều đại từ xưng hô. Cặp xưng hô giữa 2 ngôi thứ nhất và thứ hai phổ biến như : tớ -ấy, tớ - cậu, tao mày… Vấn đề rắc rối nằm ở chỗ, tuỳ vào mối quan hệ giữa người nói với nhau, hoặc giữa người nói với người thứ ba mà các đại từ xưng hô này khác nhau. Ví dụ: • Mẹ và con nói chuyện với nhau : “Mẹ bao giờ đi làm ?” U U “Lát nữa”. • Hai chị em nới chuyện với nhau : “Mẹ đã đi làm chưa nhỉ?” U U “Hình như đi rồi” “Mẹ” trong hai ví dụ trên rõ ràng là mang ý nghĩa ngữ pháp khác nhau.
Để xử lý vấn đề này yêu cầu có kiến thức xã hội sâu sắc, điều này rất khó thực hiện khi xây dựng các thuật toán. Cách tiếp cận khả thi nhất đó là hướng vào việc xây dựng các hệ thống cụ thể hướng lĩnh vực. Ở đây, bằng mặc định, luận văn nghiên cứu cho hệ 15 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng thống hội thoại, do đó ưu tiên xét quan hệ xưng hô ngôi thứ nhất và ngôi thứ hai giữa người và máy. 16 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng CHƯƠNG II.
KIẾN TRÚC CHUNG HỆ THỐNG HỘI THOẠI Như đã nói ở phần trước, các hệ thống hội thoại thực tế có thể có cấu trúc sai khác nhau nhưng đều phải tập trung xử lý các vấn đề cơ bản • Phân loại và xử lý câu hỏi • Tổ chức cấu trúc dữ liệu • Cơ sở dữ liệu • Trích rút thông tin • Xử lý và sinh câu trả lời Hình 2. Lược đồ hệ thống hội thoại Trong chương này, ta sẽ tập trung tìm hiểu kiến trúc của một hệ thống hội thoại và đến chương III ta sẽ tìm hiểu thêm về cơ chế quản lý hội thoại, từ đó cài đặt thử nghiệm hệ thống hội thoại. 17 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng Về kiến trúc của hệ thống hội thoại, có thể chia thành 2 nhóm chính để tiếp cận: nhóm liên quan đến xử lý câu hỏi và câu trả lời (information extraction & syntactic analysis), nhóm liên quan đến truy nhập, trích rút thông tin theo từ khóa (information retrieval). Vì thế, ta sẽ tiếp cận hệ thống hội thoại theo 2 hệ thống con như trên.
Kỹ thuật nhận dạng câu hỏi và trả lời Khi một câu hỏi được đặt ra cho một người hay một hệ thống trả lời tự động, nhiệm vụ đầu tiên phải giải quyết nhằm đưa ra được câu trả lời là phải hiểu được câu hỏi.