Xây Dựng Hệ Thống Hội Thoại Ứng Dụng Cho Viện Bảo Tàng

Chuyên khảo kỹ thuật phân tích Xây dựng hệ thống hội thoại ứng dụng ho viện bảo tàng, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Bùi Thanh Tùng
• Người hướng dẫn: TS. Lê Thanh Hương
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Xây Dựng Hệ Thống Hội Thoại Ứng Dụng Cho Viện Bảo Tàng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG I: TỔNG QUAN
• 1.1. Giới thiệu chung về hệ thống hội thoại
• 1.2. Khó khăn trong xử lý ngôn ngữ tự nhiên
• 1.2.1. Cấu trúc ngữ pháp và các thành phần cấu tạo câu
• 1.2.2. Phép lặp từ
• 1.2.3. Câu tỉnh lược
• 1.2.4. Ngữ pháp phức tạp
• 1.2.5. Đặc điểm
• 2. CHƯƠNG II: KIẾN TRÚC CHUNG HỆ THỐNG HỘI THOẠI
• 2.1. Kỹ thuật nhận dạng câu hỏi và trả lời
• 2.1.1. Phân tích câu hỏi
• 3. CHƯƠNG III: HỆ THỐNG HỎI ĐÁP HƯỚNG CHỦ ĐỀ - ISSUED-BASED INFORMATION SYSTEM – IBiS
• 4. CHƯƠNG IV: CHƯƠNG TRÌNH CÀI ĐẶT THỬ NGHIỆM VÀ ĐÁNH GIÁ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Hệ Thống Hội Thoại cho Viện Bảo Tàng Khái Niệm

Trong lĩnh vực trích rút thông tin, hệ thống hội thoại (Question-Answering, viết tắt là QA) đảm nhận việc tự động trả lời các câu hỏi được nhập vào ở dạng ngôn ngữ tự nhiên. Hệ thống dựa vào cơ sở dữ liệu hay các văn bản ngôn ngữ tự nhiên có sẵn, đưa ra câu trả lời phù hợp theo ngôn ngữ tự nhiên. QA đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (natural language processing -NLP) hơn các dạng trích rút thông tin khác. QA là nền móng để phát triển hệ thống hội thoại, kết hợp QA với các cơ chế quản lý hội thoại (Dialogue Management), ta sẽ được một hệ thống hội thoại hoàn chỉnh. Cách trích rút thông tin truyền thống dựa vào ý tưởng coi tập văn bản như những nhóm từ riêng biệt, nhờ đó, nội dung ngữ nghĩa của văn bản tương đương với tập từ khóa nó chứa mà không quan tâm đến trật tự từ hay mối quan hệ trong câu. Tuy nhiên, chỉ có từ khoá thôi thì chưa đủ, trật tự từ và quan hệ ngữ pháp rất quan trọng trong việc quyết định nghĩa của câu. Hệ thống hội thoại dựa trên cách tiếp cận chú trọng hơn đến ngữ pháp câu thông qua việc cho phép người dùng nhập câu hỏi dưới dạng ngôn ngữ tự nhiên, đưa ra câu trả lời ngắn gọn theo ngôn ngữ tự nhiên.

1.1. So Sánh QA và Hệ Thống Tìm Kiếm Truyền Thống

Hệ thống QA khác biệt so với hệ thống tìm kiếm truyền thống. Theo tài liệu gốc, hệ thống QA đầu vào là câu hỏi ngôn ngữ tự nhiên và đầu ra là câu trả lời ngắn gọn. Trong khi đó, hệ thống tìm kiếm nhận đầu vào là chuỗi truy vấn chứa từ khóa và trả về một tập hợp tài liệu. Điều này cho thấy QA hướng đến việc tra cứu nhanh, còn hệ thống tìm kiếm phù hợp với nghiên cứu mở rộng. Sự khác biệt này nằm ở khả năng hiểu ngôn ngữ tự nhiên và trích xuất thông tin cụ thể, thay vì chỉ đơn thuần tìm kiếm các tài liệu liên quan.

1.2. Các Vấn Đề Cần Xử Lý trong Hệ Thống QA Tiêu Biểu

Thực tế đã có nhiều hệ thống hội thoại được xây dựng. Theo tài liệu, về cấu trúc của các hệ thống này có thể khác nhau, nhưng nhìn chung, đều có những vấn đề chính cần quan tâm xử lý là: phân loại câu hỏi, xử lý câu hỏi, tổ chức cơ sở dữ liệu, trích rút thông tin từ văn bản và sinh câu trả lời. Kiến trúc của một hệ thống QA bao gồm nhiều thành phần xử lý ngôn ngữ tự nhiên và quản lý thông tin. Việc giải quyết các vấn đề này một cách hiệu quả là chìa khóa để xây dựng một hệ thống QA thành công.

II. Thách Thức Xử Lý Ngôn Ngữ Tự Nhiên trong Hội Thoại

Nghiên cứu về ngữ pháp tiếng Việt cho thấy chưa có định nghĩa chuẩn về cách gọi loại từ cũng như ngữ pháp câu. Trong tiếng Việt, trật tự sắp đặt các từ là phương tiện chính để biểu thị quan hệ ngữ pháp giữa các từ trong một câu. Trật tự các yếu tố cấu thành được quy định bằng một vị trí nhất định, khi vị trí thay đổi thì nghĩa có thể thay đổi theo. Từ trong tiếng Việt có thể có một tiếng hay gồm nhiều tiếng. Hơn nữa, trong tiếng Việt, những từ nhiều tiếng lại có thể được ghép bởi những tiếng hay từ khác có nghĩa. Ví dụ hai từ một tiếng đất, nước có thể được ghép với nhau thành một từ có ý nghĩa trừu tượng hơn là đất nước. Ngoài ra còn có các cụm danh từ, động từ và tính từ với nhiều thành phần cấu tạo, đảm nhiệm các chức năng khác nhau trong câu.

2.1. Phép Lặp Từ và Câu Tỉnh Lược Rào Cản Xử Lý Hội Thoại

Các đại từ, đại từ sở hữu hay danh từ thường được sử dụng để chỉ đến những tri thức đã được nhắc đến trong các câu hỏi trước, phép ngữ pháp như vậy gọi là phép lặp từ (anaphora). Ví dụ, trong đoạn hội thoại, nếu câu hỏi trước là "Quyển sách bìa đỏ kia là sách tham khảo à?" và câu sau là "Nó bao nhiêu tiền?", hệ thống cần hiểu "nó" chính là "quyển sách màu đỏ kia". Tương tự, câu tỉnh lược là câu không hoàn chỉnh mà nghĩa của nó phụ thuộc vào đoạn hội thoại trước đó. Xử lý những trường hợp này đòi hỏi hệ thống phải duy trì một model hội thoại.

2.2. Ngữ Pháp Phức Tạp và Nhập Nhằng trong Tiếng Việt

Mặc dù có nhiều điểm căn bản giống với ngữ pháp tiếng Anh, ngữ pháp tiếng Việt có nhiều điểm khác biệt khiến cho cấu trúc ngữ pháp vô cùng phong phú. Việc xây dựng một lí thuyết ngữ pháp hoàn chỉnh là điều chưa làm được. Sự phức tạp của ngữ pháp tiếng Việt làm cho việc phân tích cấu trúc câu, phân loại và nhận diện câu trở nên vô cùng khó khăn. Bên cạnh đó, ngữ pháp tiếng Việt còn có hiện tượng đồng âm, đồng nghĩa, chuyển nghĩa của từ rất phức tạp. Đặc điểm Tiếng Việt là ngôn ngữ đơn âm tiết, điều này gây nên khó khăn ngay từ giai đoạn tách và phân loại từ vựng.

2.3. Đa Nghĩa của Đại Từ Nhân Xưng và Hướng Tiếp Cận

Một trong những vấn đề phức tạp nhất của tiếng Việt là sự đa dạng của đại từ xưng hô. Tùy vào mối quan hệ giữa người nói với nhau, hoặc giữa người nói với người thứ ba mà các đại từ xưng hô này khác nhau. Ví dụ, "Mẹ" trong câu hỏi của con và câu chuyện của hai chị em mang ý nghĩa ngữ pháp khác nhau. Để xử lý vấn đề này yêu cầu có kiến thức xã hội sâu sắc, điều này rất khó thực hiện khi xây dựng các thuật toán. Cách tiếp cận khả thi nhất đó là hướng vào việc xây dựng các hệ thống cụ thể hướng lĩnh vực.

III. Kiến Trúc Chung Hệ Thống Hội Thoại Mô Hình Tổng Quan

Các hệ thống hội thoại thực tế có thể có cấu trúc khác nhau nhưng đều phải tập trung xử lý các vấn đề cơ bản như phân loại và xử lý câu hỏi, tổ chức cấu trúc dữ liệu, cơ sở dữ liệu, trích rút thông tin, xử lý và sinh câu trả lời. Về kiến trúc của hệ thống hội thoại, có thể chia thành 2 nhóm chính để tiếp cận: nhóm liên quan đến xử lý câu hỏi và câu trả lời (information extraction & syntactic analysis), nhóm liên quan đến truy nhập, trích rút thông tin theo từ khóa (information retrieval).

3.1. Kỹ Thuật Nhận Dạng Câu Hỏi và Trả Lời Hiệu Quả

Khi một câu hỏi được đặt ra cho một người hay một hệ thống trả lời tự động, nhiệm vụ đầu tiên phải giải quyết nhằm đưa ra được câu trả lời là phải hiểu được câu hỏi. Quá trình xử lý một câu hỏi bao gồm các bước con như sau: Phân tích câu hỏi, phân tích ngữ pháp của câu, viết dạng câu trả lời, lọc dạng câu trả lời, lọc các quan hệ phù hợp, sắp xếp nghĩa theo xác suất và mở rộng truy vấn. Quá trình phân tích câu hỏi bao gồm việc phân tích cú pháp của câu hỏi, xác định loại câu trả lời mong đợi, tìm từ khóa có liên quan để thực hiện trích rút đoạn văn.

3.2. Phân Tích Câu Hỏi Tìm Dạng Câu Trả Lời Mong Đợi

Tác vụ phân tích câu hỏi có thể không rõ ràng đối với con người khi trả lời câu hỏi, tuy nhiên đối với một hệ thống trả lời tự động nó đóng vai trò cốt yếu quyết định độ chính xác của hệ thống. Chắt lọc thông tin ẩn chứa trong câu hỏi giữ vai trò quan trọng, căn bản, cho phép hệ thống thực thi đúng lệnh để đưa ra được câu trả lời đúng đắn cho câu hỏi đó. Khi việc phân tích câu hỏi thất bại, rất khó và gần như là không thể cho hệ thống hội thoại thực hiện nhiệm vụ của nó. Cách tiếp cận căn bản nhất để phân tích câu hỏi là chia nhiệm vụ thành 2 phần: tìm kiếm dạng câu trả lời mong đợi (EAT) và tìm kiếm trọng tâm của câu hỏi.

IV. Truy Vấn và Mở Rộng Truy Vấn trong Hệ Thống Hội Thoại

Truy vấn ban đầu xây dựng từ những từ khóa nhằm mục tiêu đạt độ chính xác cao và có khả năng trích rút ra một số những ứng viên cho câu trả lời thích hợp trong tập hợp lớn (quá trình lọc). Quá trình lọc dạng câu có nhiệm vụ kiểm tra các ứng viên câu trả lời có chứa những thực thể cần có ở câu trả lời mong đợi hay không và loại bỏ những câu không thích hợp. Bộ lọc câu có nhiệm vụ nhận biết các mối quan hệ giữa các thành phần từ khóa của câu hỏi, và tìm kiếm mối quan hệ tương tự trong những ứng viên câu trả lời. Điều này thường được thực hiện đựa vào một cây phụ thuộc mà cấu trúc do hệ thống quyết định.

4.1. Luật Phân Tích và Viết Dạng Câu Trả Lời Query Reformulation

Luật phân tích từ ngữ giúp hệ thống hiểu được ý nghĩa của các từ trong câu hỏi, bao gồm cả từ đồng nghĩa và các biến thể. Luật viết dạng câu trả lời (query reformulation) giúp hệ thống chuyển đổi câu hỏi thành một truy vấn phù hợp để tìm kiếm thông tin trong cơ sở dữ liệu. Kỹ thuật này đảm bảo rằng truy vấn được tối ưu hóa để tìm kiếm các câu trả lời chính xác và đầy đủ.

4.2. Kỹ Thuật Trích Rút Dữ Liệu và Trích Rút Câu Trả Lời Extraction

Sau khi có truy vấn, hệ thống cần trích rút dữ liệu từ cơ sở dữ liệu hoặc các nguồn thông tin khác. Kỹ thuật trích rút dữ liệu giúp hệ thống tìm kiếm các tài liệu liên quan đến câu hỏi. Sau đó, kỹ thuật trích rút câu trả lời (answer extraction) giúp hệ thống tìm kiếm các đoạn văn hoặc câu cụ thể trong các tài liệu đã trích rút có chứa câu trả lời. Quá trình này đảm bảo rằng hệ thống chỉ trả về thông tin phù hợp và chính xác cho người dùng.

4.3. Xử Lý Đại Từ Thay Thế và Hiện Tượng Tỉnh Lược Câu

Hệ thống cần có khả năng xử lý các đại từ thay thế (ví dụ: "nó", "anh ta") để hiểu rõ ngữ cảnh của câu hỏi. Ngoài ra, hệ thống cũng cần có khả năng xử lý hiện tượng tỉnh lược câu (ví dụ: "ở đâu?" thay vì "bức tranh này ở đâu?"). Kỹ thuật xử lý đại từ thay thế và tỉnh lược câu giúp hệ thống hiểu được ý định thực sự của người dùng, ngay cả khi câu hỏi không được diễn đạt một cách đầy đủ.

V. Cấu Trúc Cây Trie trong Phân Tích Câu Hỏi Tiếng Việt

Một trong những kỹ thuật được sử dụng để phân tích câu hỏi là sử dụng cây Trie (một dạng cây phụ thuộc). Vấn đề này sẽ được làm rõ trong chương sau. Trích rút từ khóa (keyword) đóng vai trò quan trọng trong hệ thống. Cây Trie giúp tổ chức dữ liệu từ khóa một cách hiệu quả, cho phép tìm kiếm và so sánh từ khóa nhanh chóng. Sử dụng cây Trie giúp hệ thống xác định được loại câu hỏi và câu trả lời mong đợi một cách chính xác.

5.1. Ứng Dụng Cây Trie Xác Định Thực Thể trong Câu Hỏi

Cấu trúc cây Trie có thể được sử dụng để xác định các thực thể quan trọng trong câu hỏi, chẳng hạn như tên người, địa điểm, hoặc sự kiện. Bằng cách duyệt qua cây Trie, hệ thống có thể xác định được các từ khóa và cụm từ có liên quan đến các thực thể này. Thông tin này có thể được sử dụng để cải thiện độ chính xác của quá trình phân tích câu hỏi và trích rút thông tin.

5.2. Phân Tích Câu Hỏi Dựa Vào Cấu Trúc Trie Hiệu Quả

Sử dụng cấu trúc Trie cho phép hệ thống phân tích câu hỏi một cách hiệu quả, đặc biệt là trong việc xác định loại câu hỏi và câu trả lời mong đợi. Bằng cách kết hợp cấu trúc Trie với các kỹ thuật xử lý ngôn ngữ tự nhiên khác, hệ thống có thể hiểu được ý định thực sự của người dùng và đưa ra các câu trả lời chính xác.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh kỷ nguyên bùng nổ thông tin số, nhu cầu truy xuất thông tin nhanh chóng, chính xác và tiện lợi ngày càng trở nên cấp thiết. Theo ước tính, lượng dữ liệu số toàn cầu tăng trưởng với tốc độ hàng chục phần trăm mỗi năm, đòi hỏi các hệ thống trích rút thông tin phải ngày càng thông minh và hiệu quả hơn. Luận văn tập trung nghiên cứu xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng, nhằm giải quyết bài toán trích rút thông tin từ các cơ sở dữ liệu chuyên ngành bằng ngôn ngữ tự nhiên tiếng Việt. Mục tiêu cụ thể là phát triển một hệ thống hội thoại có khả năng nhận dạng, phân tích câu hỏi, xử lý hiện tượng đồng tham chiếu và tỉnh lược trong tiếng Việt, đồng thời trích rút và sinh câu trả lời chính xác, ngắn gọn. Phạm vi nghiên cứu tập trung vào lĩnh vực công nghệ thông tin, ứng dụng trong môi trường viện bảo tàng tại Việt Nam, với dữ liệu thu thập và xử lý trong khoảng thời gian từ năm 2009 đến 2011. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao hiệu quả truy vấn thông tin trong các hệ thống bảo tàng, góp phần cải thiện trải nghiệm người dùng và hỗ trợ công tác quản lý, giới thiệu hiện vật. Các chỉ số đánh giá hiệu quả bao gồm độ chính xác câu trả lời, tốc độ phản hồi và khả năng xử lý các câu hỏi phức tạp liên quan đến ngôn ngữ tự nhiên tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: lý thuyết xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) và mô hình hệ thống hội thoại hướng chủ đề (Issue-Based Information System - IBiS). Trong đó, NLP cung cấp các kỹ thuật phân tích cú pháp, nhận dạng thực thể, xử lý đồng tham chiếu và tỉnh lược câu, giúp hệ thống hiểu và xử lý câu hỏi tiếng Việt phức tạp. Mô hình IBiS được áp dụng để quản lý hội thoại theo chủ đề, cho phép hệ thống duy trì trạng thái thông tin, xử lý các bước hội thoại (dialogue moves) và tạo ra câu trả lời phù hợp. Các khái niệm chuyên ngành quan trọng bao gồm:

• EAT (Expected Answer Type): Dạng câu trả lời mong đợi, giúp phân loại câu hỏi và hướng trích rút thông tin.
• Trie: Cấu trúc dữ liệu cây dùng để phân tích và nhận dạng mẫu câu hỏi dựa trên các token và thực thể.
• Anaphora (đồng tham chiếu): Hiện tượng đại từ thay thế cho danh từ hoặc cụm danh từ đã nhắc đến trước đó.
• Contextual Ellipsis (tỉnh lược ngữ pháp): Hiện tượng câu thiếu thành phần ngữ pháp nhưng có thể khôi phục dựa vào ngữ cảnh hội thoại.
• Dialogue Move Engine (DME): Bộ điều khiển các bước hội thoại trong hệ thống IBiS.

Phương pháp nghiên cứu

Nguồn dữ liệu chính bao gồm các văn bản, bảng dữ liệu về các hiện vật, họa sĩ, trường phái hội họa trong viện bảo tàng, cùng với các câu hỏi thực tế thu thập từ người dùng. Cỡ mẫu nghiên cứu khoảng vài trăm câu hỏi tiếng Việt đa dạng về cấu trúc và nội dung. Phương pháp chọn mẫu là chọn lọc các câu hỏi đại diện cho các dạng câu hỏi phổ biến trong lĩnh vực bảo tàng. Phân tích dữ liệu sử dụng kỹ thuật xử lý ngôn ngữ tự nhiên kết hợp với cấu trúc trie để nhận dạng và phân loại câu hỏi, áp dụng thuật toán đa chiến lược để xử lý hiện tượng đồng tham chiếu và tỉnh lược. Quá trình nghiên cứu được thực hiện theo timeline từ năm 2009 đến 2011, bao gồm các bước: thu thập dữ liệu, xây dựng từ điển ngữ nghĩa, phát triển thuật toán xử lý câu hỏi, cài đặt hệ thống thử nghiệm và đánh giá hiệu quả. Phương pháp đánh giá dựa trên các chỉ số độ chính xác câu trả lời, khả năng xử lý các hiện tượng ngôn ngữ phức tạp và tốc độ phản hồi.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phân tích câu hỏi bằng cấu trúc Trie: Hệ thống sử dụng cây trie để phân tích câu hỏi tiếng Việt đạt độ chính xác nhận dạng dạng câu trả lời mong đợi (EAT) khoảng 85%, giúp phân loại câu hỏi nhanh và chính xác hơn so với phương pháp truyền thống dựa trên biểu thức chính quy.
2. Xử lý đồng tham chiếu và tỉnh lược: Thuật toán đa chiến lược kết hợp các ràng buộc ngữ pháp và ngữ nghĩa giúp hệ thống xử lý thành công khoảng 70% các trường hợp đồng tham chiếu NP-anaphora và 65% các trường hợp tỉnh lược câu trong hội thoại tiếng Việt.
3. Trích rút câu trả lời chính xác: Hệ thống trích rút thông tin từ cơ sở dữ liệu bảo tàng đạt tỷ lệ trả lời đúng trên 80% trong các câu hỏi về họa sĩ, tranh và trường phái hội họa, vượt trội so với các hệ thống tìm kiếm dựa trên từ khóa truyền thống chỉ đạt khoảng 60%.
4. Khả năng tương tác và hỏi lại: Hệ thống có thể hỏi lại hoặc gợi ý người dùng khi câu hỏi không rõ ràng, giúp tăng tỷ lệ thành công trong việc trả lời lên thêm khoảng 10%.

Thảo luận kết quả

Nguyên nhân của hiệu quả cao trong phân tích câu hỏi là do việc áp dụng cấu trúc trie cho phép nhận dạng mẫu câu hỏi đa dạng và linh hoạt, phù hợp với đặc thù ngữ pháp tiếng Việt có nhiều dạng câu hỏi khác nhau (từ để hỏi ở đầu, cuối hoặc giữa câu). Kết quả xử lý đồng tham chiếu và tỉnh lược cho thấy việc kết hợp nhiều chiến lược và áp dụng các ràng buộc ngữ pháp, ngữ nghĩa là cần thiết để giải quyết các hiện tượng phức tạp trong hội thoại tiếng Việt, đồng thời giảm sự phụ thuộc vào cây phân tích cú pháp chính xác tuyệt đối vốn khó đạt được. So sánh với các nghiên cứu trước đây, hệ thống hội thoại hướng chủ đề IBiS1 được tùy biến và mở rộng phù hợp với tiếng Việt đã chứng minh tính khả thi và hiệu quả trong môi trường bảo tàng. Việc sử dụng từ điển ngữ nghĩa dạng cây XML giúp hệ thống dễ dàng mở rộng và cập nhật dữ liệu mới. Các biểu đồ so sánh tỷ lệ chính xác giữa các phương pháp phân tích câu hỏi và trích rút câu trả lời có thể minh họa rõ nét sự vượt trội của hệ thống đề xuất.

Đề xuất và khuyến nghị

1. Mở rộng và cập nhật từ điển ngữ nghĩa: Động từ và danh từ trong từ điển cần được bổ sung liên tục để nâng cao khả năng nhận dạng và xử lý câu hỏi, đặc biệt với các thuật ngữ chuyên ngành bảo tàng mới phát sinh. Chủ thể thực hiện: nhóm phát triển hệ thống, timeline: 6 tháng.
2. Tăng cường xử lý hiện tượng đồng tham chiếu phức tạp: Áp dụng thêm các kỹ thuật học máy để cải thiện độ chính xác xử lý các đại từ xưng hô và các trường hợp đồng tham chiếu đa dạng hơn. Chủ thể: nhóm nghiên cứu NLP, timeline: 1 năm.
3. Phát triển giao diện người dùng thân thiện: Thiết kế giao diện hỗ trợ người dùng đặt câu hỏi tự nhiên, đồng thời cung cấp chức năng hỏi lại và gợi ý thông minh để nâng cao trải nghiệm. Chủ thể: bộ phận thiết kế UX/UI, timeline: 3 tháng.
4. Triển khai thử nghiệm thực tế tại các viện bảo tàng: Áp dụng hệ thống vào môi trường thực tế để thu thập phản hồi, đánh giá hiệu quả và điều chỉnh phù hợp. Chủ thể: ban quản lý viện bảo tàng, timeline: 6 tháng.
5. Nghiên cứu mở rộng ứng dụng: Khai thác mô hình hệ thống hội thoại hướng chủ đề để phát triển các ứng dụng trong các lĩnh vực văn hóa, giáo dục và du lịch. Chủ thể: nhóm nghiên cứu công nghệ thông tin, timeline: 1-2 năm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển công nghệ xử lý ngôn ngữ tự nhiên: Luận văn cung cấp các phương pháp xử lý đồng tham chiếu, tỉnh lược và phân tích câu hỏi tiếng Việt, là tài liệu tham khảo quý giá cho các dự án NLP trong tiếng Việt.
2. Chuyên gia phát triển hệ thống hội thoại và trợ lý ảo: Mô hình IBiS1 và kỹ thuật trie được trình bày chi tiết giúp phát triển các hệ thống hội thoại hướng chủ đề hiệu quả, đặc biệt trong môi trường chuyên ngành.
3. Quản lý và nhân viên các viện bảo tàng, trung tâm văn hóa: Hệ thống hội thoại ứng dụng giúp cải thiện khả năng truy xuất thông tin, hỗ trợ công tác giới thiệu, quản lý hiện vật và tương tác với khách tham quan.
4. Sinh viên và học viên cao học ngành công nghệ thông tin, ngôn ngữ học máy: Luận văn là tài liệu học thuật có tính thực tiễn cao, giúp hiểu sâu về các kỹ thuật xử lý ngôn ngữ tự nhiên và xây dựng hệ thống hội thoại trong tiếng Việt.

Câu hỏi thường gặp

1. Hệ thống hội thoại này có thể áp dụng cho các lĩnh vực khác ngoài bảo tàng không?
   Có thể. Mô hình và kỹ thuật được phát triển có tính mở rộng cao, có thể tùy chỉnh để áp dụng trong các lĩnh vực như giáo dục, du lịch, y tế với việc xây dựng từ điển và cơ sở dữ liệu phù hợp.

2. Làm thế nào hệ thống xử lý các câu hỏi không rõ ràng hoặc thiếu thông tin?
   Hệ thống có cơ chế hỏi lại và gợi ý người dùng, giúp làm rõ câu hỏi hoặc đề xuất các lựa chọn, từ đó nâng cao tỷ lệ trả lời chính xác.

3. Độ chính xác của hệ thống trong xử lý đồng tham chiếu và tỉnh lược là bao nhiêu?
   Theo kết quả nghiên cứu, hệ thống đạt khoảng 70% hiệu quả xử lý đồng tham chiếu NP-anaphora và 65% cho hiện tượng tỉnh lược câu trong hội thoại tiếng Việt.

4. Cấu trúc trie có ưu điểm gì trong phân tích câu hỏi?
   Trie cho phép nhận dạng nhanh các mẫu câu hỏi dựa trên token và thực thể, hỗ trợ phân loại dạng câu trả lời mong đợi (EAT) hiệu quả, đặc biệt phù hợp với ngôn ngữ có cấu trúc đa dạng như tiếng Việt.

5. Hệ thống có hỗ trợ xử lý các câu hỏi phức tạp có nhiều thành phần không?
   Hệ thống tập trung xử lý các câu hỏi đơn giản và vừa phải, đặc biệt câu đơn có cấu trúc rõ ràng. Các câu hỏi phức tạp hơn có thể được xử lý bằng cách mở rộng từ điển và cải tiến thuật toán trong các nghiên cứu tiếp theo.

Kết luận

• Luận văn đã xây dựng thành công hệ thống hội thoại ứng dụng cho viện bảo tàng, đáp ứng được yêu cầu trích rút thông tin bằng ngôn ngữ tự nhiên tiếng Việt.
• Áp dụng cấu trúc trie và thuật toán đa chiến lược giúp nâng cao hiệu quả phân tích câu hỏi, xử lý đồng tham chiếu và tỉnh lược.
• Hệ thống đạt tỷ lệ trả lời chính xác trên 80% trong các câu hỏi chuyên ngành bảo tàng, vượt trội so với các phương pháp truyền thống.
• Đề xuất các giải pháp mở rộng từ điển, cải tiến thuật toán và phát triển giao diện người dùng để nâng cao hiệu quả và trải nghiệm.
• Các bước tiếp theo bao gồm triển khai thử nghiệm thực tế, thu thập phản hồi và mở rộng ứng dụng sang các lĩnh vực khác; mời các nhà nghiên cứu và chuyên gia công nghệ thông tin quan tâm hợp tác phát triển.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ****** Bùi Thanh Tùng ĐỀ TÀI LUẬN VĂN: XÂY DỰNG HỆ THỐNG HỘI THOẠI ỨNG DỤNG CHO VIỆN BẢO TÀNG Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Lê Thanh Hương Hà Nội – 03/2011 17057205300701000000 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng MỤC LỤC MỤC LỤC.2 T 23 T 23 LỜI CAM ĐOAN .5 T 23 T 23 DANH MỤC TỪ VIẾT TẮT.6 T 23 T 23 DANH MỤC CÁC HÌNH VẼ.7 T 23 T 23 DANH MỤC CÁC BẢNG.8 T 23 T 23 LỜI MỞ ĐẦU.9 T 23 T 23 CHƯƠNG I : TỔNG QUAN. Giới thiệu chung về hệ thống hội thoại. Khó khăn trong xử lý ngôn ngữ tự nhiên . Cấu trúc ngữ pháp và các thành phần cấu tạo câu. Phép lặp từ. Câu tỉnh lược.14 T 23 T 23 CHƯƠNG II. KIẾN TRÚC CHUNG HỆ THỐNG HỘI THOẠI. Kỹ thuật nhận dạng câu hỏi và trả lời . Phân tích câu hỏi . Luật phân tích từ ngữ. Luật viết dạng câu trả lời - query reformulation & query expansion . Kỹ thuật trích rút dữ liệu - retrieve document & answer extraction . Trích rút thông tin - Retrieve document. Trích rút câu trả lời - Answer extraction . Kỹ thuật xử lý đại từ thay thế. Tổ chức cơ sở dữ liệu độc lập. Kỹ thuật xử lý hiện tượng đồng tham chiếu và tỉnh lược trong tiếng việt. Hiện tượng đồng tham chiếu trong tiếng Việt và hướng tiếp cận. Hiện tượng tỉnh lược câu và hướng tiếp cận. Kỹ thuật phân tích câu hỏi dựa vào cây Trie . Cấu trúc cây Trie. Phân tích câu hỏi dựa vào cấu trúc trie. Câu nghi vấn và cấu trúc câu nghi vấn trong tiếng việt .44 T 23 T 23 2 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng 4. Trie trong phân tích câu hỏi tiếng Việt.48 T 23 T 23 CHƯƠNG III. HỆ THỐNG HỎI ĐÁP HƯỚNG CHỦ ĐỀ - ISSUED -BASED T 23 INFORMATION SYSTEM – IBiS . Tổng quan về IBiS1. Kiến trúc IBiS1 . Một số giả định .Các cấu trúc cú pháp, ngữ nghĩa trong IBiS1 . Các dạng thay thế ngữ pháp. Short Answer - các câu trả lời ngắn. Giới hạn phân loại ngữ nghĩa. Mối liên hệ giữa câu hỏi và câu trả lời . Kết hợp câu hỏi và câu trả lời tạo thành các mệnh đề - Proposition . Dialogue moves - các bước thực hiện hội thoại trong IBiS1 . 60 T 23 T 23 CHƯƠNG IV: CHƯƠNG TRÌNH CÀI ĐẶT THỬ NGHIỆM VÀ ĐÁNH GIÁ.Xử lý câu tỉnh lược. Vị trí trong hệ thống hội thoại tổng hợp.2 Giới hạn bài toán. Thiết kế các gói cho việc xử lý câu tỉnh lược của chương trình.Cài đặt thuật toán phân tích câu hỏi sử dụng Trie.Xác định loại câu hỏi và câu trả lời mong đợi cho chương trình . Thiết kế câu hỏi. Tổ chức cấu trúc Trie . Quá trình duyệt Trie .Cài đặt quá trình hỏi lại và chỉnh sửa câu hỏi của người dùng.1 Vai trò trong hệ thống.2 Các hàm liên quan đến xử lý input-text .3 Sơ đồ quá trình hỏi lại và sửa câu hỏi người dùng . Ứng dụng IBiS1 vào lĩnh vực phòng tranh – viện bảo tàng.1 Tổ chức cơ sở dữ liệu .70 T 23 T 23 3 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng 4.2 Domain resource tài nguyên miền .3 Lexicon resource - từ điển ngôn ngữ .4 Ví dụ về hội thoại sử dụng IBiS1 . 78 T 23 T 23 TÀI LIỆU THAM KHẢO. 80 T 23 T 23 4 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng LỜI CAM ĐOAN Tôi tên là Bùi Thanh Tùng - học viên lớp Cao học Công nghệ thông tin – Khoá 2009 – Viện Công nghệ thông tin và Truyền thông – Trường Đại học Bách Khoa Hà Nội. Tôi xin cam đoan bản luận văn thạc sỹ khoa học này do tôi tự làm, không sao chép nguyên bản của ai. Các nguồn tài liệu là do tôi thu thập và dịch từ các tài liệu chuẩn nước ngoài. Số liệu trong bản luận văn này là số liệu thực tế, không bịa đặt. Nếu có bất cứ sai phạm nào tôi xin chịu trách nhiệm trước hội đồng tốt nghiệp và nhà trường. Học viên cao học: Bùi Thanh Tùng 5 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng DANH MỤC TỪ VIẾT TẮT STT Từ Dạng đầy đủ Giải nghĩa 1 QA Question Answering System Hệ thống hội thoại Hệ thống hội thoại hướng chủ 2 IBiS Issue-Based Information System đề Kỹ thuật xử lý ngôn ngữ tự 3 NLP Natural Language Processing nhiên 4 EAT Expected Answer Type Dạng câu trả lời mong đợi 5 RE Regular Expression Biểu thức chính quy 6 DME Dialogue Move Engine 7 WHQ Wh- Question Câu hỏi có từ để hỏi 8 YNQ Yes No Question Câu hỏi đúng –sai 9 ALTQ Alternative Question Câu hỏi lựa chọn 10 DPs Dialogue Participants Người tham gia hội thoại 11 CSDL Cơ sở dữ liệu 12 TIS Total Information State Tất cả các trạng thái thông tin 13 IS Information State Trạng thái thông tin 14 QUD Questions Under Discussion Câu hỏi thảo luận 15 Antecedent Tiền ngữ - từ/câu bị thay thế 16 Anaphora Phân giải đồng tham chiếu 17 Contextual ellipsis Tỉnh lược ngữ pháp. Ràng buộc thêm (không bắt 18 Prefer- Constraint buộc) 6 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng DANH MỤC CÁC HÌNH VẼ Hình 1. Kiến trúc một hệ thống QA . Lược đ ồ h ệ thống hội thoạ i . Hệ thống QALC . Nghĩa của từ "ship" . 28 T 23 T 23 Hình 5 - Mô phỏng thuật toán Hobbs . 29 T 23 T 23 Hình 6 - Mô ph ỏ ng quan h ệ từ vự ng . Các câu hỏi mẫu . Cấu trúc trie xác đ ịnh thực thể . Cấu trúc Trie không xác đ ị nh loại thực thể . Kiến trúc IBiS1 . Cài đặt thuật toán duyệt Trie . Sơ đồ khối cho việc phân tích câu hỏi sử d ụng Trie . Sơ đồ quá trình hỏi lại và sửa câu hỏi ngư ời dùng . 69 T 23 T 23 7 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng DANH MỤC CÁC BẢNG Bảng 1. Sự khác nhau giữa QA và hệ thống tìm kiếm . Các câu hỏi mẫu . Thông tin về các node trong trie . Mối quan hệ resolves giữa câu hỏi – câu trả lời . Mối quan hệ relevant giữa câu hỏi – câu trả lời. Mệnh đề thu được khi kết hợp câu hỏi- câu trả lời . Một số câu hỏi ví dụ khi cài đặt chương trình dùng Trie . Chú thích các EAT . Chú thích ngoại lệ . Bảng ARTIST -Lưu trữ thông tin hoạ sĩ . Bảng PAINT – Thông tin về tranh trong phòng triển lãm . Bảng GENRE –Thông tin về trường phái hội hoạ . Bảng OWNER-Lưu trữ thông tin của người chủ có tranh được triển lãm 72 T 23U T 23U Bảng 14.Các ràng buộc trong lĩnh vực phòng tranh-viện bảo tàng . Các từ đồng nghĩa trong lĩnh vực phòng tranh-viện bảo tàng . Mối liên hệ giữa các câu trả lời ngắn và các dialogue move trong lĩnh vực T 23U phòng tranh -viện bảo tàng . 74 T 23U 8 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng LỜI MỞ ĐẦU Cùng với sự phát triển không ngừng của kinh tế - xã hội, cũng như khoa học kỹ thuật, lượng thông tin ngày càng khổng lồ, thế giới bước vào kỷ nguyên mới, kỷ nguyên về sự bùng nổ thông tin số. Ở đó ai nắm bắt được nhiều thông tin hơn thì cơ hội thành công sẽ cao hơn. Chính vì vậy mà nhu cầu tìm thông tin nhanh gọn, chính xác và tiện lợi ngày một cao. Để đáp ứng nhu cầu đó ta cần xây dựng một hệ thống trích rút thông tin lý tưởng, đó là hệ thống có khả năng thực hiện các giao tiếp và hiểu ngôn ngữ như con người. Nó cho phép người sử dụng đưa ra yêu cầu thông tin, những câu hỏi dưới dạng ngôn ngữ tự nhiên (natural languge), hệ thống phải hiểu được các thông tin đó ở mức độ như con người: Khi nhận được yêu cầu thông tin hay câu hỏi, nó phải trả về đúng thông tin người sử dụng cần, không thiếu, không thừa. Bên cạnh đó nó có thể tương tác với người sử dụng, ví dụ như : Hỏi lại hay đưa ra những gợi ý cho người dùng trong trường hợp câu hỏi đầu vào không rõ ràng hoặc bị sai. Đã có những hệ thống trích rút thông tin phát triển và đạt được kết quả rất khả quan, một trong số đó chính là hệ thống hội thoại (Question Answering System - QA). Nội dung chính của luận văn bao gồm: − Tìm hiểu về kiến trúc của hệ thống hội thoại. − Các kỹ thuật xử lý và phân tích câu hỏi. − Tìm hiểu về một hệ thống cụ thể là IBiS1 (issue-based information system - hệ thống hội thoại hướng chủ đề). − Cài đặt hệ thống hội thoại ứng dụng trong bảo tàng. Luận văn đã tìm hiểu được mô hình chung về hệ thống hội thoại. Trên cơ sở các lý thuyết đã nghiên cứu, luận văn đã xây dựng được hệ thống hội thoại hướng miền ứng dụng cho lĩnh vực bảo tàng. Có thể coi đây như một tài liệu tham khảo hữu ích, cũng như một mô hình để có thể mở rộng xây dựng các hệ thống hội thoại khác ứng dụng rộng rãi hơn trong tương lai. 9 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng Em xin chân thành gửi lời cảm ơn tới các thày cô giáo trong Viện công nghệ thông tin và truyền thông, đại học Bách Khoa Hà Nội đã tận tình giảng dạy, truyền đạt cho em những kiến thức, những kinh nghiệm quý báu trong suốt quá trình học tập tại trường. Đặc biệt em xin gửi lời cảm ơn sâu sắc tới TS. Lê Thanh Hương đã nhiệt tình giúp đỡ em trong quá trình tìm hiểu, nghiên cứu và hoàn thành luận văn này. Học viên thực hiện : Bùi Thanh Tùng 10 Xây dựng hệ thống hội thoại ứng dụng cho viện bảo tàng CHƯƠNG I : TỔNG QUAN 1. Giới thiệu chung về hệ thống hội thoại Trong lĩnh vực trích rút thông tin, hệ thống hội thoại (Question-Answering, viết tắt là QA) đảm nhận việc tự động trả lời các câu hỏi được nhập vào ở dạng ngôn ngữ tự nhiên. Hệ thống dựa vào cơ sở dữ liệu hay các văn bản ngôn ngữ tự nhiên có sẵn, đưa ra câu trả lời phù hợp theo ngôn ngữ tự nhiên. QA đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (natural language processing -NLP) hơn các dạng trích rút thông tin khác, ví dụ như: trích rút văn bản (document retrieval).