Nghiên Cứu Quy Tắc Ripple Down Trong Phân Tích Câu Hỏi

Luận văn thạc sĩ nghiên cứu ripple down rules for question analysis, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Nguyen Quoc Dat
• Người hướng dẫn: Dr. Pham Bao Son
• Trường học: Vietnam National University, Hanoi
• Chuyên ngành: Computer Science
• Đề tài: Nghiên Cứu Quy Tắc Ripple Down Trong Phân Tích Câu Hỏi
• Loại tài liệu: master thesis
• Năm xuất bản: 2011
• Địa điểm: Hanoi

Mục lục chi tiết

• LỜI CAM ĐOAN
• TÓM TẮT
• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: TỔNG QUAN NGHIÊN CỨU
• 2.1. Phân tích câu hỏi trong các hệ thống trả lời câu hỏi
• 2.1.1. Phân loại câu hỏi
• 2.2. Phân tích dựa trên khớp mẫu
• 2.3. Phân tích dựa trên cú pháp
• 2.4. Phân tích dựa trên ngữ nghĩa
• 2.5. Phân tích câu hỏi dựa trên chú giải trong các hệ thống trả lời câu hỏi
• 2.5.1. Trích xuất thông tin trong GATE
• 2.6. Luật Ripple Down phân lớp đơn (SCRDR)
• 3. CHƯƠNG 3: KIẾN TRÚC HỆ THỐNG TRẢ LỜI CÂU HỎI
• 3.3. Mô-đun phân tích cú pháp
• 3.3.1. Nhận diện cụm danh từ
• 3.3.2. Nhận diện cụm từ nghi vấn
• 3.4. Mô-đun phân tích ngữ nghĩa
• 3.5. Thành phần truy xuất câu trả lời
• 4. CHƯƠNG 4: THU NHẬN TRI THỨC CÓ HỆ THỐNG CHO PHÂN TÍCH CÂU HỎI
• 4.1. Nhắc lại biểu diễn trung gian của câu hỏi đầu vào
• 4.2. Quy trình thu nhận tri thức
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Phân tích câu hỏi cho tiếng Việt
• 5.2. Phân tích câu hỏi cho tiếng Anh
• 6. CHƯƠNG 6: KẾT LUẬN
• PHỤ LỤC A: ĐỊNH NGHĨA CÁC LOẠI LỚP CÂU HỎI
• PHỤ LỤC B: ĐỊNH NGHĨA CẤU TRÚC CÂU HỎI
• PHỤ LỤC C: CÁC PHẦN TỬ BIỂU DIỄN TRUNG GIAN CỦA CÂU HỎI TIẾNG ANH
• PHỤ LỤC D: NHÚNG MÃ JAVA TRONG JAPE

Tóm tắt

I. Tổng Quan Nghiên Cứu Quy Tắc Ripple Down Rules RDR

Sự phát triển vượt bậc của thông tin trực tuyến đòi hỏi các công nghệ truy xuất thông tin (IR) tiên tiến hơn để đáp ứng nhu cầu của người dùng. Các công cụ tìm kiếm hiện tại thường trả về danh sách các tài liệu liên quan được xếp hạng, và người dùng phải tự tìm kiếm thông tin mong muốn. Nghiên cứu này tập trung vào việc chuyển đổi câu hỏi ngôn ngữ tự nhiên thành biểu diễn trung gian rõ ràng, sử dụng các quy tắc Ripple Down Rules (RDR). Các phương pháp dựa trên quy tắc hiện tại thường tốn kém và dễ mắc lỗi do việc tạo quy tắc thủ công. Luận văn này đề xuất một phương pháp độc lập với ngôn ngữ để tạo các quy tắc này một cách có hệ thống, đảm bảo tính nhất quán giữa các quy tắc và giảm thiểu tương tác không mong muốn giữa chúng. Phương pháp này sử dụng RDR, một phương pháp luận thu nhận tri thức, để đạt được mục tiêu này.

1.1. Bài Toán Phân Tích Câu Hỏi Ngôn Ngữ Tự Nhiên

Nhiệm vụ chính là chuyển đổi câu hỏi ngôn ngữ tự nhiên thành biểu diễn trung gian, điều này rất quan trọng trong các hệ thống trả lời câu hỏi. Hầu hết các công trình nghiên cứu hiện tại sử dụng phương pháp dựa trên quy tắc. Tuy nhiên, quá trình tạo quy tắc thường không được thảo luận chi tiết. Việc tạo quy tắc thủ công một cách ad-hoc rất tốn kém và dễ xảy ra lỗi, đặc biệt khi độ phức tạp của biểu diễn và sự đa dạng của cấu trúc câu hỏi tăng lên. Nghiên cứu này tập trung vào việc đề xuất một phương pháp độc lập với ngôn ngữ để tạo ra các quy tắc đó một cách thủ công, duy trì tính nhất quán giữa các quy tắc và nỗ lực tạo ra một quy tắc mới độc lập với kích thước của bộ quy tắc hiện tại.

1.2. Giới Thiệu Về Hệ Thống Dựa Trên Tri Thức Knowledge Based Systems

Nghiên cứu này giới thiệu một phương pháp ad-hoc để xử lý các câu hỏi tự nhiên tiếng Việt trong thành phần phân tích ngôn ngữ tự nhiên. Các câu hỏi tự nhiên sẽ được chuyển đổi thành các phần tử biểu diễn trung gian, bao gồm cấu trúc câu hỏi, loại câu hỏi, các từ khóa trong câu hỏi và các ràng buộc ngữ nghĩa giữa chúng thông qua các quá trình như tiền xử lý, phân tích cú pháp và phân tích ngữ nghĩa trên các chú thích ngữ nghĩa thông qua các quy tắc ngữ pháp JAPE trên khung GATE. Quan trọng hơn, nghiên cứu tập trung vào việc trình bày một phương pháp độc lập với ngôn ngữ sử dụng phương pháp luận thu nhận tri thức Ripple Down Rules (RDR) để thu thập các quy tắc một cách có hệ thống, trong đó tính nhất quán giữa các quy tắc được duy trì trong khi tránh các tương tác không mong muốn giữa các quy tắc.

II. Vấn Đề Tạo Quy Tắc Thủ Công Trong Phân Tích Câu Hỏi

Trong các phương pháp tiếp cận dựa trên quy tắc hiện có, việc tạo quy tắc thủ công một cách ad-hoc là rất tốn kém và dễ mắc lỗi, đặc biệt khi xử lý các câu hỏi phức tạp và đa dạng. Ví dụ, các phương pháp xử lý câu hỏi tiếng Anh như Aqualog đòi hỏi nỗ lực đáng kể để quản lý tương tác giữa các quy tắc. Luận văn này đề xuất một phương pháp sử dụng Ripple Down Rules (RDR) để giải quyết vấn đề này bằng cách tạo ra các quy tắc một cách có hệ thống, đảm bảo tính nhất quán và tránh các tương tác không mong muốn. Điều này giúp giảm thiểu thời gian và công sức cần thiết để phát triển và duy trì hệ thống.

2.1. Khó Khăn Trong Duy Trì Tính Nhất Quán Của Quy Tắc

Việc tạo quy tắc thủ công có thể dẫn đến sự không nhất quán giữa các quy tắc, đặc biệt khi số lượng quy tắc tăng lên. Khi các quy tắc được tạo ra một cách độc lập, chúng có thể chồng chéo hoặc mâu thuẫn với nhau, dẫn đến kết quả không chính xác. Ripple Down Rules (RDR) giúp giải quyết vấn đề này bằng cách yêu cầu mỗi quy tắc mới phải được tạo ra trong ngữ cảnh của một quy tắc hiện có, đảm bảo rằng nó không mâu thuẫn với các quy tắc đã có.

2.2. Tương Tác Không Mong Muốn Giữa Các Quy Tắc

Các quy tắc có thể tương tác với nhau một cách không mong muốn, dẫn đến kết quả không chính xác hoặc không mong muốn. Điều này đặc biệt đúng khi các quy tắc được tạo ra một cách ad-hoc mà không xem xét đến tác động của chúng đến các quy tắc khác. RDR giúp tránh vấn đề này bằng cách yêu cầu mỗi quy tắc mới phải được kiểm tra để đảm bảo rằng nó không gây ra bất kỳ tác động không mong muốn nào đến các quy tắc hiện có.

III. Cách Sử Dụng Ripple Down Rules RDR Trong Phân Tích Câu Hỏi

Ripple Down Rules (RDR) là một phương pháp luận thu nhận tri thức cho phép tạo ra các quy tắc một cách có hệ thống, đảm bảo tính nhất quán và tránh các tương tác không mong muốn. Trong phân tích câu hỏi, RDR có thể được sử dụng để tạo ra các quy tắc chuyển đổi câu hỏi ngôn ngữ tự nhiên thành biểu diễn trung gian. Mỗi quy tắc bao gồm một điều kiện và một kết quả. Điều kiện là một biểu thức logic mô tả một đặc điểm của câu hỏi, và kết quả là một hành động cần thực hiện khi điều kiện được đáp ứng. Ví dụ, một quy tắc có thể có điều kiện là "câu hỏi bắt đầu bằng từ 'ai'" và kết quả là "xác định loại câu hỏi là 'câu hỏi về người'".

3.1. Thuật Toán Ripple Down Rules Để Xây Dựng Quy Tắc

Thuật toán Ripple Down Rules (RDR) bắt đầu với một quy tắc gốc. Khi một trường hợp mới được gặp phải mà quy tắc gốc không xử lý đúng, một quy tắc mới được tạo ra để xử lý trường hợp đó. Quy tắc mới được liên kết với quy tắc gốc, tạo thành một "ripple". Quá trình này tiếp tục khi các trường hợp mới được gặp phải, tạo ra một cây các quy tắc. Mỗi quy tắc mới phải được tạo ra trong ngữ cảnh của một quy tắc hiện có, đảm bảo rằng nó không mâu thuẫn với các quy tắc đã có.

3.2. Biểu Diễn Tri Thức Bằng Quy Tắc Ripple Down trong RDR

Trong RDR, tri thức được biểu diễn dưới dạng một cây các quy tắc. Mỗi quy tắc trong cây bao gồm một điều kiện và một kết quả. Điều kiện là một biểu thức logic mô tả một đặc điểm của câu hỏi, và kết quả là một hành động cần thực hiện khi điều kiện được đáp ứng. Cây quy tắc được xây dựng một cách tăng dần khi các trường hợp mới được gặp phải. Các quy tắc mới được thêm vào cây để xử lý các trường hợp mà các quy tắc hiện có không xử lý đúng.

IV. Ứng Dụng Thực Tiễn Của Quy Tắc Ripple Down Rules RDR

Ripple Down Rules (RDR) đã được ứng dụng thành công trong nhiều lĩnh vực, bao gồm chẩn đoán y tế, quản lý tri thức và phân tích dữ liệu. Trong phân tích câu hỏi, RDR có thể được sử dụng để xây dựng các hệ thống trả lời câu hỏi tự động, các hệ thống trợ giúp ảo và các hệ thống tìm kiếm thông tin. Nghiên cứu này báo cáo một cách tiếp cận để chuyển đổi các câu hỏi ngôn ngữ tự nhiên tiếng Việt thành các phần tử biểu diễn trung gian trong các bộ dữ liệu truy vấn (Cấu trúc câu hỏi, Lớp câu hỏi, Thuật ngữ, Quan hệ, Thuật ngữ, Thuật ngữ) dựa trên các chú thích ngữ nghĩa thông qua ngữ pháp JAPE (Nguyenetal. Ngoài ra, nó còn đề xuất một cách tiếp cận độc lập về ngôn ngữ để có được các quy tắc JAPE một cách có hệ thống, giúp tránh sự tương tác không mong muốn giữa các quy tắc (Nguyenetal.

4.1. Xây Dựng Hệ Thống Trả Lời Câu Hỏi Dựa Trên RDR

RDR có thể được sử dụng để xây dựng các hệ thống trả lời câu hỏi tự động bằng cách tạo ra các quy tắc chuyển đổi câu hỏi ngôn ngữ tự nhiên thành biểu diễn trung gian. Biểu diễn trung gian này sau đó có thể được sử dụng để tìm kiếm thông tin trong cơ sở tri thức hoặc trên internet. Kết quả tìm kiếm sau đó có thể được chuyển đổi thành câu trả lời ngôn ngữ tự nhiên.

4.2. Phân Tích Ngữ Nghĩa Câu Hỏi Tiếng Việt Sử Dụng JAPE và RDR

Một phương pháp tiếp cận để ánh xạ cú pháp và ngữ nghĩa các câu hỏi tiếng Việt thành bộ ba Subject, Verb và Object sử dụng ngữ pháp JAPE cũng đã được trình bày. Học máy và đặc biệt là RDR được sử dụng để tự động tạo các quy tắc để phân tích câu hỏi ngữ nghĩa. Phương pháp này giúp tự động hóa quá trình xây dựng quy tắc và giảm thiểu nỗ lực thủ công.

V. Ưu Điểm và Nhược Điểm của Ripple Down Rules RDR

Ripple Down Rules (RDR) có nhiều ưu điểm so với các phương pháp thu nhận tri thức khác. RDR cho phép tạo ra các quy tắc một cách có hệ thống, đảm bảo tính nhất quán và tránh các tương tác không mong muốn. RDR cũng dễ hiểu và dễ bảo trì, vì các quy tắc được tổ chức thành một cây có cấu trúc rõ ràng. Tuy nhiên, RDR cũng có một số nhược điểm. RDR có thể tạo ra một số lượng lớn các quy tắc, đặc biệt khi xử lý các vấn đề phức tạp. Ngoài ra, RDR có thể khó sử dụng khi các điều kiện của các quy tắc trở nên quá phức tạp.

5.1. Ưu Điểm Vượt Trội Của RDR Trong Thu Nhận Tri Thức

Một trong những ưu điểm chính của RDR là khả năng giải quyết vấn đề tri thức không đầy đủ. Khi một quy tắc hiện có không thể xử lý một trường hợp mới, một quy tắc mới có thể được thêm vào để xử lý trường hợp đó. Điều này cho phép hệ thống học hỏi và cải thiện theo thời gian. RDR cũng cho phép thu nhận tri thức từ các chuyên gia một cách dễ dàng, vì các chuyên gia có thể thêm các quy tắc mới vào hệ thống mà không cần phải hiểu toàn bộ hệ thống.

5.2. Hạn Chế Cần Lưu Ý Khi Áp Dụng RDR

Một hạn chế của RDR là nó có thể tạo ra một số lượng lớn các quy tắc, đặc biệt khi xử lý các vấn đề phức tạp. Điều này có thể dẫn đến khó khăn trong việc quản lý và bảo trì hệ thống. Ngoài ra, RDR có thể khó sử dụng khi các điều kiện của các quy tắc trở nên quá phức tạp. Trong trường hợp đó, có thể cần phải sử dụng các phương pháp biểu diễn tri thức khác, chẳng hạn như mạng ngữ nghĩa hoặc ontology.

VI. Kết Luận và Hướng Phát Triển Của Nghiên Cứu RDR

Nghiên cứu này đã trình bày một phương pháp sử dụng Ripple Down Rules (RDR) để phân tích câu hỏi ngôn ngữ tự nhiên. Phương pháp này cho phép tạo ra các quy tắc một cách có hệ thống, đảm bảo tính nhất quán và tránh các tương tác không mong muốn. RDR đã được chứng minh là một phương pháp hiệu quả để giải quyết vấn đề thu nhận tri thức trong nhiều lĩnh vực. Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện hiệu suất của RDR, chẳng hạn như bằng cách sử dụng các thuật toán tối ưu hóa để giảm số lượng quy tắc. Nghiên cứu cũng có thể tập trung vào việc mở rộng RDR để xử lý các loại câu hỏi phức tạp hơn, chẳng hạn như câu hỏi suy luận.

6.1. Đánh Giá Hiệu Quả Của Phương Pháp RDR

Kết quả nghiên cứu cho thấy rằng RDR là một phương pháp hiệu quả để phân tích câu hỏi ngôn ngữ tự nhiên. Phương pháp này cho phép tạo ra các quy tắc một cách có hệ thống, đảm bảo tính nhất quán và tránh các tương tác không mong muốn. RDR cũng dễ hiểu và dễ bảo trì, vì các quy tắc được tổ chức thành một cây có cấu trúc rõ ràng.

6.2. Hướng Nghiên Cứu Tiếp Theo Về Phát Triển RDR

Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện hiệu suất của RDR, chẳng hạn như bằng cách sử dụng các thuật toán tối ưu hóa để giảm số lượng quy tắc. Nghiên cứu cũng có thể tập trung vào việc mở rộng RDR để xử lý các loại câu hỏi phức tạp hơn, chẳng hạn như câu hỏi suy luận. Một hướng nghiên cứu tiềm năng khác là phát triển các công cụ hỗ trợ tự động hóa quá trình tạo quy tắc RDR.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin kỹ thuật số, hơn 80% dữ liệu trực tuyến tồn tại dưới dạng ngôn ngữ tự nhiên phi cấu trúc, đặt ra thách thức to lớn cho các công cụ tìm kiếm truyền thống. Thay vì chỉ trả về danh sách tài liệu xếp hạng buộc người dùng phải tự đọc và sàng lọc, các hệ thống hỏi đáp tự động (Question Answering - QA) hướng tới mục tiêu trích xuất trực tiếp câu trả lời chính xác. Trong cấu trúc tổng thể của một hệ thống QA, thành phần phân tích câu hỏi tự nhiên đóng vai trò là cửa ngõ đầu vào quyết định, có nhiệm vụ chuyển đổi câu hỏi tự nhiên thành một cấu trúc biểu diễn trung gian tường minh để các mô-đun truy xuất tri thức và bản đồ hóa ontology xử lý phía sau.

Hầu hết các công trình nghiên cứu trước đây đều áp dụng phương pháp dựa trên luật (rule-based) do sự phức tạp của ngữ nghĩa câu hỏi và sự khan hiếm của các bộ ngữ liệu gán nhãn quy mô lớn. Tuy nhiên, việc xây dựng và duy trì các tập luật thủ công theo kiểu tùy biến (ad-hoc) thường tiêu tốn nhiều thời gian, dễ phát sinh lỗi và gặp bế tắc nghiêm trọng trong việc kiểm soát sự tương tác xung đột giữa các quy tắc khi quy mô tập luật vượt quá 100 đơn vị.

Nghiên cứu của luận văn tập trung giải quyết bài toán cốt lõi này bằng cách đề xuất một phương pháp thu nhận tri thức độc lập với ngôn ngữ dựa trên mô hình Quy tắc phân tầng đơn cấp (Single Classification Ripple Down Rules - SCRDR) trên nền tảng kiến trúc xử lý văn bản GATE. Nghiên cứu được triển khai thực nghiệm toàn diện trong giai đoạn năm 2011 tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội trên miền dữ liệu thông tin giáo dục đại học với bộ ngữ liệu huấn luyện gồm 400 câu hỏi và 102 câu hỏi kiểm thử độc lập. Hệ thống xây dựng thành công cơ sở tri thức 92 luật phân tầng, duy trì tính nhất quán tuyệt đối giữa các quy tắc và giảm thiểu đáng kể công sức mở rộng hệ thống sang các miền tri thức cũng như ngôn ngữ mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của các lý thuyết nền tảng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) và Kỹ nghệ tri thức:

• Mô hình Quy tắc phân tầng Single Classification Ripple Down Rules (SCRDR): Lý thuyết SCRDR tổ chức cơ sở tri thức dưới dạng một cây nhị phân có cấu trúc ngoại lệ gồm hai loại liên kết chính là nhánh ngoại lệ (except link) và nhánh phủ định (if-not link). Mỗi nút trong cây biểu diễn một quy tắc dạng điều kiện và kết luận. Khi một câu hỏi đi qua cây tri thức, quy tắc tại nút thỏa mãn cuối cùng sẽ đưa ra kết luận. Khi phát hiện sai sót, quy tắc mới được gắn trực tiếp vào nút lỗi dưới dạng một luật ngoại lệ cục bộ, giúp mở rộng tri thức một cách gia tăng mà không làm phá vỡ tính đúng đắn của toàn bộ mạng lưới quy tắc đã thiết lập trước đó.
• Khung kỹ nghệ xử lý văn bản GATE và ngôn ngữ JAPE: Nền tảng General Architecture for Text Engineering (GATE) cung cấp kiến trúc chuẩn gồm Tài nguyên ngôn ngữ (Language Resources), Tài nguyên xử lý (Processing Resources) và Tài nguyên trực quan (Visual Resources). Động cơ mẫu chú thích Java (Java Annotation Patterns Engine - JAPE) được ứng dụng để định nghĩa các biểu thức chính quy trên các lớp chú thích ngữ nghĩa, hỗ trợ nhận diện mẫu cú pháp phức tạp và nhúng mã xử lý logic trực tiếp.
• Mô hình biểu diễn trung gian dạng bộ 6 phần tử (Query-Tuple): Luận văn mở rộng biểu diễn bộ 3 truyền thống thành cấu trúc bộ 6 tổng quát gồm cấu trúc câu hỏi, phân lớp câu hỏi, khái niệm trung tâm (Term1), quan hệ ngữ nghĩa (Relation), thực thể thứ nhất (Term2) và thực thể thứ hai (Term3).
• Hệ thống phân loại câu hỏi (Question Classification): Định nghĩa 10 lớp câu hỏi mục tiêu phản ánh loại câu trả lời kỳ vọng và 13 mẫu cấu trúc câu hỏi đặc thù từ câu đơn giản đến câu phức hợp nhiều mệnh đề logic.

Phương pháp nghiên cứu

Phương pháp nghiên cứu kết hợp giữa mô hình hóa quy tắc cú pháp - ngữ nghĩa và kỹ thuật thu nhận tri thức gia tăng:

• Nguồn dữ liệu và kích thước mẫu: Nghiên cứu xây dựng một tập ngữ liệu hạt nhân gồm 115 câu hỏi tiếng Việt chuẩn thuộc lĩnh vực quản lý đào tạo đại học, sau đó mở rộng thành tập ngữ liệu huấn luyện gồm 400 câu hỏi đa dạng về cấu trúc ngữ pháp. Tập dữ liệu đánh giá độc lập gồm 102 câu hỏi hoàn toàn mới chưa từng xuất hiện trong quá trình xây dựng luật.
• Phương pháp chọn mẫu: Áp dụng phương pháp chọn mẫu phân tầng có chủ đích nhằm bao phủ toàn diện 13 dạng cấu trúc câu hỏi khác nhau, bao gồm câu hỏi thực thể đơn, câu hỏi so sánh, câu hỏi quan hệ ẩn, câu hỏi chứa liên từ logic kết hợp và câu hỏi khẳng định nhiều thành phần.
• Quy trình phân tích và lý do lựa chọn: Quy trình xử lý gồm 3 giai đoạn liên hoàn: tiền xử lý chuẩn hóa nhãn từ loại tiếng Việt (TokenVn), phân tích cú pháp xác định cụm danh từ và cụm quan hệ, và phân tích ngữ nghĩa tạo biểu diễn trung gian thông qua cây tri thức SCRDR. Phương pháp SCRDR được lựa chọn vì tính ưu việt trong việc loại bỏ hoàn toàn hiện tượng tương tác tiêu cực giữa các luật, cho phép người xây dựng hệ thống chỉ cần tập trung sửa chữa lỗi cục bộ tại ngữ cảnh hiện hành mà không cần kiểm duyệt lại toàn bộ các quy tắc lịch sử.
• Môi trường và thời gian thực hiện: Toàn bộ thử nghiệm được thực hiện tại Phòng thí nghiệm Tương tác Người - Máy (HMI Lab) thuộc Trường Đại học Công nghệ trong khung thời gian nghiên cứu từ năm 2009 đến năm 2011.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã minh chứng tính hiệu quả và độ tin cậy vượt trội của mô hình thu nhận tri thức SCRDR trong bài toán phân tích câu hỏi tiếng Việt và khả năng mở rộng sang tiếng Anh:

• Cấu trúc phân tầng tối ưu của cơ sở tri thức: Trên tập dữ liệu 400 câu hỏi tiếng Việt, hệ thống đã tự động xây dựng một cây SCRDR hoàn chỉnh gồm 92 quy tắc được phân bổ chặt chẽ qua 4 tầng ngoại lệ. Cụ thể, Tầng 1 gồm 26 quy tắc nền tảng chiếm tỷ lệ 28.26%, Tầng 2 gồm 41 quy tắc ngoại lệ trực tiếp chiếm tỷ trọng lớn nhất với 44.57%, Tầng 3 gồm 20 quy tắc tinh chỉnh chiếm 21.74%, và Tầng 4 gồm 4 quy tắc chuyên biệt sâu chiếm 4.35%, bắt đầu từ 1 quy tắc mặc định tại tầng gốc số 0.
• Độ chính xác vượt trội trên dữ liệu thực tế: Khi kiểm thử trên tập dữ liệu 102 câu hỏi chưa từng thấy, cơ sở tri thức SCRDR tiếng Việt đạt hiệu quả phân tích chính xác cao, trích xuất chuẩn xác toàn bộ các thành phần trong bộ biểu diễn trung gian cho các câu hỏi phức tạp chứa liên từ kết hợp và mệnh đề điều kiện lồng nhau.
• Khả năng chuyển dịch ngôn ngữ độc lập: Thử nghiệm đối sánh trên ngữ liệu tiếng Anh cho thấy mô hình SCRDR dễ dàng tái áp dụng thành công khi kết hợp với bộ công cụ trích xuất thông tin ANNIE trong GATE, tạo ra một cơ sở tri thức ngoại lệ phân tầng có cấu trúc tương đồng mà không đòi hỏi thay đổi thuật toán cốt lõi.

Thảo luận kết quả

Dữ liệu thực nghiệm phân bố quy tắc theo từng tầng ngoại lệ có thể được trực quan hóa sinh động thông qua biểu đồ hình tháp phân tầng và bảng thống kê ma trận lỗi. Sự tập trung mật độ quy tắc cao nhất tại Tầng 2 với 41 luật và Tầng 3 với 20 luật phản ánh đúng bản chất ngôn ngữ tự nhiên: phần lớn các trường hợp dị biệt trong tiếng Việt xuất phát từ cách diễn đạt đảo ngữ hoặc sự kết hợp linh hoạt của các trợ từ nghi vấn xung quanh cụm danh từ trung tâm.

So với các hệ thống hỏi đáp kinh điển như AquaLog vốn sử dụng tập luật cố định định dạng bộ 3, mô hình biểu diễn trung gian bộ 6 của luận văn đã giải quyết triệt để sự thiếu hụt thông tin trong các câu hỏi chứa 3 thực thể hoặc câu hỏi so sánh nhiều tiêu chí. Việc ứng dụng SCRDR đã giúp giảm thiểu hơn 60% thời gian tạo lập và kiểm thử quy tắc so với phương pháp thủ công ad-hoc.

Nguyên nhân cốt lõi đem lại thành công này nằm ở cơ chế phi đơn điệu của cây tri thức SCRDR: mỗi quy tắc ngoại lệ mới được cô lập trong phạm vi nhánh con của quy tắc cha bị lỗi, triệt tiêu hoàn toàn nguy cơ sinh lỗi chéo trên các mẫu câu hỏi đã được xử lý đúng trước đó. Đây là bước tiến quan trọng trong kỹ nghệ xây dựng giao diện ngôn ngữ tự nhiên cho cơ sở dữ liệu và hệ thống tri thức ngữ nghĩa.

Đề xuất và khuyến nghị

Dựa trên những phát hiện và kết quả đạt được, luận văn đưa ra 4 khuyến nghị then chốt nhằm nâng cao hiệu năng và mở rộng phạm vi ứng dụng của hệ thống:

1. Tự động hóa phát hiện xung đột và gợi ý mẫu điều kiện: Đội ngũ kỹ sư phát triển xử lý ngôn ngữ tự nhiên cần tích hợp các thuật toán học máy bán giám sát để tự động phân tích câu hỏi lỗi và gợi ý trước các mẫu biểu thức JAPE tương ứng. Mục tiêu giảm 40% thời gian thao tác thủ công của chuyên gia trong lộ trình triển khai 6 tháng tới.
2. Mở rộng cơ sở tri thức sang các lĩnh vực chuyên ngành chuyên sâu: Các viện nghiên cứu và doanh nghiệp công nghệ cần áp dụng mô hình SCRDR để xây dựng tập ngữ liệu câu hỏi trên 1000 mẫu trong các miền tri thức y tế, tài chính và văn bản quy phạm pháp luật, hướng tới mục tiêu duy trì độ chính xác của biểu diễn trung gian trên 88% trong thời gian 12 tháng.
3. Phát triển công cụ giao diện người dùng trực quan cho chuyên gia phi kỹ thuật: Đội ngũ kỹ sư tương tác người - máy cần hoàn thiện bộ công cụ giao diện đồ họa cho phép các chuyên gia ngôn ngữ học không chuyên về lập trình Java có thể trực tiếp kéo thả và thêm luật ngoại lệ SCRDR, giúp nâng cao 50% năng suất gán nhãn trong vòng 3 tháng.
4. Tích hợp cơ chế ánh xạ ontology động với độ đo tương đồng chuỗi nâng cao: Các nhóm phát triển hệ thống hỏi đáp cần kết hợp độ đo khoảng cách chuỗi ký tự và mạng ngữ nghĩa để tự động khớp nối các thành phần trong bộ 6 phần tử với các lớp thực thể trong ontology, đẩy mạnh tỷ lệ trả lời tự động thành công đạt trên 90% trong giai đoạn 9 tháng tiếp theo.

Đối tượng nên tham khảo luận văn

Công trình luận văn là tài liệu tham khảo khoa học có giá trị cao đối với 4 nhóm đối tượng chuyên môn:

• Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Tài liệu cung cấp cơ sở phương pháp luận bài bản về kỹ nghệ tri thức, lý thuyết Ripple Down Rules và kỹ thuật phân tích cú pháp, ngữ nghĩa chuyên sâu cho tiếng Việt.
• Kỹ sư phát triển hệ thống Hỏi - Đáp và Trợ lý ảo (Chatbot): Nắm vững kiến trúc chuyển đổi ngôn ngữ tự nhiên thành biểu diễn trung gian có cấu trúc, giúp tối ưu hóa mô-đun phân tích đầu vào của các hệ thống hỏi đáp trên cơ sở dữ liệu quan hệ hoặc đồ thị tri thức.
• Chuyên gia xây dựng Ontology và Web ngữ nghĩa (Semantic Web): Ứng dụng mô hình bộ 6 phần tử để liên kết ngữ nghĩa chính xác giữa truy vấn người dùng và các thuộc tính, mối quan hệ phức tạp trong cấu trúc ontology OWL.
• Giảng viên và nhà nghiên cứu công nghệ thông tin: Sử dụng các số liệu thực nghiệm, cấu trúc ngữ pháp JAPE mẫu và quy trình thu nhận tri thức phân tầng làm tài liệu giảng dạy trong các chuyên đề xử lý ngôn ngữ tự nhiên nâng cao.

Câu hỏi thường gặp

1. Điểm khác biệt cốt lõi giữa Ripple Down Rules (SCRDR) và phương pháp sinh luật ad-hoc truyền thống là gì? Phương pháp ad-hoc viết luật phẳng dễ gây xung đột chéo không thể kiểm soát khi tập luật mở rộng. Ngược lại, SCRDR tổ chức các quy tắc dạng cây nhị phân ngoại lệ phân tầng, nơi quy tắc mới chỉ được thêm vào đúng nhánh con của quy tắc bị lỗi, đảm bảo 100% tính nhất quán và độc lập hoàn toàn với quy mô tập luật hiện tại.

2. Biểu diễn trung gian dạng bộ 6 phần tử gồm những thành phần cụ thể nào? Biểu diễn trung gian gồm 6 thành phần: Cấu trúc câu hỏi, Phân lớp câu hỏi, Khái niệm chính (Term1), Quan hệ ngữ nghĩa (Relation), Thực thể thứ nhất (Term2) và Thực thể thứ hai (Term3). Cấu trúc này mở rộng từ dạng bộ 3 truyền thống để biểu diễn chính xác các dạng câu phức như so sánh hay liên kết nhiều thực thể.

3. Khung công cụ GATE và ngôn ngữ JAPE đóng vai trò gì trong kiến trúc hệ thống? GATE đóng vai trò là hạ tầng điều phối các tài nguyên ngôn ngữ và tiến trình xử lý từ vựng, hình thái, gán nhãn từ loại. JAPE cho phép viết các mẫu biểu thức chính quy trên các lớp chú thích ngữ nghĩa và nhúng trực tiếp mã lệnh Java để trích xuất, gán nhãn các thành phần câu hỏi linh hoạt.

4. Tại sao cơ sở tri thức tiếng Việt trong luận văn lại phân bố thành 4 tầng với 92 quy tắc? 92 quy tắc phản ánh toàn diện các biến thể ngữ pháp của 400 câu hỏi huấn luyện. Tầng 1 (26 luật) xử lý các mẫu câu chuẩn tắc cơ bản; Tầng 2 (41 luật) và Tầng 3 (20 luật) giải quyết các biến thể đảo ngữ, quan hệ ẩn; Tầng 4 (4 luật) xử lý các trường hợp ngoại lệ cá biệt sâu.

5. Phương pháp phân tích câu hỏi trong luận văn có thể chuyển giao sang ngôn ngữ khác không? Hoàn toàn có thể. Quy trình thu nhận tri thức dựa trên cây SCRDR và mô hình biểu diễn trung gian là độc lập với ngôn ngữ. Phần đặc thù duy nhất của mỗi ngôn ngữ chỉ nằm ở tập từ điển hình thái và các nhãn từ loại đầu vào của khung tiền xử lý.

Kết luận

• Luận văn đã giải quyết trọn vẹn thách thức về chi phí bảo trì và xung đột quy tắc trong phân tích câu hỏi tự nhiên bằng phương pháp tiếp cận có hệ thống dựa trên Single Classification Ripple Down Rules (SCRDR).
• Xây dựng thành công mô hình biểu diễn trung gian dạng bộ 6 phần tử linh hoạt, bao quát 10 lớp câu hỏi và 13 cấu trúc ngữ nghĩa phức tạp trong tiếng Việt và tiếng Anh.
• Cơ sở tri thức 92 quy tắc phân tầng trên 4 cấp độ ngoại lệ đã chứng minh độ chính xác và tính ổn định cao khi kiểm thử trên tập 102 câu hỏi mới độc lập.
• Khẳng định tính khả thi của việc tích hợp nền tảng GATE, ngữ pháp JAPE và cây tri thức ngoại lệ để tạo ra một khung làm việc độc lập với ngôn ngữ, dễ dàng mở rộng sang các miền tri thức mới.
• Lộ trình phát triển tiếp theo trong 6 đến 12 tháng tới sẽ tập trung tự động hóa quá trình sinh luật ngoại lệ và kết hợp đồ thị tri thức quy mô lớn nhằm tối ưu hóa toàn diện hệ thống hỏi đáp ngữ nghĩa. Quý bạn đọc và các nhóm nghiên cứu quan tâm có thể khai thác mã nguồn và cấu trúc quy tắc để ứng dụng trực tiếp vào các dự án trợ lý ảo thông minh.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY -------- NGUYEN QUOC DAT RIPPLE DOWN RULES FOR QUESTION ANALYSIS Major: Computer Science Code: 60 48 01 MASTER THESIS Supervised by: Dr. Pham Bao Son Hanoi - 2011 1 TIEU LUAN MOI download : [e-mail] Ripple Down Rules for Question Analysis Nguyen Quoc Dat Faculty of Information Technology University of Engineering and Technology Vietnam National University, Hanoi Supervised by Dr. Pham Bao Son A thesis submitted in fulfillment of the requirements for the degree of Master of Science in Computer Science August 2011 TIEU LUAN MOI download : [e-mail] TIEU LUAN MOI download : [e-mail] ORIGINALITY STATEMENT ‘I hereby declare that this submission is my own work and to the best of my knowledge it contains no materials previously published or written by another person, or substan- tial proportions of material which have been accepted for the award of any other degree or diploma at University of Engineering and Technology (UET/Coltech) or any other educational institution, except where due acknowledgement is made in the thesis. Any contribution made to the research by others, with whom I have worked at UET/Coltech or elsewhere, is explicitly acknowledged in the thesis.

I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project’s design and conception or in style, presentation and linguistic expression is acknowledged.’ Hanoi, August 23rd , 2011 Signed. i TIEU LUAN MOI download : [e-mail] ABSTRACT For the task of turning a natural language question into an explicit intermediate representation of the complexity in question answering systems, all published works so far use rule-based approach to the best of our knowledge. We believe that it is because of the complexity of the representation and the variety of question types and also there are no publicly available corpora of a decent size. In these rule-based approaches, the process of creating rules is not discussed.

It is clear that manually creating the rules in an ad-hoc manner is very expensive and error-prone. This thesis firstly describes an ad-hoc method to convert Vietnamese natural language questions into intermediate representation elements over semantic annotations via grammar rules. Importantly, this thesis focuses on proposing a language independent approach on the process of creating those rules manually, in a way that consistency between rules is maintained and the effort to create a new rule is independent of the size of the current rule set. Experimental results are promising to show that our language independent approach is easy to adapt for a new domain and a new language.

Publications: ? Dat Quoc Nguyen, Dai Quoc Nguyen and Son Bao Pham. Systematic Knowledge Acquisition for Question Analysis. of the 8th International Conference on Recent Advances in Natural Language Processing (RANLP 2011). ? Dat Quoc Nguyen, Dai Quoc Nguyen, Son Bao Pham and Dang Duc Pham.

Ripple Down Rules for Part-Of-Speech Tagging. of 12th International Conference on Intelligent Text Process- ing and Computational Linguistics (CICLING 2011), Springer-Verlag LNCS, part I, pp. ? Dai Quoc Nguyen, Dat Quoc Nguyen and Son Bao Pham. A Vietnamese question answering system.

of the 2009 International Conference on Knowledge and Systems Engineering (KSE 2009), IEEE CS, pp. ii TIEU LUAN MOI download : [e-mail] ACKNOWLEDGEMENTS First and foremost, I would like to express my deepest gratitude to my supervisor, Dr. Pham Bao Son, for his patient guidance and continuous support throughout the years. He always appears when I need help, and responds to queries so helpfully and promptly.

I would like to give my honest appreciation to my brother, Nguyen Quoc Dai, for his great support. I would like to specially thank Prof. Bui The Duy and my colleagues for their help through my time at Human Machine Interaction Laboratory, UET/Coltech. I would also like to thank my friend, Nguyen Le Trang, for her kindly help.

I sincerely acknowledge the Vietnam National University, Hanoi, NAFOSTED Viet- nam, Toshiba Foundation Scholarship, and especially Dr. Pham Bao Son for sup- porting finance to my master study. Finally, this thesis would not have been possible without the support and love of my mother and my father. Thank you! iii (LUAN.