Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin số và sự phát triển mạnh mẽ của các công nghệ giao tiếp tự động giữa người và máy, việc tiếp cận các văn bản quy định hành chính dày đặc luôn là một rào cản lớn. Theo các khảo sát thực tế trong môi trường đại học, khoảng 85% sinh viên gặp khó khăn hoặc ngại đọc trực tiếp cuốn sổ tay quy chế đào tạo dày hàng trăm trang, dẫn đến việc thiếu hụt thông tin quan trọng về lộ trình học tập, điều kiện tiên quyết và quy định thi cử. Các hệ thống hỏi đáp truyền thống thường nỗ lực giải quyết vấn đề này bằng cách truy xuất thông tin dựa trên cơ sở tri thức hoặc ontology. Tuy nhiên, rào cản lớn nhất của các hệ thống hỏi đáp nằm ở khâu phân tích câu hỏi tự nhiên: các phương pháp sinh luật thủ công trước đây vừa tốn kém thời gian, công sức, vừa rất dễ phát sinh lỗi khi mở rộng tập mẫu câu. Đồng thời, khi hệ thống hỏi đáp chính thức không thể tìm thấy câu trả lời chính xác do câu hỏi quá ngắn hoặc thiếu thông tin, toàn bộ quy trình tra cứu sẽ bị gián đoạn.

Luận văn thạc sĩ khoa học máy tính với đề tài xây dựng tác nhân hội thoại dạng văn bản tiếng Việt do tác giả Nguyễn Quốc Đại thực hiện dưới sự hướng dẫn của Tiến sĩ Phạm Bảo Sơn tại Khoa Công nghệ Thông tin, Trường Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội vào tháng 11 năm 2011 đã giải quyết triệt để bài toán trên. Mục tiêu cốt lõi của nghiên cứu là phát triển một kiến trúc tác nhân hội thoại dạng văn bản tiếng Việt hoạt động trên miền tri thức chuyên sâu, cụ thể là quy chế đào tạo đại học theo học chế tín chỉ của Đại học Quốc gia Hà Nội. Tác nhân này được tích hợp chặt chẽ vào một hệ thống hỏi đáp dựa trên ontology đóng vai trò làm thành phần dự phòng thông minh: khi hệ thống hỏi đáp thất bại trong việc trích xuất câu trả lời trực tiếp, tác nhân hội thoại sẽ kích hoạt tương tác đa bước để cung cấp tri thức liên quan và thu thập thêm thông tin từ người học. Nghiên cứu mang ý nghĩa học thuật và ứng dụng to lớn khi xây dựng thành công 16 ngữ cảnh hội thoại phân cấp, xử lý 417 lượt tương tác từ 30 sinh viên với tỷ lệ phản hồi chính xác đạt 79.4% và mức độ hài lòng tích cực đạt 86.6%, mở ra hướng tiếp cận mới trong việc tự động hóa tư vấn học vụ tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của hai nền tảng lý thuyết lớn: lý thuyết phân tích cú pháp, ngữ nghĩa trong xử lý ngôn ngữ tự nhiên và lý thuyết thiết kế tác nhân hội thoại dựa trên luật khớp mẫu.

Thứ nhất, mô hình phân tích câu hỏi ngữ nghĩa của hệ thống kế thừa nguyên lý biểu diễn trung gian dạng cấu trúc bộ dữ liệu có cấu trúc từ hệ thống AquaLog, sau đó phát triển mở rộng thành bộ đa thành phần gồm loại cấu trúc câu hỏi, lớp câu hỏi, khái niệm chính, quan hệ ràng buộc ngữ nghĩa và các thực thể liên quan. Khung này cho phép bao quát 10 lớp câu hỏi tự nhiên khác nhau gồm HowWhy, YesNo, What, When, Where, Who, Many, ManyClass, List và Entity, cùng 13 dạng cấu trúc câu hỏi phức hợp như Normal, UnknTerm, UnknRel, Definition, Compare, ThreeTerm, Clause, Combine, And, Or, Affirm, Affirm_3Term và Affirm_MoreTuples.

Thứ hai, mô hình tác nhân hội thoại kế thừa nguyên lý khớp mẫu từ khóa của các hệ thống kinh điển như ELIZA, ALICE sử dụng ngôn ngữ AIML, và ProBot, đồng thời áp dụng ngôn ngữ kịch bản FrameScript của McGill. FrameScript cung cấp cơ chế biểu diễn tri thức linh hoạt theo cấu trúc khung, hỗ trợ các ký tự đại diện, phần tử phi kết thúc, phản hồi dạng chuỗi tuần tự hoặc ngẫu nhiên, cùng khả năng chèn biểu thức điều kiện logic ngay trong phản hồi để phân giải các trường hợp nhập nhằng ngữ nghĩa.

Các khái niệm chính yếu chi phối toàn bộ nghiên cứu bao gồm: Biểu diễn trung gian của câu hỏi ngôn ngữ tự nhiên, Ngữ cảnh phân cấp của hội thoại, Ngôn ngữ kịch bản FrameScript, Ánh xạ khái niệm Ontology, và Quy tắc chuyển tiếp ngữ cảnh.

Phương pháp nghiên cứu

Nghiên cứu kết hợp phương pháp kỹ thuật thực nghiệm và thu thập ngữ liệu thực tế với các thông số đo lường cụ thể:

  • Nguồn dữ liệu: Dữ liệu xây dựng tác nhân hội thoại tiếng Việt được trích xuất và chuẩn hóa từ văn bản Quy chế đào tạo đại học của Đại học Quốc gia Hà Nội. Dữ liệu thử nghiệm khả năng phân tích câu hỏi tiếng Anh sử dụng 170 câu hỏi từ kho ngữ liệu AquaLog và 500 câu hỏi độc lập từ tập dữ liệu chuẩn TREC 10.
  • Cỡ mẫu và phương pháp chọn mẫu: Đối với thử nghiệm tác nhân tiếng Việt, nghiên cứu áp dụng phương pháp chọn mẫu thuận tiện có chủ đích với 30 sinh viên đang theo học tại các khoa đào tạo của Đại học Quốc gia Hà Nội. Mỗi sinh viên tham gia một phiên tương tác hoàn chỉnh, ghi nhận tổng cộng 417 lượt giao tiếp qua giao diện văn bản.
  • Phương pháp phân tích và xử lý ngôn ngữ: Hệ thống áp dụng quy trình phân tích 3 tầng được đóng gói dưới dạng các plug-in tích hợp trong khung kiến trúc GATE (General Architecture for Text Engineering):
    1. Tầng tiền xử lý: Thực hiện tách từ tiếng Việt và gán nhãn từ tính (Part-of-Speech tagging) thông qua công cụ chuyên dụng cho tiếng Việt để gán các nhãn TokenVn.
    2. Tầng phân tích cú pháp: Xác định các cụm danh từ, cụm từ nghi vấn và cụm từ chỉ quan hệ bằng cách kết hợp nhãn từ tính với các luật ngữ pháp kịch bản.
    3. Tầng phân tích ngữ nghĩa: Khớp mẫu các thành phần cú pháp với các luật FrameScript để trích xuất trực tiếp bộ biểu diễn trung gian, đồng thời định tuyến câu hỏi vào cây ngữ cảnh hội thoại.
  • Lý do lựa chọn phương pháp: Việc sử dụng ngôn ngữ kịch bản FrameScript thay thế cho việc viết mã nguồn Java cứng hoặc các luật JAPE truyền thống giúp giảm khoảng 60% thời gian tạo luật, loại bỏ nguy cơ tương tác xung đột ngoài ý muốn giữa các quy tắc và cho phép áp dụng độc lập với ngôn ngữ.
  • Thời gian nghiên cứu: Toàn bộ quá trình thiết kế kiến trúc, xây dựng bộ 16 ngữ cảnh kịch bản và tiến hành thử nghiệm đánh giá được thực hiện tập trung trong khoảng thời gian từ tháng 1 đến tháng 11 năm 2011.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã ghi nhận những kết quả thực nghiệm định lượng nổi bật, khẳng định tính hiệu quả vượt trội của mô hình tác nhân hội thoại tiếng Việt và phương pháp trích xuất biểu diễn trung gian:

  1. Hiệu năng vận hành của tác nhân hội thoại tiếng Việt: Hệ thống đã thiết lập hoàn chỉnh 16 ngữ cảnh giao tiếp về quy chế học vụ, vận hành ổn định trên 417 lượt tương tác từ 30 sinh viên thử nghiệm, đạt số lượng tương tác trung bình là 14 lượt cho mỗi phiên làm việc. Tỷ lệ phản hồi chính xác và thỏa mãn trọn vẹn nhu cầu tra cứu của người học đạt 79.4%, tương ứng với 331 lượt tương tác thành công trên tổng số 417 lượt.
  2. Mức độ hài lòng của người sử dụng: Đánh giá định lượng trên thang điểm từ 1 đến 5 (1: Kém, 2: Bình thường, 3: Tốt, 4: Rất tốt, 5: Xuất sắc) cho thấy có 26 trên tổng số 30 sinh viên (chiếm 86.6%) đánh giá hệ thống ở mức tích cực từ 3 điểm trở lên. Cụ thể, 13 sinh viên đánh giá mức Tốt (43.3%), 9 sinh viên đánh giá mức Rất tốt (30.0%), 4 sinh viên đánh giá mức Xuất sắc (13.3%), trong khi chỉ có 3 sinh viên cho điểm Kém (10.0%) và 1 sinh viên cho điểm Bình thường (3.3%).
  3. Phân loại và định lượng nguồn gốc sai số: Trong số 86 lượt tương tác chưa thỏa mãn (chiếm 20.6%), phân tích chi tiết chỉ ra rằng 87.2% nguyên nhân (75 trường hợp) bắt nguồn từ việc xây dựng mẫu quy tắc chưa bao quát được sự phong phú của cấu trúc câu hỏi tiếng Việt, và 12.8% nguyên nhân (11 trường hợp) xuất phát từ sự sắp xếp chưa tối ưu trong cây phân cấp ngữ cảnh.
  4. Tính tổng quát và khả năng chuyển giao miền: Khi áp dụng FrameScript trên 170 câu hỏi tiếng Anh của AquaLog, nhóm nghiên cứu chỉ mất khoảng 12 giờ làm việc để xây dựng toàn bộ 52 quy tắc trích xuất. Khi đem 52 quy tắc này kiểm thử trên 500 câu hỏi mở của TREC 10 mà không cần sửa đổi, hệ thống đã phân tích chính xác 241 câu hỏi, trong đó cấu trúc câu hỏi Định nghĩa đạt độ chính xác cao nhất với 130 câu phân tích đúng.

Thảo luận kết quả

Các kết quả thực nghiệm đạt được cung cấp những luận cứ khoa học sâu sắc về bản chất của việc xử lý ngôn ngữ tự nhiên và quản lý hội thoại tiếng Việt:

Nguyên nhân căn bản giúp tác nhân hội thoại đạt độ chính xác 79.4% nằm ở nguyên lý tổ chức thứ bậc ngữ cảnh: các quy tắc chuyển tiếp của ngữ cảnh con luôn được ưu tiên xử lý trước ngữ cảnh cha. Ví dụ cụ thể trong kịch bản quy chế, khi người dùng hỏi về khái niệm môn học tiên quyết hoặc môn học điều kiện, hệ thống phải kích hoạt kiểm tra quy tắc của hai ngữ cảnh con này trước khi kích hoạt quy tắc của ngữ cảnh môn học chung. Nếu đảo ngược thứ tự, hệ thống sẽ rơi vào bẫy chuyển ngữ cảnh sai lệch và trả về định nghĩa chung không thỏa mãn người dùng.

So sánh với các nghiên cứu tiền nhiệm, cách tiếp cận bằng FrameScript đã khắc phục được nhược điểm của các hệ thống thuần dựa trên độ đo tương đồng câu (như các mô hình phân tích ngữ nghĩa tiềm ẩn LSA của AutoTutor). Mô hình tương đồng câu tuy giảm kích thước tập luật nhưng không thể trích xuất các thành phần tham số động để đưa vào câu trả lời, trong khi FrameScript cho phép tái sử dụng các thành phần khớp mẫu được đánh số để tạo câu trả lời động một cách chuẩn xác.

Toàn bộ dữ liệu kết quả thực nghiệm có thể được mô tả trực quan qua biểu đồ phân bố độ hài lòng của 30 người dùng (thể hiện rõ sự tập trung ở mức điểm 3 và 4) cùng bảng phân tích nguyên nhân lỗi (đối sánh 75 lỗi mẫu quy tắc so với 11 lỗi tổ chức phân cấp). Điều này chứng minh rằng hạn chế của hệ thống hoàn toàn có thể được khắc phục nhanh chóng bằng cách bổ sung và làm giàu tập mẫu quy tắc mà không cần can thiệp vào kiến trúc lõi của phần mềm.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm và phân tích hạn chế của hệ thống, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm hoàn thiện và nâng tầm ứng dụng của tác nhân hội thoại tiếng Việt:

  • Mở rộng tập quy tắc mẫu và tự động hóa học mẫu: Các nhóm nghiên cứu xử lý ngôn ngữ tự nhiên cần ứng dụng các giải pháp học máy bán giám sát để tự động sinh và mở rộng các mẫu quy tắc FrameScript từ kho ngữ liệu lớn hơn khoảng 5.500 câu hỏi, đặt mục tiêu giảm tỷ lệ lỗi mẫu từ 87.2% xuống dưới mức 20% trong khung thời gian 6 tháng.
  • Xây dựng cơ chế tương tác đa bước giải quyết nhập nhằng ontology: Đội ngũ kỹ sư phát triển phần mềm cần tích hợp các kịch bản phụ có khả năng tương tác trực tiếp với người dùng khi thuật toán so khớp chuỗi khoảng cách phát hiện nhiều thực thể ontology có độ tương đồng sát nhau, hướng tới mục tiêu nâng độ chính xác toàn hệ thống từ 79.4% lên trên 90% trong vòng 9 tháng.
  • Nâng cấp bộ nhớ ngữ cảnh và theo dõi trạng thái hội thoại: Các nhà phát triển hệ thống cần bổ sung mô-đun quản lý phiên làm việc thông minh cho phép tác nhân ghi nhớ lịch sử tương tác nhiều bước, tăng khả năng duy trì ngữ cảnh trao đổi liên tục từ mức 14 lượt lên trên 25 lượt tương tác mà không bị mất dấu chủ đề, triển khai hoàn thành trong 12 tháng.
  • Ứng dụng triển khai thực tế tại các cơ sở giáo dục đại học: Ban Giám hiệu và Trung tâm Công nghệ Thông tin tại các trường đại học thành viên Đại học Quốc gia Hà Nội nên tích hợp tác nhân hội thoại này vào cổng thông tin đào tạo trực tuyến và ứng dụng di động của nhà trường, hướng tới phục vụ tối thiểu 15.000 sinh viên truy cập tra cứu mỗi học kỳ trong lộ trình 18 tháng tới.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thực tiễn cao cho 4 nhóm đối tượng chính:

  • Học viên cao học và nhà nghiên cứu chuyên ngành Khoa học Máy tính, Xử lý Ngôn ngữ Tự nhiên: Luận văn cung cấp tài liệu tham khảo mẫu mực về quy trình thiết kế hệ thống hỏi đáp ontology, kỹ thuật biểu diễn câu hỏi dạng bộ đa thành phần và phương pháp luận thiết lập tác nhân hội thoại cho các ngôn ngữ có nguồn tài nguyên hạn chế như tiếng Việt.
  • Kỹ sư phát triển phần mềm Trí tuệ Nhân tạo và Hệ thống Chatbot: Các chuyên viên kỹ thuật có thể ứng dụng trực tiếp kiến trúc phân cấp ngữ cảnh của FrameScript và nguyên tắc ưu tiên ngữ cảnh con để tối ưu hóa logic phản hồi cho các chatbot chăm sóc khách hàng trên các miền dữ liệu chuyên sâu.
  • Cán bộ quản lý đào tạo và chuyển đổi số tại các trường đại học, học viện: Luận văn là cơ sở thực tiễn để xây dựng các kênh giải đáp tự động sổ tay sinh viên và quy chế đào tạo tín chỉ, giúp tiết kiệm khoảng 70% thời gian trực tư vấn trực tiếp của đội ngũ giáo vụ khoa và phòng đào tạo.
  • Doanh nghiệp công nghệ phát triển giải pháp trợ lý ảo hành chính công: Các nhà quản lý sản phẩm có thể tham khảo phương pháp kết hợp giữa hệ thống hỏi đáp chính xác với tác nhân hội thoại dự phòng để triển khai cho các dịch vụ một cửa điện tử và cổng dịch vụ công trực tuyến.

Câu hỏi thường gặp

  • Tác nhân hội thoại trong luận văn đóng vai trò gì trong hệ thống hỏi đáp tổng thể? Tác nhân hội thoại đóng vai trò là một thành phần hỗ trợ dự phòng thông minh ở phía sau. Khi hệ thống hỏi đáp ngữ nghĩa không thể trích xuất được câu trả lời từ ontology do câu hỏi quá ngắn hoặc thiếu thành phần ngữ nghĩa, tác nhân hội thoại sẽ tự động kích hoạt để tiếp tục duy trì tương tác, cung cấp thông tin liên quan và gợi mở nhu cầu tiếp theo của người dùng.

  • Vì sao ngôn ngữ FrameScript được lựa chọn thay cho các bộ ngữ pháp JAPE truyền thống? FrameScript cho phép người phát triển định nghĩa các quy tắc khớp mẫu và trích xuất cấu trúc ngữ nghĩa trực tiếp một cách trực quan, ngắn gọn mà không cần viết mã nguồn phụ trợ phức tạp. Ngôn ngữ này hỗ trợ biểu thức điều kiện ngay trong khối phản hồi, giúp gộp các trường hợp nhập nhằng vào một quy tắc duy nhất và tiết kiệm tới 60% thời gian tạo luật.

  • Hệ thống giải quyết xung đột giữa ngữ cảnh cha và ngữ cảnh con như thế nào? Hệ thống áp dụng nguyên lý sắp đặt thứ tự quy tắc chuyển tiếp nghiêm ngặt: quy tắc của các ngữ cảnh con luôn được bố trí trước quy tắc của ngữ cảnh cha trong cùng một kịch bản. Cách thức này đảm bảo rằng các yêu cầu cụ thể như môn học tiên quyết sẽ được nhận diện chính xác trước khi kích hoạt phản hồi chung của ngữ cảnh môn học.

  • Kết quả đánh giá thực tế của hệ thống trên tập người dùng sinh viên đạt mức độ nào? Thực nghiệm trên 30 sinh viên với 417 lượt tương tác thực tế cho thấy hệ thống đạt tỷ lệ phản hồi chính xác 79.4%. Đánh giá mức độ hài lòng ghi nhận 86.6% sinh viên đánh giá hệ thống ở mức tốt trở lên (từ 3 đến 5 điểm trên thang điểm 5), khẳng định tính ứng dụng vượt trội và sự thân thiện của giao diện hội thoại.

  • Phương pháp xây dựng quy tắc trong luận văn có thể chuyển giao sang ngôn ngữ khác không? Quy trình xây dựng quy tắc bằng FrameScript là một phương pháp độc lập với ngôn ngữ học. Thực nghiệm trên 170 câu hỏi tiếng Anh của AquaLog chỉ mất khoảng 12 giờ để tạo lập 52 quy tắc và đã phân tích chính xác 241 câu hỏi trong tập dữ liệu chuẩn TREC 10, chứng minh khả năng thích ứng linh hoạt sang các ngôn ngữ và miền tri thức mới.

Kết luận

  • Luận văn đã tiên phong xây dựng thành công kiến trúc tác nhân hội thoại dạng văn bản tiếng Việt đầu tiên trên miền tri thức học vụ, tích hợp hoàn hảo với hệ thống hỏi đáp dựa trên ontology.
  • Đề xuất và ứng dụng thành công phương pháp trích xuất biểu diễn trung gian của câu hỏi bằng ngôn ngữ kịch bản FrameScript, giúp rút ngắn thời gian phát triển và loại bỏ xung đột quy tắc.
  • Hiện thực hóa 16 ngữ cảnh phân cấp về quy chế đào tạo tín chỉ, đạt độ chính xác phản hồi 79.4% trên 417 lượt tương tác và nhận được đánh giá tích cực từ 86.6% người dùng thử nghiệm.
  • Chứng minh tính độc lập ngôn ngữ và khả năng mở rộng miền vượt trội thông qua việc xây dựng 52 quy tắc tiếng Anh trong 12 giờ và phân tích thành công 241 câu hỏi thuộc tập dữ liệu TREC 10.
  • Về lộ trình phát triển tiếp theo, trong 6 đến 12 tháng tới, hệ thống sẽ tiếp tục được mở rộng tập quy tắc tự động bằng học máy và nâng cấp cơ chế phân giải nhập nhằng ontology đa bước.

Các nhà nghiên cứu, kỹ sư trí tuệ nhân tạo và các cơ sở giáo dục đại học quan tâm đến việc ứng dụng mô hình tác nhân hội thoại và hệ thống hỏi đáp ngữ nghĩa tiếng Việt có thể khai thác trực tiếp các cấu trúc kịch bản và khung phương pháp luận của luận văn để triển khai vào các bài toán chuyển đổi số học vụ thực tế.