Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ dữ liệu số với hơn 5 tỷ người dùng Internet toàn cầu, khối lượng thông tin và nhu cầu tra cứu trực tuyến tăng trưởng theo cấp số nhân. Sự phát triển mạnh mẽ của các nền tảng đào tạo trực tuyến (E-Learning) đòi hỏi các hệ thống hỗ trợ phải giải quyết hàng ngàn thắc mắc mỗi ngày một cách nhanh chóng. Trong các hệ thống hỏi đáp tự động (Question Answering Systems - QA), phân lớp câu hỏi là khâu xử lý đầu vào giữ vai trò quyết định, giúp xác định chính xác mục đích tìm kiếm, thu hẹp không gian truy vấn và định vị câu trả lời phù hợp nhất trong kho ngữ liệu khổng lồ.

Nghiên cứu tập trung giải quyết bài toán suy giảm hiệu năng khi phân loại câu hỏi trên không gian nhãn lớn và phức tạp. Mục tiêu cụ thể của đề tài là xây dựng mô hình phân lớp cải tiến hai tầng kết hợp giải thuật tham lam nhằm tối ưu hóa quá trình phân loại, đồng thời ứng dụng thực nghiệm vào hệ thống hỏi đáp thắc mắc H113 tại Trung tâm Đào tạo E-Learning thuộc Viện Đại học Mở Hà Nội trong giai đoạn năm 2016. Bên cạnh đó, nghiên cứu cũng tiến hành thử nghiệm đối chứng trên bộ dữ liệu chuẩn quốc tế của Li và Roth với hơn 5.952 câu hỏi.

Ý nghĩa thực tiễn của công trình thể hiện rõ qua các chỉ số đo lường hiệu năng: mô hình đề xuất giúp nâng độ chính xác tổng thể lên 82,67%, vượt 3,35% so với phương pháp K-Fold Cross Validation truyền thống (đạt 79,32%). Đồng thời, mô hình giúp tự động hóa khâu phân luồng câu hỏi đến đúng bộ phận chuyên trách, xóa bỏ thời gian chờ xử lý thủ công kéo dài từ 24 giờ đến 72 giờ của quy trình tiếp nhận thông thường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết phân lớp văn bản và xử lý ngôn ngữ tự nhiên (NLP) với hai trường phái chính: phân lớp phẳng và phân lớp phân cấp. Mô hình phân lớp phẳng tiêu biểu của Dragomir Radev sử dụng tập 17 nhãn lớp để dự đoán trực tiếp, tuy nhiên mô hình này bộc lộ hạn chế lớn khi không gian nhãn mở rộng và các đặc trưng phân biệt bị chồng lấn. Ngược lại, lý thuyết phân lớp phân cấp của Li và Roth chia bài toán thành cây phân loại (Taxonomy) gồm 6 lớp thô (Abbreviation, Entity, Description, Human, Location, Numeric Value) và 50 lớp mịn chi tiết, giúp giới hạn không gian nhãn cần dự đoán ở từng giai đoạn.

Về mặt giải thuật, nghiên cứu áp dụng giải thuật học máy có giám sát Support Vector Machine (SVM) do Cortes và Vapnik phát triển từ năm 1995. SVM tìm kiếm siêu phẳng tối ưu trong không gian nhiều chiều với biên phân cách lớn nhất, mang lại khả năng chống hiện tượng quá khớp (overfitting) vượt trội khi xử lý các vector đặc trưng văn bản thưa thớt thông qua hàm nhân tuyến tính (Linear Kernel). Ngoài ra, nghiên cứu khảo sát các giải thuật học máy bán giám sát như Self-training, Co-training và Tri-training do Zhi-Hua Zhou và các cộng sự phát triển, cùng các kỹ thuật trích xuất đặc trưng Bag-of-Words và Bag-of-POS (Part-of-Speech).

Phương pháp nghiên cứu

Nghiên cứu sử dụng hai nguồn dữ liệu thực nghiệm độc lập:

  1. Bộ dữ liệu chuẩn quốc tế của Li và Roth gồm 5.952 câu hỏi tiếng Anh trong khuôn khổ hội nghị TREC (5.452 câu huấn luyện và 500 câu kiểm tra).
  2. Bộ dữ liệu thực tế tại Trung tâm Đào tạo E-Learning thu thập tự động qua chương trình Crawler chuyên dụng từ hệ thống hỏi đáp H2472. Từ hơn 4.000 câu hỏi thô ban đầu, quá trình tiền xử lý lọc nhiễu và loại bỏ trùng lặp đã chọn lọc được 1.509 câu hỏi chuẩn hóa, phân bố trên 22 nhãn lớp nghiệp vụ.

Phương pháp chọn mẫu áp dụng kỹ thuật phân tầng ngẫu nhiên: 90% dữ liệu (1.359 câu hỏi) dùng cho tập huấn luyện và phát triển mô hình, 10% dữ liệu (150 câu hỏi) dùng cho tập kiểm tra độc lập, đảm bảo độ phủ đầy đủ của tất cả 22 nhãn lớp.

Phương pháp phân tích ngôn ngữ sử dụng công cụ vnTagger của Lê Hồng Phương với độ chính xác gán nhãn từ loại tiếng Việt đạt khoảng 95%. Lý do lựa chọn kết hợp vnTagger và thư viện libSVM phiên bản 2.9 là nhằm chuẩn hóa triệt để cấu trúc ngữ pháp phức tạp của tiếng Việt (từ ghép, từ láy, danh từ riêng), sau đó ánh xạ toàn bộ dữ liệu thành ma trận vector đặc trưng thưa. Nghiên cứu áp dụng giải thuật tham lam (Greedy Algorithm) trên tập phát triển để tìm kiếm và tách lọc các nhãn lớp có độ chính xác tuyệt đối (100%), từ đó cấu trúc nên bộ phân lớp hai cấp: Cấp một huấn luyện trên toàn bộ dữ liệu, Cấp hai chỉ tập trung phân loại các nhóm nhãn có độ chính xác thấp nhằm triệt tiêu sự nhầm lẫn. Quá trình thực nghiệm được triển khai đồng bộ trên hệ điều hành CentOS 6.5 và CPU Intel Xeon E5-2620 2.00GHz.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đã chứng minh tính ưu việt của mô hình phân lớp hai cấp đề xuất thông qua các số liệu định lượng cụ thể:

Thứ nhất, trên bộ dữ liệu chuẩn của Li và Roth (gồm 500 câu hỏi kiểm tra), mô hình phân lớp cấp một đạt độ chính xác 72,22% (39/54 câu đúng ở nhóm nhãn phân lớp cao). Sau khi loại bỏ 810 câu hỏi thuộc 17 nhãn lớp đạt độ chính xác 100% (như ABBR:abb, DESC:manner, ENTY:currency, LOC:city) khỏi tập huấn luyện để xây dựng bộ phân lớp cấp hai, độ chính xác của cấp hai đạt 83,40% (373/446 câu đúng). Tổng thể toàn mô hình đạt 412/500 câu đúng, tương đương tỷ lệ chính xác 82,40%.

Thứ hai, trên bộ dữ liệu thực tế tại Trung tâm Đào tạo E-Learning (1.509 câu hỏi, 22 nhãn lớp), giải thuật tham lam đã nhận diện thành công 9 nhãn lớp có độ phân lớp chính xác cao tuyệt đối (100%) bao gồm: Tuyển sinh, Thẻ, VClass, Tự luận, Miễn môn, Học phí, Diễn đàn, Nhóm và Tốt nghiệp. Nhóm này chiếm 517 câu hỏi trong tập huấn luyện ban đầu.

Thứ ba, tại bộ phân lớp cấp một cho dữ liệu E-Learning, hệ thống nhận diện chính xác 65/78 câu hỏi thuộc nhóm nhãn độ chính xác cao (đạt tỷ lệ 83,33%). Tại bộ phân lớp cấp hai (huấn luyện trên 842 câu hỏi còn lại), hệ thống phân loại chính xác 59/72 câu hỏi (đạt 81,67%). Tổng cộng qua hai tầng phân lớp, có 124/150 câu hỏi được gán đúng nhãn, đưa độ chính xác chung đạt 82,67%.

Thứ tư, so sánh hiệu năng trực tiếp cho thấy mô hình đề xuất đạt 82,67%, tăng 1,97% so với mô hình phẳng không phân cấp (80,70%) và tăng 3,35% so với phương pháp kiểm định chéo K-Fold Cross Validation tiêu chuẩn (79,32%).

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình đề xuất nâng cao hiệu suất phân lớp là việc thu hẹp không gian nhãn dự đoán ở cấp hai. Khi các nhãn lớp có đặc trưng rõ ràng và độ chính xác cao đã được sàng lọc ở cấp một, tập dữ liệu huấn luyện cấp hai không còn bị phân tán bởi các mẫu dữ liệu dễ gây nhiễu, giúp thuật toán SVM tập trung tối ưu hóa các siêu phẳng phân cách cho những nhãn lớp phức tạp và dễ nhầm lẫn như Kỹ thuật (độ chính xác đơn lẻ chỉ đạt 33,33%) hay Hòm thư cá nhân (Mail - đạt 33,33%).

Về mặt trực quan hóa, kết quả nghiên cứu có thể được thể hiện rõ nét qua biểu đồ cột so sánh tương quan hiệu năng giữa ba phương pháp: K-Fold Cross Validation (79,32%), mô hình phẳng đơn cấp (80,70%) và mô hình cải tiến hai cấp (82,67%). Đồng thời, một bảng ma trận nhầm lẫn (Confusion Matrix) chi tiết cho 22 nhãn lớp sẽ minh họa trực quan sự cải thiện độ nhạy (Recall) và độ chuẩn xác (Precision) tại các nhóm nhãn có tần suất xuất hiện cao như Cố vấn học tập (224 câu), Trắc nghiệm (203 câu) và Điểm (153 câu).

So sánh với các nghiên cứu trước đây của Dragomir Radev hay Li và Roth, giải pháp kết hợp giữa gán nhãn từ loại tiếng Việt bằng vnTagger và cơ chế lọc tham lam mang lại tính thích nghi cao hơn hẳn trên dữ liệu văn bản thực tế. Việc giảm tải số lượng nhãn phải dự đoán đồng thời trong một thời điểm đã giải quyết triệt để điểm nghẽn tính toán mà các hệ thống hỏi đáp trực tuyến thường gặp phải.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, tác giả đề xuất 4 giải pháp trọng tâm nhằm hoàn thiện và nâng cao hiệu quả ứng dụng thực tế:

Thứ nhất, mở rộng quy mô tập dữ liệu huấn luyện từ 1.509 câu hiện tại lên tối thiểu 3.000 đến 5.000 câu hỏi chuẩn hóa trong vòng 6 tháng tới. Đơn vị chủ trì là Trung tâm Đào tạo E-Learning phối hợp cùng Ban Công nghệ Thông tin, tập trung thu thập bổ sung dữ liệu cho các nhãn lớp có dung lượng mẫu thấp như Tuyển sinh (hiện chỉ có 9 câu) và Đăng nhập (15 câu), hướng đến mục tiêu cân bằng dữ liệu và tăng độ bao phủ phân loại.

Thứ hai, làm giàu không gian đặc trưng ngữ nghĩa tiếng Việt bằng cách tích hợp từ điển đồng nghĩa chuyên ngành giáo dục trực tuyến và thử nghiệm kết hợp mô hình Bag-of-Words cùng Bag-of-POS với mô hình Maximum Entropy (MEM). Kế hoạch này do nhóm nghiên cứu thuật toán thực hiện trong thời gian 3 tháng, đặt mục tiêu nâng độ chính xác phân lớp tổng thể vượt ngưỡng 88,00%.

Thứ ba, tích hợp trực tiếp module phân lớp tự động vào cổng tiếp nhận câu hỏi của hệ thống H113. Khi sinh viên nhập tiêu đề câu hỏi, hệ thống sẽ tự động phân loại và gợi ý ngay các câu trả lời tương ứng từ cơ sở dữ liệu tri thức có sẵn, giúp cắt giảm khoảng 40% lượng câu hỏi trùng lặp gửi lên máy chủ và rút ngắn thời gian phản hồi từ 24 - 72 giờ xuống dưới 10 giây.

Thứ tư, áp dụng giải thuật học máy bán giám sát Tri-training trong giai đoạn 12 tháng tiếp theo để tự động khai thác kho câu hỏi chưa gán nhãn khổng lồ trên hệ thống máy chủ, giúp giảm hơn 70% chi phí và thời gian gán nhãn thủ công từ các chuyên gia.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng chuyên môn:

Thứ nhất, học viên cao học, nghiên cứu sinh và giảng viên ngành Hệ thống Thông tin, Khoa học Máy tính và Trí tuệ Nhân tạo: Luận văn cung cấp khung phương pháp luận hoàn chỉnh về phân lớp văn bản phân cấp, kỹ thuật tiền xử lý ngôn ngữ tự nhiên tiếng Việt và cách áp dụng giải thuật tham lam trong tối ưu hóa mô hình học máy.

Thứ hai, kỹ sư phần mềm và chuyên gia phát triển hệ thống hỏi đáp (QA Systems), Chatbot thông minh: Tài liệu cung cấp kiến trúc triển khai thực tế từ khâu thu thập dữ liệu bằng Web Crawler, xử lý ma trận vector đặc trưng libSVM đến thuật toán định tuyến ý định câu hỏi với độ chính xác cao.

Thứ ba, ban giám đốc và cán bộ quản trị tại các trung tâm đào tạo trực tuyến, các trường đại học: Luận văn đưa ra giải pháp công nghệ rõ ràng nhằm tự động hóa quy trình vận hành trung tâm hỗ trợ người học, tối ưu hóa nguồn lực nhân sự tư vấn và nâng cao chất lượng dịch vụ đào tạo từ xa.

Thứ tư, chuyên viên quản trị dữ liệu và khai phá dữ liệu Web: Tài liệu cung cấp kinh nghiệm thực tế trong việc bóc tách cấu trúc HTML, xử lý xác thực phiên làm việc (Session/Cookie) và làm sạch tập dữ liệu lớn phục vụ huấn luyện máy học.

Câu hỏi thường gặp

Phân lớp câu hỏi đóng vai trò gì trong hệ thống hỏi đáp tự động?

Phân lớp câu hỏi là bước tiền xử lý then chốt giúp gán nhãn ngữ nghĩa và xác định mục đích của người dùng. Việc này giúp hệ thống thu hẹp không gian tìm kiếm từ hàng triệu văn bản xuống một phạm vi hẹp chứa câu trả lời tiềm năng, từ đó tăng tốc độ truy vấn và độ chính xác của câu trả lời.

Vì sao mô hình hai cấp lại cho độ chính xác cao hơn mô hình phân lớp phẳng?

Mô hình phẳng phải dự đoán toàn bộ 22 nhãn lớp cùng một lúc, dẫn đến hiện tượng chồng lấn đặc trưng. Mô hình hai cấp phân tách các nhãn có độ chính xác tuyệt đối ở cấp một, giúp bộ phân lớp cấp hai chỉ tập trung phân biệt các nhãn phức tạp, làm tăng độ chính xác thêm 1,97% đến 3,35%.

Giải thuật tham lam được ứng dụng cụ thể như thế nào trong nghiên cứu?

Giải thuật tham lam được áp dụng trên tập dữ liệu phát triển nhằm kiểm tra và sàng lọc từng nhãn lớp đạt độ chính xác 100%. Khi loại bỏ các nhãn này khỏi tập huấn luyện cấp hai, giải thuật giúp tạo ra không gian đặc trưng tối ưu mà không làm mất đi các thuộc tính quan trọng của dữ liệu.

Công cụ vnTagger đóng góp vai trò gì trong việc xử lý câu hỏi tiếng Việt?

vnTagger thực hiện gán nhãn từ loại tiếng Việt tự động với độ chính xác khoảng 95%. Công cụ này giúp nhận diện từ ghép, từ đơn và phân loại danh từ, động từ, tính từ, tạo điều kiện thuận lợi để ánh xạ chính xác câu hỏi thành các vector đặc trưng trong thư viện libSVM.

Mô hình phân lớp đề xuất có thể áp dụng cho các lĩnh vực khác ngoài giáo dục không?

Mô hình hoàn toàn có thể mở rộng cho các hệ thống chăm sóc khách hàng tự động, tổng đài dịch vụ công hoặc các nền tảng thương mại điện tử. Quy trình thu thập dữ liệu, gán nhãn từ loại và phân lớp hai tầng là khung giải pháp chuẩn có thể tùy biến cho mọi tập dữ liệu nghiệp vụ khác nhau.

Kết luận

Nghiên cứu đã giải quyết thành công bài toán tối ưu hóa phân lớp câu hỏi trong hệ thống hỏi đáp tự động với 5 kết quả nổi bật:

  • Hệ thống hóa toàn diện cơ sở lý thuyết về phân lớp câu hỏi phẳng, phân lớp phân cấp và các giải thuật học máy có giám sát (SVM) lẫn bán giám sát (Tri-training).
  • Đề xuất thành công kiến trúc mô hình phân lớp hai cấp kết hợp giải thuật tham lam giúp loại bỏ nhãn lớp chính xác cao, thu hẹp hiệu quả không gian dự đoán.
  • Xây dựng bộ công cụ tiền xử lý hoàn chỉnh gồm module Crawler tự động, gán nhãn từ loại tiếng Việt bằng vnTagger và chuẩn hóa vector libSVM.
  • Kiểm chứng thực nghiệm thành công trên bộ dữ liệu chuẩn Li và Roth (đạt 82,40%) và bộ dữ liệu E-Learning 1.509 câu (đạt 82,67%), vượt trội so với các phương pháp đối chứng truyền thống.
  • Đề xuất phương án tích hợp thực tế vào hệ thống tiếp nhận H113 nhằm tự động hóa hỗ trợ học tập trực tuyến.

Trong giai đoạn 12 tháng tới, hướng nghiên cứu tiếp theo sẽ tập trung mở rộng tập ngữ liệu lên trên 3.000 câu hỏi và ứng dụng giải thuật Tri-training để khai phá dữ liệu chưa gán nhãn. Quý độc giả, các nhà nghiên cứu và kỹ sư công nghệ có thể tải toàn văn tài liệu hoặc kết nối trực tiếp với nhóm tác giả để trao đổi chuyên môn, khai thác mã nguồn và triển khai ứng dụng mô hình vào các hệ thống hỏi đáp thực tế.