Tổng quan nghiên cứu

Trong bối cảnh chuyển đổi số mạnh mẽ tại các cơ quan nhà nước, việc tự động hóa quy trình tiếp nhận và xử lý câu hỏi của người dân trở thành nhu cầu cấp thiết nhằm nâng cao hiệu quả phục vụ và giảm tải cho bộ phận quản trị. Tỉnh Tây Ninh đã triển khai hệ thống hỏi đáp trực tuyến từ năm 2016, với hơn 26.000 câu hỏi được tiếp nhận từ 26 đơn vị khác nhau, tạo thành kho dữ liệu lớn và đa dạng. Tuy nhiên, việc phân loại và chuyển câu hỏi thủ công gây tốn kém thời gian, nhân lực và ảnh hưởng đến chất lượng phản hồi.

Luận văn tập trung xây dựng hệ thống hỏi đáp trực tuyến ứng dụng phương pháp máy học nhằm tự động hóa quy trình tiếp nhận câu hỏi, phân loại và chuyển đến các đơn vị chức năng phù hợp. Mục tiêu cụ thể là phát triển bộ công cụ AI phân tích yêu cầu câu hỏi, tiết kiệm nhân lực và thời gian, đồng thời nâng cao độ chính xác trong việc xử lý thông tin. Nghiên cứu áp dụng cho dữ liệu thu thập từ hệ thống hỏi đáp trực tuyến tỉnh Tây Ninh trong giai đoạn gần đây, với phạm vi bao gồm 26 đơn vị hành chính và các sở ngành liên quan.

Việc xây dựng hệ thống này không chỉ giúp tối ưu hóa quy trình tiếp nhận câu hỏi mà còn hỗ trợ chính quyền địa phương trong việc nắm bắt nhu cầu, phản ánh của người dân một cách nhanh chóng và chính xác, góp phần nâng cao chất lượng quản lý nhà nước và cải thiện trải nghiệm người dùng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình trong lĩnh vực trí tuệ nhân tạo (AI) và học máy (Machine Learning - ML), đặc biệt tập trung vào xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) và phân loại văn bản. Hai lý thuyết chính được áp dụng gồm:

  1. Học máy có giám sát (Supervised Learning): Thuật toán học từ dữ liệu đã gán nhãn để xây dựng mô hình phân loại câu hỏi theo các đơn vị chức năng. Các thuật toán phân lớp được sử dụng gồm Support Vector Machines (SVM), Naive Bayes và k-Nearest Neighbors (k-NN).

  2. Biểu diễn dữ liệu văn bản: Sử dụng các phương pháp biểu diễn đặc trưng như Tf-idf Vector, Count Vectorization và FastText để chuyển đổi câu hỏi dạng văn bản thành các vectơ số phục vụ cho quá trình huấn luyện mô hình.

Các khái niệm chính bao gồm:

  • Tf-idf (Term Frequency-Inverse Document Frequency): Đo lường tầm quan trọng của từ trong văn bản dựa trên tần suất xuất hiện và tần suất nghịch đảo trong tập dữ liệu.
  • Count Vectorization: Biểu diễn văn bản bằng tần suất xuất hiện của các từ.
  • FastText: Mô hình word embeddings sử dụng n-gram để biểu diễn từ và xử lý từ hiếm.
  • Phân lớp (Classification): Quá trình dự đoán nhãn cho dữ liệu mới dựa trên mô hình học được từ dữ liệu huấn luyện.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là cơ sở dữ liệu câu hỏi thu thập từ hệ thống hỏi đáp trực tuyến, dịch vụ công và hệ thống Một Cửa của tỉnh Tây Ninh, với tổng số 26.005 câu hỏi thuộc 26 đơn vị khác nhau. Dữ liệu được lưu trữ dưới định dạng JSON, bao gồm trường tên đơn vị (nhãn) và nội dung câu hỏi.

Quy trình nghiên cứu gồm các bước:

  • Tiền xử lý dữ liệu: Loại bỏ mã HTML, chuẩn hóa Unicode và kiểu gõ tiếng Việt, tách từ bằng thư viện ViTokenizer, chuyển chữ hoa thành chữ thường, loại bỏ từ không có nghĩa (stopwords). Dữ liệu được chuẩn hóa để đảm bảo tính đồng nhất và phù hợp cho huấn luyện.
  • Chia tập dữ liệu: Tập dữ liệu được chia theo tỷ lệ 80% cho huấn luyện và 20% cho kiểm tra, đảm bảo đánh giá mô hình chính xác.
  • Huấn luyện mô hình: Áp dụng các thuật toán SVM, Naive Bayes và k-NN với các phương pháp biểu diễn dữ liệu Tf-idf, CountVectorizer và FastText để xây dựng mô hình phân loại câu hỏi.
  • Đánh giá mô hình: Sử dụng các chỉ số precision, recall, F1-score và accuracy để đánh giá hiệu suất mô hình trên tập kiểm tra.
  • Thời gian nghiên cứu: Nghiên cứu được thực hiện trong năm 2023, tập trung vào dữ liệu và hệ thống của tỉnh Tây Ninh.

Môi trường thực nghiệm sử dụng Google Colab với CPU Intel Xeon và thư viện scikit-learn phiên bản mới nhất, đảm bảo khả năng xử lý và huấn luyện mô hình hiệu quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả mô hình SVM với Tf-idf: Mô hình SVM sử dụng phương pháp biểu diễn Tf-idf đạt độ chính xác cao, với precision và recall trung bình trên 0.95 cho các đơn vị có lượng dữ liệu lớn như UBND thị xã Hòa Thành (7.234 câu hỏi) và UBND Thành Phố Tây Ninh (5.212 câu hỏi). F1-score đạt khoảng 0.94, cho thấy khả năng phân loại chính xác và cân bằng giữa độ chính xác và độ phủ.

  2. So sánh các phương pháp biểu diễn dữ liệu: Phương pháp Tf-idf vượt trội hơn so với CountVectorizer và FastText trong việc biểu diễn dữ liệu cho bài toán phân loại câu hỏi. FastText tuy có ưu điểm trong xử lý từ hiếm nhưng chưa đạt hiệu quả cao bằng Tf-idf trong ngữ cảnh dữ liệu tiếng Việt chuẩn hóa.

  3. Hiệu suất các thuật toán phân lớp: SVM cho kết quả tốt nhất với độ chính xác khoảng 92%, trong khi Naive Bayes và k-NN đạt lần lượt khoảng 85% và 80%. SVM cũng thể hiện khả năng xử lý dữ liệu đa chiều và nhiễu tốt hơn, phù hợp với đặc thù dữ liệu câu hỏi đa dạng.

  4. Tác động của tiền xử lý dữ liệu: Việc chuẩn hóa Unicode, kiểu gõ tiếng Việt và loại bỏ từ không có nghĩa giúp cải thiện đáng kể hiệu suất mô hình, tăng độ chính xác phân loại lên khoảng 5-7% so với dữ liệu thô.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả cao của mô hình SVM với Tf-idf là khả năng tối ưu siêu phẳng phân tách các lớp dữ liệu trong không gian đặc trưng cao chiều, phù hợp với bài toán phân loại văn bản tiếng Việt có nhiều biến thể. Kết quả này tương đồng với các nghiên cứu trong nước và quốc tế về ứng dụng SVM trong xử lý ngôn ngữ tự nhiên.

So với các mô hình Naive Bayes và k-NN, SVM có ưu thế trong việc xử lý dữ liệu có nhiều đặc trưng và nhiễu, đồng thời không bị ảnh hưởng nhiều bởi các điểm ngoại lai. Tuy nhiên, Naive Bayes vẫn có ưu điểm về tốc độ huấn luyện và đơn giản, phù hợp với các ứng dụng cần xử lý nhanh.

Việc áp dụng các kỹ thuật tiền xử lý dữ liệu chuẩn hóa tiếng Việt là yếu tố then chốt giúp mô hình học máy hiểu đúng ngữ nghĩa và giảm thiểu sai sót do biến thể ngôn ngữ. Kết quả nghiên cứu cũng cho thấy tầm quan trọng của việc lựa chọn phương pháp biểu diễn dữ liệu phù hợp với đặc thù ngôn ngữ và bài toán.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh độ chính xác, recall và F1-score giữa các mô hình và phương pháp biểu diễn, cũng như bảng ma trận nhầm lẫn để minh họa khả năng phân loại chính xác từng lớp đơn vị.

Đề xuất và khuyến nghị

  1. Triển khai mô hình SVM với Tf-idf vào hệ thống thực tế: Áp dụng mô hình đã được huấn luyện và đánh giá để tự động phân loại câu hỏi trên hệ thống hỏi đáp trực tuyến tỉnh Tây Ninh, nhằm giảm tải cho bộ phận quản trị và tăng tốc độ xử lý câu hỏi. Thời gian thực hiện dự kiến trong 6 tháng, do Sở Thông tin và Truyền thông chủ trì.

  2. Cập nhật và mở rộng dữ liệu huấn luyện định kỳ: Thu thập thêm dữ liệu câu hỏi mới hàng quý để huấn luyện lại mô hình, đảm bảo mô hình luôn cập nhật và thích ứng với các thay đổi trong ngôn ngữ và nhu cầu người dân. Đề xuất thực hiện bởi Trung tâm Công nghệ thông tin tỉnh Tây Ninh.

  3. Phát triển giao diện người dùng thân thiện: Tối ưu hóa giao diện nhập câu hỏi và phản hồi kết quả phân loại tự động, giúp người dân dễ dàng sử dụng và nhận được câu trả lời nhanh chóng. Thời gian triển khai 3 tháng, phối hợp giữa đơn vị phát triển phần mềm và Sở Thông tin.

  4. Đào tạo nhân sự vận hành và giám sát hệ thống: Tổ chức các khóa đào tạo về quản lý hệ thống AI và xử lý dữ liệu cho cán bộ phụ trách, đảm bảo vận hành hiệu quả và kịp thời xử lý các trường hợp ngoại lệ. Thời gian đào tạo 2 tháng, do Học viện Công nghệ Bưu chính Viễn thông phối hợp thực hiện.

  5. Nâng cao khả năng xử lý ngôn ngữ tự nhiên: Nghiên cứu và áp dụng các mô hình học sâu tiên tiến như BERT hoặc Transformer để cải thiện khả năng hiểu ngữ cảnh và trả lời chính xác hơn, hướng tới phát triển hệ thống hỏi đáp thông minh toàn diện trong tương lai.

Đối tượng nên tham khảo luận văn

  1. Cán bộ công nghệ thông tin tại các cơ quan nhà nước: Nghiên cứu cung cấp giải pháp ứng dụng AI và học máy trong tự động hóa quy trình hành chính, giúp nâng cao hiệu quả công việc và giảm tải nhân sự.

  2. Nhà nghiên cứu và sinh viên ngành hệ thống thông tin, trí tuệ nhân tạo: Luận văn trình bày chi tiết quy trình xây dựng mô hình phân loại văn bản tiếng Việt, phương pháp tiền xử lý và đánh giá mô hình, là tài liệu tham khảo quý giá cho các đề tài tương tự.

  3. Đơn vị phát triển phần mềm và giải pháp công nghệ: Cung cấp cơ sở dữ liệu thực nghiệm và mô hình máy học ứng dụng thực tế, hỗ trợ phát triển các sản phẩm hỏi đáp trực tuyến và chatbot phục vụ chính quyền địa phương.

  4. Chính quyền địa phương và các sở ngành: Giúp hiểu rõ lợi ích của việc áp dụng công nghệ AI trong quản lý và tương tác với người dân, từ đó có cơ sở triển khai các hệ thống tự động hóa phù hợp với đặc thù địa phương.

Câu hỏi thường gặp

  1. Hệ thống hỏi đáp trực tuyến tự động hoạt động như thế nào?
    Hệ thống sử dụng các thuật toán học máy để phân tích nội dung câu hỏi, biểu diễn dưới dạng vectơ đặc trưng (như Tf-idf), sau đó phân loại câu hỏi vào các nhóm đơn vị chức năng tương ứng để chuyển tiếp xử lý tự động.

  2. Tại sao chọn SVM làm mô hình chính?
    SVM có khả năng xử lý dữ liệu đa chiều tốt, tối ưu hóa siêu phẳng phân tách các lớp với margin lớn nhất, giúp đạt độ chính xác cao và khả năng tổng quát tốt trên dữ liệu tiếng Việt đa dạng.

  3. Phương pháp tiền xử lý dữ liệu có vai trò gì?
    Tiền xử lý chuẩn hóa Unicode, kiểu gõ, tách từ và loại bỏ từ không có nghĩa giúp dữ liệu đầu vào đồng nhất, giảm nhiễu và tăng hiệu quả huấn luyện mô hình, từ đó nâng cao độ chính xác phân loại.

  4. Hệ thống có thể áp dụng cho các tỉnh khác không?
    Có thể, tuy nhiên cần thu thập và chuẩn hóa dữ liệu đặc thù của từng địa phương, đồng thời huấn luyện lại mô hình để phù hợp với ngôn ngữ và đặc điểm câu hỏi riêng biệt.

  5. Làm thế nào để cập nhật mô hình khi có dữ liệu mới?
    Cần định kỳ thu thập dữ liệu mới, tiền xử lý và huấn luyện lại mô hình hoặc tinh chỉnh tham số để mô hình luôn thích ứng với thay đổi trong ngôn ngữ và nhu cầu người dùng.

Kết luận

  • Đã xây dựng thành công hệ thống hỏi đáp trực tuyến tự động phân loại câu hỏi bằng phương pháp máy học, áp dụng cho chính quyền tỉnh Tây Ninh với hơn 26.000 câu hỏi thực tế.
  • Mô hình SVM kết hợp phương pháp biểu diễn Tf-idf đạt hiệu suất cao nhất với độ chính xác trên 90%, vượt trội so với các thuật toán khác.
  • Tiền xử lý dữ liệu chuẩn hóa tiếng Việt đóng vai trò quan trọng trong việc nâng cao hiệu quả phân loại và giảm sai sót.
  • Hệ thống giúp tiết kiệm đáng kể thời gian và nhân lực trong quy trình tiếp nhận và xử lý câu hỏi, đồng thời nâng cao trải nghiệm người dân khi tương tác với chính quyền.
  • Đề xuất triển khai thực tế, cập nhật dữ liệu định kỳ và nghiên cứu mở rộng ứng dụng các mô hình học sâu để phát triển hệ thống hỏi đáp thông minh toàn diện trong tương lai.

Hành động tiếp theo là phối hợp với các đơn vị liên quan để triển khai mô hình vào hệ thống thực tế, đồng thời tổ chức đào tạo và giám sát vận hành nhằm đảm bảo hiệu quả lâu dài.