Tổng quan nghiên cứu

Theo báo cáo thống kê của Trung tâm Internet Việt Nam (VNNIC) vào năm 2015, cả nước có 90,7 triệu dân nhưng đã có tới 39,8 triệu người sử dụng Internet (chiếm tỷ lệ 44%), 28 triệu người sở hữu tài khoản mạng xã hội tích cực (chiếm 31%) và 128,3 triệu thuê bao kết nối mạng di động (đạt 141%). Tốc độ tăng trưởng người dùng mạng xã hội tại Việt Nam đạt mức 40% mỗi năm, với thời lượng truy cập bình quân hằng ngày trên 5 giờ đối với máy tính và trên 2 giờ đối với thiết bị di động. Sự bùng nổ này biến các diễn đàn trực tuyến, Facebook hay Twitter thành không gian mở để sinh viên thoải mái chia sẻ những tâm tư, áp lực học tập, lo lắng hướng nghiệp và các trạng thái tâm lý chân thực ngoài phạm vi lớp học truyền thống.

Tuy nhiên, các phương thức thu thập phản hồi sinh viên truyền thống như khảo sát bảng hỏi định danh hay phỏng vấn trực tiếp bộc lộ nhiều hạn chế lớn: chi phí cao, tốn thời gian, tỷ lệ phản hồi thường dưới 20% và người học có tâm lý ngần ngại chia sẻ thật. Nhằm khắc phục khoảng trống phương pháp luận này, luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nguyễn Văn Thành, thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội dưới sự hướng dẫn khoa học của Tiến sĩ Trần Thị Oanh vào năm 2016, tập trung vào đề tài khai phá dữ liệu phương tiện truyền thông xã hội để hiểu kinh nghiệm học tập của sinh viên.

Mục tiêu trọng tâm của nghiên cứu là xây dựng mô hình học máy phân loại đa nhãn (Multi-Label Classification) có khả năng tự động bóc tách, phân tích ngữ nghĩa và phân loại chính xác các vấn đề sinh viên gặp phải từ nguồn dữ liệu thảo luận trên diễn đàn sinh viên Đại học Bách khoa Hà Nội. Nghiên cứu mang ý nghĩa thực tiễn sâu sắc, giúp các cơ sở giáo dục đại học tiết kiệm hơn 75% thời gian tổng hợp ý kiến thủ công, cung cấp căn cứ định lượng kịp thời để đưa ra các biện pháp can thiệp giáo dục phù hợp, qua đó góp phần nâng cao chất lượng đào tạo và cải thiện tỷ lệ sinh viên tốt nghiệp đúng hạn thêm 10% đến 15% trong các chu kỳ đào tạo tiếp theo.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng tích hợp giữa quy trình chuẩn công nghiệp về khai phá dữ liệu CRISP-DM (Cross Industry Standard Process for Data Mining) và lý thuyết khai phá quan điểm (Opinion Mining/Sentiment Analysis) của Bing Liu cùng các cộng sự. Quy trình CRISP-DM định hình 6 giai đoạn phát triển: thấu hiểu nghiệp vụ, thấu hiểu dữ liệu, chuẩn bị dữ liệu, xây dựng mô hình, đánh giá kết quả và triển khai thực tế. Lý thuyết khai phá quan điểm đóng vai trò nhận diện các thực thể, bóc tách thuộc tính đánh giá và xác định sắc thái cảm xúc tích cực hoặc tiêu cực trong từng câu phản hồi.

Về mô hình phân loại, tác giả áp dụng lý thuyết phân loại đa nhãn (Multi-Label Classification - MLC). Trong phân loại đơn nhãn hoặc đa lớp truyền thống, mỗi mẫu dữ liệu chỉ được gán vào duy nhất một lớp mang tính loại trừ lẫn nhau. Trong khi đó, phân loại đa nhãn cho phép một đoạn văn bản đồng thời mang nhiều nhãn chủ đề khác nhau, phản ánh chân thực bản chất ngôn ngữ tự nhiên. Bốn khái niệm chuyên ngành then chốt được áp dụng bao gồm:

  • Phương pháp biến đổi bài toán (Problem Transformation Methods): chuyển đổi tập dữ liệu đa nhãn thành một hoặc nhiều bài toán đơn nhãn, tiêu biểu là kỹ thuật Binary Relevance (BR) và kỹ thuật Label Powerset hay còn gọi là Label Combination (LP/LC).
  • Mô hình xác suất phân loại Multinomial Naïve Bayes: mô hình biểu diễn văn bản dựa trên tần số xuất hiện của từ khóa kết hợp công thức ước lượng Laplace để xử lý các từ vựng chưa từng xuất hiện.
  • Cây quyết định J48 (phiên bản chuẩn hóa của thuật toán C4.5): mô hình dự báo phân cấp dựa trên độ đo thông tin Entropy và Information Gain để tự động sinh các tập luật tường minh.
  • Độ đo đánh giá đa nhãn: tập hợp các chỉ số chuyên biệt gồm Precision, Recall, F-Measure và độ chính xác phân loại tổng thể trên từng nhãn.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ diễn đàn sinh viên Trường Đại học Bách khoa Hà Nội thông qua chương trình thu thập dữ liệu web tự động (Web Crawler) do tác giả tự xây dựng. Tập dữ liệu sau đó trải qua quy trình làm sạch nghiêm ngặt: loại bỏ thẻ HTML, lọc ký tự nhiễu, tách từ tiếng Việt, loại bỏ từ dừng (Stopwords) và chuyển đổi sang không gian vector văn bản theo định dạng chuẩn ARFF của công cụ khai phá dữ liệu MEKA.

Cỡ mẫu nghiên cứu bao gồm 1.250 bài viết và chuỗi thảo luận, được chọn lọc theo phương pháp chọn mẫu phân tầng ngẫu nhiên (Stratified Random Sampling) theo các học kỳ trong giai đoạn 2015 - 2016 nhằm bảo đảm tính đại diện đồng đều cho các khóa học và các khoa đào tạo. Lý do lựa chọn mô hình Multinomial Naïve Bayes và cây quyết định J48 kết hợp với bộ công cụ MEKA là vì hai giải thuật này có khả năng xử lý hiệu quả không gian vector thưa của văn bản tiếng Việt, thời gian huấn luyện nhanh và có khả năng sinh luật dễ hiểu phục vụ công tác quản lý giáo dục. Để kiểm định độ tin cậy và ngăn ngừa hiện tượng quá khớp (Overfitting), tác giả áp dụng phương pháp kiểm định chéo 5 phần (5-Fold Cross Validation), chia tập dữ liệu thành 80% phục vụ huấn luyện và 20% phục vụ kiểm thử độc lập trong từng vòng lặp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa các thuật toán trên bộ công cụ MEKA đã mang lại 4 phát hiện quan trọng:

Thứ nhất, dữ liệu phản hồi học tập của sinh viên mang tính đa nhãn rất cao. Thống kê cho thấy có tới 68,4% số bài đăng trên diễn đàn chứa đồng thời từ 2 nhóm vấn đề trở lên (ví dụ vừa lo lắng về điểm thi vừa phàn nàn về tài liệu học tập). Điều này chứng minh các mô hình đơn nhãn trước đây làm mất mát tới 45% thông tin đa chiều của sinh viên.

Thứ hai, mô hình Multinomial Naïve Bayes kết hợp với kỹ thuật Binary Relevance (BR) cho hiệu năng vượt trội so với bộ phân loại cơ sở Zero Rule. Tại ngưỡng phân ngưỡng mặc định, mô hình đạt độ chính xác trung bình 74,2%, tăng hơn 42% so với đường cơ sở. Khi thiết lập ngưỡng phân ngưỡng nghiêm ngặt ở mức 0,9, độ đặc hiệu của mô hình tăng rõ rệt, giúp loại bỏ 82% các trường hợp dự đoán sai lệch đối với các nhãn có tần suất xuất hiện thấp.

Thứ ba, mô hình cây quyết định J48 kết hợp kỹ thuật Label Combination (LC) đạt độ chính xác nhận dạng 71,8%, đồng thời tự động chiết xuất được 15 quy tắc phân loại có cấu trúc rõ ràng. Các quy tắc này cho phép giải thích minh bạch mối quan hệ nhân quả giữa sự xuất hiện của các từ khóa đặc trưng và xu hướng tâm lý của sinh viên.

Thứ tư, về mặt phân bố nội dung học tập, áp lực thi cử và kiểm tra chiếm tỷ trọng lớn nhất với 41,6% tổng số phản hồi; tiếp theo là khó khăn trong định hướng nghề nghiệp và cơ hội việc làm chiếm 26,8%; thiếu hụt giáo trình, tài liệu tham khảo và phương pháp giảng dạy chiếm 18,2%; các vấn đề về tâm lý đời sống và quan hệ xã hội chiếm 13,4%.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình Multinomial Naïve Bayes bắt nguồn từ việc giải thuật này tối ưu hóa tốt các đặc trưng phân bố tần suất từ khóa trong văn bản tiếng Việt ngắn. Trong khi đó, kỹ thuật Label Combination chứng minh được ưu thế trong việc duy trì mối tương quan giữa các nhãn thay vì giả định các nhãn độc lập như Binary Relevance, giúp giảm thiểu 28% tỷ lệ gán nhãn mâu thuẫn trong thực tế.

So sánh với công trình của Xin Chen và cộng sự (IEEE 2013) tại Đại học Purdue trên mạng xã hội Twitter hay nghiên cứu của Kathy Lee (IEEE 2011) với 768 chủ đề đạt độ chính xác từ 65% đến 70%, kết quả đạt được trong luận văn này (trên 71% đến 74%) khẳng định tính khả thi và độ tin cậy cao của việc khai phá dữ liệu mạng xã hội tiếng Việt phục vụ giáo dục. Những hạn chế về sai số chủ yếu phát sinh từ tiếng lóng, từ viết tắt và cấu trúc ngữ pháp phi chuẩn của sinh viên khi viết bài trực tuyến.

Trong các báo cáo phân tích học thuật, toàn bộ kết quả này có thể được trình bày sinh động qua biểu đồ cột nhóm thể hiện các chỉ số Precision, Recall và F-Measure của từng nhãn theo từng ngưỡng phân loại (Threshold từ 0,1 đến 0,9), kết hợp với biểu đồ tròn thể hiện tỷ trọng 4 nhóm vấn đề học tập để các cấp lãnh đạo dễ dàng đưa ra quyết định can thiệp.

Đề xuất và khuyến nghị

Nhằm chuyển hóa kết quả nghiên cứu thành các giải pháp nâng cao chất lượng giáo dục, 4 khuyến nghị hành động cụ thể được đề xuất:

Thứ nhất, xây dựng hệ thống lắng nghe và phân tích dữ liệu mạng xã hội tự động (Real-time Social Listening Dashboard) cho nhà trường.

  • Chỉ số mục tiêu: Tự động thu thập và phân loại 100% các bài đăng công khai liên quan đến hoạt động đào tạo, gửi cảnh báo sớm về các luồng dư luận tiêu cực hoặc khủng hoảng tâm lý của sinh viên trong vòng 24 giờ.
  • Thời gian thực hiện: Hoàn thành trong 6 tháng (từ Quý 1 đến Quý 2 năm 2027).
  • Chủ thể thực hiện: Trung tâm Công nghệ Thông tin chủ trì, phối hợp với Phòng Truyền thông.

Thứ hai, tích hợp mô-đun phân loại đa nhãn vào hệ thống quản lý học tập điện tử (LMS/E-learning) để theo dõi trải nghiệm khóa học.

  • Chỉ số mục tiêu: Nâng tỷ lệ giải quyết thắc mắc học vụ lên 85%, giảm tỷ lệ sinh viên bị cảnh báo học tập xuống dưới 8% mỗi năm học.
  • Thời gian thực hiện: Triển khai thử nghiệm trong 12 tháng.
  • Chủ thể thực hiện: Phòng Đào tạo phối hợp cùng các Khoa chuyên môn.

Thứ ba, thiết lập kênh hỗ trợ tâm lý và định hướng nghề nghiệp cá nhân hóa dựa trên dữ liệu khai phá quan điểm.

  • Chỉ số mục tiêu: Tiếp cận và tư vấn kịp thời cho trên 90% sinh viên có biểu hiện quá tải học tập hoặc hoang mang về định hướng việc làm.
  • Thời gian thực hiện: Triển khai thường xuyên theo từng học kỳ.
  • Chủ thể thực hiện: Phòng Công tác Sinh viên và Trung tâm Hướng nghiệp.

Thứ tư, chuẩn hóa và mở rộng kho ngữ liệu tiếng Việt chuyên ngành giáo dục đại học phục vụ huấn luyện mô hình.

  • Chỉ số mục tiêu: Mở rộng tập mẫu dữ liệu lên trên 15.000 bài viết được gán nhãn chuẩn, nâng độ chính xác của mô hình học máy lên trên 85%.
  • Thời gian thực hiện: Cập nhật định kỳ 3 tháng một lần.
  • Chủ thể thực hiện: Nhóm nghiên cứu Trí tuệ Nhân tạo thuộc Khoa Công nghệ Thông tin.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng cụ thể:

Nhóm 1: Ban Giám hiệu và các nhà quản lý giáo dục đại học.

  • Lợi ích: Nắm bắt bức tranh toàn diện và khách quan về tâm tư, nguyện vọng của sinh viên mà các phương pháp khảo sát truyền thống không thể đo lường được.
  • Tình huống sử dụng: Hoạch định chính sách đào tạo, điều chỉnh lịch thi, cải tiến dịch vụ học đường và phân bổ nguồn lực hỗ trợ sinh viên kịp thời.

Nhóm 2: Giảng viên, Cố vấn học tập và Chuyên viên Công tác Sinh viên.

  • Lợi ích: Hiểu rõ các rào cản học thuật cụ thể như độ khó của môn học, tình trạng thiếu tài liệu hay áp lực thi cử theo từng giai đoạn trong năm học.
  • Tình huống sử dụng: Điều chỉnh phương pháp giảng dạy, bổ sung nguồn học liệu mở và chủ động liên hệ hỗ trợ các sinh viên có nguy cơ bỏ học.

Nhóm 3: Các nhà nghiên cứu và học viên cao học ngành Công nghệ Thông tin, Khoa học Dữ liệu.

  • Lợi ích: Tiếp cận khung phương pháp luận hoàn chỉnh về phân loại văn bản đa nhãn, kỹ thuật xử lý ngôn ngữ tự nhiên tiếng Việt và quy trình thực nghiệm với công cụ MEKA/WEKA.
  • Tình huống sử dụng: Phát triển các nghiên cứu mở rộng về phân tích cảm xúc, khai phá tri thức từ mạng xã hội hoặc xây dựng các thuật toán học máy thích nghi mới.

Nhóm 4: Các doanh nghiệp công nghệ phát triển giải pháp EdTech và Social Listening.

  • Lợi ích: Tham khảo kiến trúc hệ thống và quy trình xử lý dữ liệu phi cấu trúc để tích hợp vào các sản phẩm phần mềm thương mại.
  • Tình huống sử dụng: Xây dựng các tính năng phân tích phản hồi thông minh trong các nền tảng trường học thông minh (Smart Campus).

Câu hỏi thường gặp

Phân loại đa nhãn khác gì so với phân loại đa lớp truyền thống trong nghiên cứu này?

Phân loại đa lớp truyền thống gán mỗi văn bản vào đúng một lớp duy nhất mang tính loại trừ (ví dụ một bài báo chỉ có thể là Thể thao hoặc Kinh tế). Trong khi đó, phân loại đa nhãn cho phép một bài viết của sinh viên thuộc về nhiều chủ đề cùng lúc. Ví dụ, một phản hồi có thể vừa chứa nhãn áp lực thi cử vừa chứa nhãn thiếu giáo trình, giúp nắm bắt trọn vẹn 100% ngữ nghĩa đa chiều của người học.

Tại sao nghiên cứu lại chọn khai phá dữ liệu diễn đàn thay vì khảo sát bảng hỏi?

Khảo sát bảng hỏi truyền thống tốn kém nhiều kinh phí, mất hàng tuần để thu thập nhưng tỷ lệ phản hồi thực tế thường dưới 20% và người học có tâm lý ngần ngại chia sẻ thật. Dữ liệu trên diễn đàn trực tuyến phản ánh hoàn toàn tự nhiên, chân thực và kịp thời những trải nghiệm học tập hằng ngày bên ngoài lớp học mà sinh viên không dám nói trực tiếp với giảng viên.

Mô hình học máy nào cho hiệu quả phân loại tối ưu nhất trong đề tài?

Thực nghiệm cho thấy mô hình Multinomial Naïve Bayes kết hợp với phương pháp Binary Relevance đạt độ chính xác cao nhất (74,2%) với tốc độ xử lý nhanh, rất phù hợp cho các hệ thống giám sát thời gian thực. Trong khi đó, mô hình cây quyết định J48 kết hợp Label Combination đạt độ chính xác 71,8% nhưng có ưu điểm vượt trội là sinh ra các tập luật tường minh giúp nhà quản lý dễ dàng hiểu nguyên nhân phân loại.

Dữ liệu mạng xã hội có nhiều tiếng lóng và sai chính tả được xử lý ra sao?

Nghiên cứu áp dụng quy trình tiền xử lý nhiều bước gồm làm sạch mã HTML, lọc bỏ ký tự đặc biệt, chuẩn hóa tiếng Việt, loại bỏ từ dừng và áp dụng kỹ thuật ước lượng Laplace trong mô hình Naïve Bayes. Nhờ công thức làm mịn Laplace, mô hình không bị lỗi xác suất bằng 0 khi gặp các từ vựng mới hoặc tiếng lóng chưa từng xuất hiện trong tập dữ liệu huấn luyện.

Kết quả của luận văn có thể chuyển giao cho các trường đại học khác không?

Mô hình hoàn toàn có thể nhân rộng cho các cơ sở giáo dục khác vì quy trình được chuẩn hóa theo khung CRISP-DM. Các trường chỉ cần điều chỉnh bộ thu thập dữ liệu (Crawler) tương thích với diễn đàn hoặc fanpage nội bộ và tái huấn luyện mô hình trên tập ngữ liệu đặc thù của trường mình trong khoảng thời gian từ 2 đến 4 tuần là có thể vận hành ổn định.

Kết luận

Luận văn thạc sĩ của tác giả Nguyễn Văn Thành đã chứng minh tính hiệu quả vượt trội của việc ứng dụng công nghệ khai phá dữ liệu mạng xã hội vào công tác quản trị giáo dục đại học. Năm đóng góp then chốt của công trình bao gồm:

  • Hệ thống hóa toàn diện cơ sở lý thuyết về phân loại văn bản đa nhãn và khai phá quan điểm trong xử lý ngôn ngữ tự nhiên tiếng Việt.
  • Xây dựng thành công quy trình tự động hóa từ khâu thu thập, làm sạch dữ liệu diễn đàn sinh viên đến khâu tiền xử lý vector theo chuẩn CRISP-DM.
  • Thực nghiệm đối sánh thành công các mô hình học máy trên nền tảng MEKA, đạt độ chính xác phân loại ấn tượng từ 71,8% đến 74,2%.
  • Chỉ ra bức tranh thực tế về 4 nhóm vấn đề sinh viên quan tâm nhất, trong đó áp lực thi cử và định hướng nghề nghiệp chiếm tới hơn 68% tổng dung lượng thảo luận.
  • Đề xuất khung kiến trúc giải pháp và lộ trình ứng dụng hệ thống lắng nghe mạng xã hội phục vụ nâng cao chất lượng đào tạo đại học.

Kế hoạch phát triển tiếp theo trong giai đoạn 12 đến 24 tháng tới là tích hợp các kiến trúc học sâu (Deep Learning) và mô hình ngôn ngữ lớn để xử lý ngữ cảnh tiếng Việt phức tạp hơn. Các cơ sở giáo dục đại học và các chuyên gia công nghệ hãy nhanh chóng tiếp cận, ứng dụng giải pháp khai phá dữ liệu thông minh này để kiến tạo một môi trường giáo dục thấu hiểu, nhân văn và lấy người học làm trung tâm.