Tổng quan nghiên cứu

Trong bối cảnh giáo dục đại học ngày càng phát triển, việc thu thập và phân tích ý kiến phản hồi của sinh viên về chất lượng đào tạo trở thành một yếu tố quan trọng giúp nâng cao hiệu quả giảng dạy và quản lý giáo dục. Theo ước tính, có khoảng 5.000 ý kiến phản hồi của sinh viên được thu thập tại Phân hiệu Trường Đại học Nội vụ Hà Nội tại Thành phố Hồ Chí Minh trong giai đoạn 2020-2021. Vấn đề nghiên cứu tập trung vào việc xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên theo khía cạnh nhằm đánh giá chính xác các khía cạnh và cảm xúc liên quan đến chất lượng đào tạo.

Mục tiêu cụ thể của luận văn là xây dựng một cơ sở dữ liệu chuẩn với hơn 5.000 ý kiến phản hồi được gán nhãn chi tiết theo 11 khía cạnh và 3 trạng thái cảm xúc (tích cực, trung tính, tiêu cực), nghiên cứu và so sánh hiệu quả các mô hình máy học và học sâu trong bài toán phân tích ý kiến theo khía cạnh, đồng thời phát triển phần mềm demo phục vụ phân tích ý kiến phản hồi sinh viên. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập từ sinh viên Phân hiệu tại TP. Hồ Chí Minh, với thời gian khảo sát trong hai năm học 2020-2021.

Ý nghĩa của nghiên cứu được thể hiện qua việc cung cấp công cụ phân tích tự động, giúp nhà quản lý và giảng viên tiết kiệm thời gian, chi phí so với phương pháp thủ công, đồng thời nâng cao độ chính xác trong việc nhận diện các khía cạnh và cảm xúc của sinh viên, từ đó cải thiện chất lượng đào tạo và môi trường học tập.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) và học máy (Machine Learning):

  • Xử lý ngôn ngữ tự nhiên (NLP): Là lĩnh vực nghiên cứu các phương pháp để máy tính hiểu và xử lý dữ liệu ngôn ngữ tự nhiên, bao gồm phân tích văn bản, trích xuất thông tin và phân loại cảm xúc.

  • Phân tích ý kiến theo khía cạnh (Aspect-Based Sentiment Analysis): Phân tích các ý kiến phản hồi không chỉ ở mức tổng thể mà còn chi tiết theo từng khía cạnh cụ thể, xác định cảm xúc tích cực, tiêu cực hoặc trung tính cho từng khía cạnh.

  • Mô hình máy học và học sâu:

    • Support Vector Machine (SVM): Thuật toán phân loại dựa trên việc tìm siêu phẳng tối ưu phân tách các lớp dữ liệu.
    • Convolutional Neural Network (CNN): Mạng nơ-ron tích chập, hiệu quả trong việc trích xuất đặc trưng từ dữ liệu chuỗi và văn bản.
    • BERT (Bidirectional Encoder Representations from Transformers): Mô hình ngôn ngữ dựa trên kiến trúc Transformer, cho phép biểu diễn ngữ cảnh hai chiều của từ trong câu, nâng cao hiệu quả phân tích ngôn ngữ tự nhiên.

Các khái niệm chính bao gồm: khía cạnh (aspect), cảm xúc (sentiment), gán nhãn dữ liệu (annotation), hàm kích hoạt (activation function), và độ chính xác F1-score trong đánh giá mô hình.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là hơn 5.000 ý kiến phản hồi của sinh viên được thu thập tại Phân hiệu Trường Đại học Nội vụ Hà Nội tại TP. Hồ Chí Minh trong hai năm học 2020-2021. Dữ liệu được gán nhãn chi tiết theo 11 khía cạnh và 3 trạng thái cảm xúc bởi nhóm annotators gồm giảng viên và chuyên viên có kinh nghiệm, đảm bảo độ tin cậy với chỉ số đồng thuận Cohen’s Kappa đạt 88,95% cho phân loại khía cạnh và 80,52% cho phân loại cảm xúc.

Phương pháp phân tích bao gồm:

  • Xây dựng bộ dữ liệu chuẩn với quy trình gán nhãn nghiêm ngặt, huấn luyện annotators và đánh giá chất lượng nhãn.
  • Thử nghiệm và so sánh hiệu quả các mô hình máy học (Naive Bayes, SVM, Neural Network) và học sâu (LSTM, CNN, BiLSTM-CNN, BERT) trên bộ dữ liệu đã xây dựng.
  • Phát triển phần mềm demo phân tích tự động ý kiến phản hồi sinh viên với các chức năng đăng ký, đăng nhập, phân tích ý kiến theo giảng viên và khía cạnh.

Timeline nghiên cứu kéo dài khoảng 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, gán nhãn, huấn luyện mô hình, thử nghiệm và phát triển phần mềm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Xây dựng bộ dữ liệu chuẩn:
    Bộ dữ liệu gồm 5.010 ý kiến phản hồi được gán nhãn theo 11 khía cạnh và 3 trạng thái cảm xúc. Phân bố dữ liệu cho thấy khía cạnh "Kỹ năng giảng dạy" chiếm 1.690 ý kiến, "Hành vi" 1.964 ý kiến, trong khi các khía cạnh như "Chấm điểm" và "Thiết bị dạy học" chiếm số lượng ít hơn (51 và 61 ý kiến).

  2. Độ đồng thuận gán nhãn cao:
    Chỉ số Cohen’s Kappa đạt 88,95% cho phân loại khía cạnh và 80,52% cho phân loại cảm xúc, đảm bảo chất lượng dữ liệu cho việc huấn luyện mô hình.

  3. Hiệu quả mô hình BERT vượt trội:
    Mô hình BERT đạt F1-score 82,53% cho bài toán phát hiện khía cạnh và 79,39% cho bài toán phát hiện khía cạnh kết hợp cảm xúc, cao hơn đáng kể so với các mô hình khác như SVM, CNN hay LSTM.

  4. Phần mềm demo phân tích ý kiến:
    Phần mềm được phát triển với các chức năng chính như đăng ký, đăng nhập, phân tích ý kiến theo giảng viên và khía cạnh, giúp tự động hóa quá trình phân tích, giảm thiểu thời gian và nhân lực.

Thảo luận kết quả

Kết quả cho thấy việc xây dựng bộ dữ liệu chuẩn với quy trình gán nhãn nghiêm ngặt là nền tảng quan trọng để phát triển các mô hình phân tích ý kiến chính xác. Độ đồng thuận cao giữa các annotators phản ánh tính nhất quán và tin cậy của dữ liệu.

Mô hình BERT thể hiện ưu thế vượt trội nhờ khả năng biểu diễn ngữ cảnh hai chiều và kiến trúc Transformer hiện đại, phù hợp với bài toán phân tích ý kiến phức tạp theo khía cạnh và cảm xúc. So sánh với các nghiên cứu trước đây trong lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt, kết quả này khẳng định tính hiệu quả của BERT trong ứng dụng thực tiễn.

Phần mềm demo không chỉ minh họa tính khả thi của nghiên cứu mà còn mở ra hướng ứng dụng rộng rãi trong quản lý giáo dục, giúp nhà trường và giảng viên nhanh chóng nắm bắt được các vấn đề sinh viên quan tâm và cảm nhận về chất lượng đào tạo.

Dữ liệu và kết quả có thể được trình bày qua các biểu đồ phân bố khía cạnh, biểu đồ tỷ lệ cảm xúc theo từng khía cạnh, bảng so sánh F1-score các mô hình, giúp trực quan hóa và minh chứng cho các phát hiện.

Đề xuất và khuyến nghị

  1. Triển khai phần mềm phân tích tự động tại các cơ sở giáo dục:
    Đề nghị các trường đại học và phân hiệu áp dụng phần mềm để thu thập và phân tích ý kiến phản hồi sinh viên định kỳ, nhằm nâng cao chất lượng đào tạo. Thời gian triển khai dự kiến trong 6 tháng, do phòng công nghệ thông tin chủ trì.

  2. Mở rộng bộ dữ liệu và cập nhật thường xuyên:
    Khuyến nghị tiếp tục thu thập ý kiến phản hồi mới, mở rộng phạm vi địa lý và đối tượng sinh viên để tăng tính đại diện và cải thiện độ chính xác mô hình. Thực hiện hàng năm bởi bộ phận khảo thí và nghiên cứu khoa học.

  3. Đào tạo nhân sự vận hành và phân tích dữ liệu:
    Tổ chức các khóa đào tạo cho cán bộ quản lý và giảng viên về cách sử dụng phần mềm và hiểu kết quả phân tích để áp dụng hiệu quả trong cải tiến chương trình đào tạo. Thời gian đào tạo 3 tháng, do phòng đào tạo phối hợp với trung tâm CNTT thực hiện.

  4. Nâng cấp và tích hợp công nghệ mới:
    Đề xuất nghiên cứu áp dụng các mô hình học sâu mới, kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến để nâng cao hiệu quả phân tích, đồng thời tích hợp phần mềm với hệ thống quản lý đào tạo hiện có. Kế hoạch phát triển trong 12 tháng, do nhóm nghiên cứu và phòng CNTT phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

  1. Nhà quản lý giáo dục đại học:
    Giúp hiểu rõ hơn về phương pháp thu thập và phân tích ý kiến sinh viên, từ đó đưa ra các quyết định nâng cao chất lượng đào tạo và chính sách phù hợp.

  2. Giảng viên và cán bộ đào tạo:
    Sử dụng kết quả phân tích để điều chỉnh phương pháp giảng dạy, cải thiện tương tác với sinh viên và nâng cao hiệu quả học tập.

  3. Nhà nghiên cứu trong lĩnh vực xử lý ngôn ngữ tự nhiên và học máy:
    Tham khảo quy trình xây dựng bộ dữ liệu chuẩn, phương pháp gán nhãn và đánh giá mô hình, cũng như ứng dụng thực tiễn trong môi trường tiếng Việt.

  4. Phát triển phần mềm giáo dục và công nghệ thông tin:
    Áp dụng các mô hình học sâu và kỹ thuật NLP để phát triển các công cụ hỗ trợ phân tích dữ liệu phản hồi người dùng trong giáo dục và các lĩnh vực liên quan.

Câu hỏi thường gặp

  1. Phân tích ý kiến theo khía cạnh là gì?
    Đây là kỹ thuật phân tích văn bản nhằm xác định các khía cạnh cụ thể được đề cập trong ý kiến và đánh giá cảm xúc tương ứng cho từng khía cạnh, giúp hiểu sâu sắc hơn về nội dung phản hồi.

  2. Tại sao cần xây dựng bộ dữ liệu gán nhãn chuẩn?
    Bộ dữ liệu chuẩn giúp đảm bảo tính nhất quán và độ chính xác trong việc huấn luyện các mô hình máy học, từ đó nâng cao hiệu quả phân tích và giảm sai sót.

  3. Mô hình BERT có ưu điểm gì so với các mô hình khác?
    BERT sử dụng kiến trúc Transformer cho phép biểu diễn ngữ cảnh hai chiều của từ trong câu, giúp mô hình hiểu sâu sắc hơn về ngữ nghĩa và cải thiện độ chính xác trong các bài toán NLP phức tạp.

  4. Phần mềm phân tích ý kiến phản hồi sinh viên có thể áp dụng ở đâu?
    Phần mềm có thể được triển khai tại các trường đại học, phân hiệu, trung tâm đào tạo để tự động thu thập và phân tích ý kiến sinh viên, hỗ trợ quản lý và cải tiến chất lượng đào tạo.

  5. Làm thế nào để đảm bảo chất lượng gán nhãn dữ liệu?
    Thực hiện huấn luyện annotators kỹ lưỡng, áp dụng quy trình gán nhãn độc lập, đánh giá độ đồng thuận bằng chỉ số Cohen’s Kappa và điều chỉnh quy tắc gán nhãn dựa trên kết quả đánh giá.

Kết luận

  • Đã xây dựng thành công bộ dữ liệu chuẩn gồm hơn 5.000 ý kiến phản hồi sinh viên, được gán nhãn chi tiết theo 11 khía cạnh và 3 trạng thái cảm xúc với độ đồng thuận cao (Cohen’s Kappa trên 80%).
  • Nghiên cứu và so sánh hiệu quả các mô hình máy học và học sâu, trong đó mô hình BERT đạt hiệu quả tốt nhất với F1-score trên 79%.
  • Phát triển phần mềm demo phân tích tự động ý kiến phản hồi sinh viên, hỗ trợ quản lý và giảng viên trong việc đánh giá chất lượng đào tạo.
  • Kết quả nghiên cứu có ý nghĩa thực tiễn cao, góp phần nâng cao hiệu quả quản lý giáo dục và cải thiện môi trường học tập.
  • Đề xuất các bước tiếp theo bao gồm mở rộng dữ liệu, nâng cấp mô hình và triển khai phần mềm rộng rãi trong các cơ sở giáo dục.

Quý độc giả và các nhà quản lý giáo dục được khuyến khích áp dụng kết quả nghiên cứu để nâng cao chất lượng đào tạo và phát triển bền vững hệ thống giáo dục đại học.