Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của khoa học kỹ thuật và công nghệ thông tin, lĩnh vực giáo dục cũng đang trải qua những thay đổi sâu sắc nhằm nâng cao chất lượng đào tạo. Theo ước tính, việc thu thập và phân tích phản hồi của sinh viên về chất lượng giảng dạy và môi trường học tập ngày càng trở nên quan trọng để cải thiện hiệu quả giáo dục. Tuy nhiên, việc xử lý thủ công các bình luận phản hồi sinh viên thường tốn nhiều thời gian, nhân lực và chi phí, gây khó khăn trong việc khai thác triệt để dữ liệu phản hồi.

Luận văn thạc sĩ này tập trung vào việc ứng dụng học sâu (Deep Learning) để phân tích phản hồi bình luận của sinh viên, nhằm tự động hóa quá trình phân loại và đánh giá cảm xúc theo các khía cạnh (Aspect-Based Sentiment Analysis - ABSA). Mục tiêu cụ thể là xây dựng mô hình phân tích phản hồi sinh viên bằng tiếng Việt, phân loại các ý kiến theo các khía cạnh như chất lượng tài liệu, sự chuyên nghiệp của giảng viên, cơ sở vật chất và các ý kiến khác, đồng thời xác định trạng thái cảm xúc (tích cực, tiêu cực, trung lập) tương ứng. Nghiên cứu được thực hiện trên bộ dữ liệu thu thập từ các phản hồi sinh viên tại các cơ sở giáo dục ở Thành phố Hồ Chí Minh trong giai đoạn gần đây, với phạm vi tập trung vào các trường cao đẳng kỹ nghệ.

Ý nghĩa của nghiên cứu được thể hiện qua việc cung cấp một công cụ phân tích phản hồi tự động, giúp các nhà quản lý giáo dục và giảng viên có cái nhìn sâu sắc hơn về chất lượng giảng dạy và môi trường học tập, từ đó đưa ra các giải pháp cải tiến phù hợp. Đồng thời, nghiên cứu góp phần phát triển các ứng dụng học sâu trong lĩnh vực giáo dục, đặc biệt là xử lý ngôn ngữ tự nhiên cho tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) và học máy (Machine Learning - ML), đặc biệt là học sâu (Deep Learning - DL).

  1. Xử lý ngôn ngữ tự nhiên (NLP): Đây là lĩnh vực nghiên cứu các phương pháp để máy tính hiểu và xử lý ngôn ngữ con người. Trong nghiên cứu này, NLP được sử dụng để tiền xử lý dữ liệu văn bản, tách từ, chuẩn hóa và biểu diễn từ ngữ dưới dạng vector số thông qua kỹ thuật Word Embedding như Word2Vec và mô hình ngôn ngữ BERT.

  2. Học sâu (Deep Learning): Sử dụng mạng nơ-ron nhân tạo nhiều lớp để tự động học các đặc trưng phức tạp từ dữ liệu. Luận văn áp dụng mô hình PhoBERT, một biến thể của BERT được huấn luyện chuyên biệt cho tiếng Việt, với kiến trúc Transformer và cơ chế Attention giúp hiểu ngữ cảnh và mối quan hệ giữa các từ trong câu.

  3. Phân tích cảm xúc theo khía cạnh (Aspect-Based Sentiment Analysis - ABSA): Phương pháp phân tích phản hồi không chỉ dựa trên cảm xúc tổng thể mà còn phân loại theo các khía cạnh cụ thể như tài liệu học tập, giảng viên, cơ sở vật chất. Mô hình đa nhiệm (Multi-task) được đề xuất để đồng thời phát hiện khía cạnh và dự đoán cảm xúc.

Các khái niệm chính bao gồm:

  • Aspect (Khía cạnh): Các tiêu chí đánh giá trong phản hồi như chất lượng tài liệu, sự chuyên nghiệp của giảng viên, cơ sở vật chất, và các ý kiến khác.
  • Sentiment (Cảm xúc): Trạng thái cảm xúc của phản hồi, gồm ba loại: tích cực (positive), tiêu cực (negative), và trung lập (neutral).
  • Transformer: Kiến trúc mạng nơ-ron sử dụng cơ chế Attention, giúp mô hình học được mối quan hệ giữa các từ trong câu.
  • PhoBERT: Mô hình ngôn ngữ dựa trên BERT, được huấn luyện trên dữ liệu tiếng Việt đa dạng, có khả năng xử lý ngữ cảnh phức tạp.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ phản hồi bình luận của sinh viên thu thập từ các trường cao đẳng kỹ nghệ tại Thành phố Hồ Chí Minh. Bộ dữ liệu gồm khoảng 3.849 phản hồi được gán nhãn theo 4 khía cạnh và 3 trạng thái cảm xúc. Quá trình thu thập dữ liệu được thực hiện qua các bảng câu hỏi trực tuyến, sau đó dữ liệu được tiền xử lý kỹ lưỡng bao gồm chuẩn hóa Unicode, sửa lỗi chính tả, tách từ bằng công cụ VnCoreNLP, và loại bỏ ký tự dư thừa.

Phương pháp phân tích sử dụng mô hình học sâu PhoBERT-base với kiến trúc đa nhiệm, kết hợp 4 lớp cuối của BERT để tạo biểu diễn ngữ cảnh cho từng câu. Mô hình được huấn luyện trên tập dữ liệu đã gán nhãn với batch size 16, độ dài tối đa 256 token, và sử dụng kỹ thuật dừng sớm (Early Stopping) để tránh overfitting. Thuật toán tối ưu Adam với learning rate 1e-5 được áp dụng.

Quá trình nghiên cứu gồm các bước:

  • Xây dựng và tiền xử lý bộ dữ liệu.
  • Huấn luyện mô hình trên môi trường Google Colab sử dụng GPU T4.
  • Đánh giá mô hình bằng các chỉ số Accuracy, Precision, Recall và F1-score.
  • Phát triển ứng dụng phân tích phản hồi trực quan bằng Python, cho phép người dùng nhập câu hoặc file để phân tích và hiển thị kết quả.

Timeline nghiên cứu kéo dài trong năm 2023-2024, tập trung vào thu thập dữ liệu, phát triển mô hình, thực nghiệm và xây dựng ứng dụng hỗ trợ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu suất phát hiện khía cạnh (Aspect Detection): Mô hình đạt độ chính xác (Accuracy) 94,4%, với F1-score khoảng 89,3%. Trong đó, khía cạnh "Professionalism" chiếm 1.372 phản hồi, "Material" 947 phản hồi, "Facility" 337 phản hồi và "Others" 193 phản hồi. Kết quả cho thấy mô hình có khả năng phân loại chính xác các khía cạnh trong phản hồi sinh viên.

  2. Hiệu suất phân tích cảm xúc (Sentiment Detection): Mô hình đạt độ chính xác 100% trong việc phân loại cảm xúc tích cực, tiêu cực và trung lập trên tập dữ liệu thử nghiệm. Tỷ lệ phân bố cảm xúc trong dữ liệu là khoảng 45% tích cực, 35% tiêu cực và 20% trung lập.

  3. Hiệu quả mô hình đa nhiệm (Multi-task): Khi kết hợp đồng thời hai nhiệm vụ phát hiện khía cạnh và phân tích cảm xúc, mô hình đạt F1-score và Accuracy đều trên 90%, cho thấy khả năng xử lý đa nhiệm hiệu quả, tiết kiệm thời gian và tài nguyên so với các mô hình riêng biệt.

  4. Ứng dụng thực tiễn: Ứng dụng phân tích phản hồi được xây dựng trên nền tảng Python với giao diện trực quan, cho phép người dùng nhập câu hoặc tải file phản hồi để phân tích nhanh chóng. Ứng dụng giúp giảm đáng kể thời gian và công sức so với phương pháp thủ công.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy mô hình PhoBERT với kiến trúc đa nhiệm phù hợp và hiệu quả trong việc phân tích phản hồi bình luận sinh viên bằng tiếng Việt. Việc sử dụng 4 lớp cuối của BERT để kết hợp biểu diễn ngữ cảnh giúp mô hình hiểu sâu sắc hơn về nội dung và cảm xúc trong từng câu phản hồi. So với các nghiên cứu trước đây tập trung vào phân tích cảm xúc tổng thể, nghiên cứu này mở rộng bằng cách phân loại theo khía cạnh, giúp nhà trường và giảng viên có cái nhìn chi tiết hơn về từng yếu tố ảnh hưởng đến chất lượng đào tạo.

So sánh với các mô hình truyền thống như KNN (Accuracy 42%) hay LSTM (Accuracy 37%), mô hình PhoBERT đạt độ chính xác cao hơn đáng kể (trên 90%), phù hợp với đặc thù ngôn ngữ tiếng Việt và dữ liệu phản hồi sinh viên. Kết quả cũng tương đồng với các nghiên cứu trong nước và quốc tế về ứng dụng BERT và Transformer trong phân tích cảm xúc.

Dữ liệu có thể được trình bày qua các biểu đồ phân bố khía cạnh và cảm xúc, bảng so sánh các chỉ số đánh giá mô hình, giúp minh họa rõ ràng hiệu quả của phương pháp đề xuất. Ngoài ra, ứng dụng phân tích phản hồi giúp tự động hóa quy trình, giảm thiểu sai sót và tăng tính khách quan trong đánh giá chất lượng giáo dục.

Đề xuất và khuyến nghị

  1. Triển khai hệ thống phân tích phản hồi tự động: Các trường đại học và cao đẳng nên áp dụng mô hình học sâu đa nhiệm để phân tích phản hồi sinh viên theo khía cạnh và cảm xúc, nhằm nâng cao hiệu quả quản lý chất lượng đào tạo. Thời gian triển khai dự kiến trong 6-12 tháng, do phòng công nghệ thông tin phối hợp với khoa đào tạo thực hiện.

  2. Cập nhật và mở rộng bộ dữ liệu phản hồi: Khuyến khích thu thập phản hồi đa dạng từ nhiều khóa học và cơ sở đào tạo khác nhau để tăng tính đại diện và cải thiện độ chính xác mô hình. Việc này nên được thực hiện liên tục hàng năm nhằm cập nhật xu hướng và nhu cầu học tập của sinh viên.

  3. Đào tạo giảng viên và cán bộ quản lý: Tổ chức các khóa đào tạo về ứng dụng công nghệ phân tích dữ liệu và học sâu trong giáo dục, giúp đội ngũ giảng viên và quản lý hiểu và sử dụng hiệu quả kết quả phân tích để điều chỉnh phương pháp giảng dạy và chính sách đào tạo. Thời gian đào tạo có thể kéo dài 3-6 tháng.

  4. Phát triển ứng dụng phân tích phản hồi đa nền tảng: Nâng cấp ứng dụng hiện tại để hỗ trợ phân tích phản hồi trên nhiều thiết bị và tích hợp với hệ thống quản lý đào tạo (LMS), giúp người dùng dễ dàng truy cập và sử dụng. Dự kiến hoàn thành trong vòng 1 năm với sự phối hợp của các chuyên gia công nghệ và giáo dục.

  5. Khuyến khích sinh viên tham gia phản hồi: Tạo môi trường khuyến khích sinh viên đóng góp ý kiến phản hồi một cách trung thực và thường xuyên, qua đó tăng cường sự kết nối giữa người học và nhà trường, đồng thời nâng cao chất lượng dữ liệu phân tích.

Đối tượng nên tham khảo luận văn

  1. Giảng viên và cán bộ quản lý giáo dục: Luận văn cung cấp công cụ và phương pháp phân tích phản hồi sinh viên giúp họ đánh giá hiệu quả giảng dạy, nhận diện điểm mạnh, điểm yếu và điều chỉnh phương pháp phù hợp.

  2. Nhà nghiên cứu trong lĩnh vực công nghệ thông tin và giáo dục: Nghiên cứu đóng góp mô hình học sâu ứng dụng trong xử lý ngôn ngữ tự nhiên tiếng Việt, đặc biệt trong phân tích cảm xúc theo khía cạnh, là tài liệu tham khảo quý giá cho các đề tài tương tự.

  3. Phòng công nghệ thông tin các trường đại học, cao đẳng: Có thể ứng dụng mô hình và ứng dụng được phát triển để xây dựng hệ thống phân tích phản hồi tự động, nâng cao hiệu quả quản lý dữ liệu và hỗ trợ ra quyết định.

  4. Sinh viên và học viên ngành công nghệ thông tin, khoa học dữ liệu: Luận văn cung cấp ví dụ thực tiễn về ứng dụng học sâu, xử lý ngôn ngữ tự nhiên và phát triển ứng dụng, giúp nâng cao kiến thức và kỹ năng chuyên môn.

Câu hỏi thường gặp

  1. Mô hình PhoBERT có ưu điểm gì so với các mô hình khác?
    PhoBERT được huấn luyện chuyên biệt trên dữ liệu tiếng Việt đa dạng, giúp hiểu ngữ cảnh phức tạp và xử lý tốt các đặc trưng ngôn ngữ tiếng Việt, từ đó nâng cao độ chính xác phân tích cảm xúc và khía cạnh so với các mô hình chung như LSTM hay KNN.

  2. Làm thế nào để mô hình phân biệt được các khía cạnh trong phản hồi?
    Mô hình sử dụng kiến trúc đa nhiệm, trong đó mỗi khía cạnh được biểu diễn bằng một vector one-hot và được huấn luyện để nhận diện các đặc trưng ngôn ngữ liên quan đến từng khía cạnh, từ đó phân loại chính xác phản hồi theo từng tiêu chí.

  3. Ứng dụng phân tích phản hồi có thể sử dụng cho các ngôn ngữ khác không?
    Mô hình và ứng dụng được thiết kế cho tiếng Việt, tuy nhiên kiến trúc và phương pháp có thể được điều chỉnh và huấn luyện lại với dữ liệu phù hợp để áp dụng cho các ngôn ngữ khác.

  4. Phản hồi trung lập (neutral) được xác định như thế nào?
    Phản hồi trung lập là những câu không thể hiện rõ cảm xúc tích cực hay tiêu cực, thường là ngắn gọn hoặc không đầy đủ thông tin cảm xúc. Mô hình được huấn luyện để nhận diện các đặc điểm này dựa trên dữ liệu gán nhãn.

  5. Làm sao để đảm bảo dữ liệu phản hồi chính xác và đầy đủ?
    Cần xây dựng quy trình thu thập phản hồi bài bản, khuyến khích sinh viên cung cấp ý kiến chi tiết, đồng thời thực hiện tiền xử lý dữ liệu kỹ lưỡng để loại bỏ lỗi chính tả, ký tự thừa và chuẩn hóa ngôn ngữ trước khi đưa vào mô hình.

Kết luận

  • Luận văn đã xây dựng thành công mô hình học sâu đa nhiệm dựa trên PhoBERT để phân tích phản hồi bình luận sinh viên theo khía cạnh và cảm xúc với độ chính xác cao trên 90%.
  • Bộ dữ liệu thực nghiệm tiếng Việt được thu thập và gán nhãn chi tiết, góp phần bổ sung nguồn dữ liệu quý giá cho nghiên cứu trong nước.
  • Ứng dụng phân tích phản hồi được phát triển giúp tự động hóa quy trình, tiết kiệm thời gian và nâng cao hiệu quả phân tích.
  • Kết quả nghiên cứu có ý nghĩa thực tiễn lớn trong việc nâng cao chất lượng giảng dạy và quản lý giáo dục tại các cơ sở đào tạo.
  • Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, nâng cấp ứng dụng đa nền tảng và triển khai thực tế tại các trường học, đồng thời đào tạo cán bộ sử dụng công cụ hiệu quả.

Quý độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển tiếp các kết quả này nhằm nâng cao chất lượng giáo dục và ứng dụng công nghệ trong lĩnh vực đào tạo.