Phân Tích Ý Kiến Sinh Viên và Chất Lượng Đào Tạo Tại Đại Học Nội Vụ Hà Nội

Tài liệu nghiên cứu Đề tài xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo ở, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Th¿c Sā Tôn Nă Thß Sáu
• Trường học: Đại Học Nội Vụ Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân Tích Ý Kiến Sinh Viên và Chất Lượng Đào Tạo Tại Đại Học Nội Vụ Hà Nội
• Loại tài liệu: báo cáo
• Năm xuất bản: 2022
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 1.1. Xử lý ngôn ngữ tự nhiên
• 1.2. Bài toán Phân tích ý kiến
• 1.3. Bài toán phân tích ý kiến theo khía cạnh
• 1.4. Mật số mô hình máy học và học sâu
• 1.5. Mô hình máy học Support Vector Machine
• 1.6. Mô hình mạng học sâu tích chập – Convolutional Neural Network
• 1.7. Mô hình ngôn ngữ BERT
• 1.8. Phương pháp biểu diễn từ
• 1.9. Các công trình nghiên cứu trong và ngoài nước
• 2. CHƯƠNG 2: XÂY DỰNG DỮ LIỆU DỰA TRÊN Ý KIẾN PHẢN HỒI CỦA SINH VIÊN
• 2.1. Mục tiêu của việc gán nhãn
• 2.2. Quy trình gán nhãn
• 2.3. Tài liệu hướng dẫn các nguyên tắc gán nhãn dữ liệu
• 2.4. Quy tắc gán nhãn khía cạnh
• 2.5. Quy tắc gán nhãn bài toán trạng thái cảm xúc
• 2.6. Huấn luyện người gán nhãn
• 2.7. Thống kê dữ liệu và đánh giá dữ liệu
• 3. CHƯƠNG 3: KẾT QUẢ THỬ NGHIỆM TRÊN CÁC MÔ HÌNH MÁY HỌC VÀ PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƯỢNG ĐÀO TẠO THEO KHÍA CẠNH
• 3.1. Mô hình học sâu
• 3.2. Mô hình ngôn ngữ BERT
• 3.3. Các mô hình so sánh
• 3.4. Chi tiết cài đặt mô hình
• 3.5. Kết quả thử nghiệm
• 3.6. Phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo theo khía cạnh
• 3.6.1. Ngôn ngữ lập trình
• 3.6.2. Mô tả ứng dụng
• 3.6.3. Chi tiết từng chức năng
• 3.6.3.1. Chức năng Đăng ký tài khoản
• 3.6.3.2. Chức năng Đăng nhập tài khoản
• 3.6.3.3. Chức năng Phân tích ý kiến theo giảng viên
• 3.6.3.4. Chức năng Phân tích ý kiến theo học phần
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Phân Tích Ý Kiến Sinh Viên về Đào Tạo Hướng dẫn

Việc phân tích ý kiến sinh viên về chất lượng đào tạo tại các trường đại học, đặc biệt là tại Đại học Nội vụ Hà Nội, ngày càng trở nên quan trọng. Theo chủ trương của Bộ Giáo dục và Đào tạo, nhiều trường đại học và cao đẳng tại Việt Nam đang triển khai việc lấy ý kiến phản hồi của người học về giảng viên và nhà trường sau mỗi học kỳ. Tại Phân hiệu Trường Đại học Nội vụ Hà Nội tại TP.HCM, việc thu thập ý kiến phản hồi đã được thực hiện từ năm 2017 thông qua phiếu khảo sát trực tuyến. Tuy nhiên, việc xử lý dữ liệu từ câu hỏi mở (ý kiến tự do) còn nhiều hạn chế, thường bị bỏ qua hoặc chỉ đọc để biết mà không được phân tích chi tiết. Trong khi đó, những ý kiến này chứa đựng tâm tư, nguyện vọng, tình cảm và quan điểm của sinh viên. Phân tích nguồn dữ liệu này là rất cần thiết để hiểu rõ những khía cạnh mà sinh viên quan tâm và cảm xúc của họ đối với từng khía cạnh. Việc xây dựng một phần mềm phân tích tự động là cấp thiết.

1.1. Tầm Quan Trọng của Phản Hồi Sinh Viên trong Giáo Dục

Phản hồi từ sinh viên đóng vai trò then chốt trong việc cải thiện chất lượng đào tạo. Nó cung cấp thông tin trực tiếp về trải nghiệm học tập, điểm mạnh, điểm yếu của chương trình giảng dạy và đội ngũ giảng viên. Việc lắng nghe và phân tích những phản hồi này giúp nhà trường điều chỉnh phương pháp giảng dạy, cập nhật chương trình đào tạo, và tạo môi trường học tập tốt hơn. Theo báo cáo tổng hợp đề tài nghiên cứu khoa học cấp trường của Đại học Nội vụ Hà Nội, việc thu thập ý kiến phản hồi của sinh viên cần được thực hiện một cách chính xác và tin cậy.

1.2. Hạn Chế Trong Xử Lý Dữ Liệu Phản Hồi Thủ Công Thách Thức

Việc phân tích ý kiến phản hồi từ câu hỏi mở thường gặp nhiều khó khăn khi thực hiện thủ công. Nó tốn nhiều thời gian, công sức và kinh phí. Hơn nữa, việc đảm bảo tính khách quan và chính xác trong phân tích là một thách thức lớn. Phần mềm phân tích tự động giúp khắc phục những hạn chế này bằng cách xử lý nhanh chóng lượng lớn dữ liệu, giảm thiểu sai sót và cung cấp kết quả phân tích chi tiết, toàn diện. Điều này giúp các nhà quản lý và giảng viên có cái nhìn tổng quan về các vấn đề mà sinh viên quan tâm.

II. Thách Thức Phân Tích Ý Kiến Sinh Viên Bằng Phương Pháp Thủ Công

Các ý kiến phản hồi cho câu hỏi mở thường là văn bản, do đó việc phân tích theo cách thủ công sẽ gặp rất nhiều khó khăn, mất rất nhiều thời gian, kinh phí và nhân lực. Do đó, việc có một phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo cho nguồn dữ liệu thu thập được từ các câu hỏi mở là cần thiết. Phần mềm sẽ thay thế con người thực hiện công việc phân tích ý kiến phản hồi của sinh viên theo các khía cạnh và trạng thái cảm xúc khác nhau. Bằng cách sử dụng phần mềm, việc phân tích sẽ trở nên dễ dàng hơn, giảm thời gian phân tích, giảm nguồn nhân lực thực hiện, và điều quan trọng là phần mềm đưa ra kết quả phân tích chính xác và có độ đáng tin cậy cao.

2.1. Vấn Đề Tốn Kém Thời Gian và Nguồn Lực Khi Phân Tích Thủ Công

Phân tích thủ công đòi hỏi người thực hiện phải đọc và hiểu từng ý kiến, sau đó phân loại và tổng hợp thông tin. Quá trình này rất tốn thời gian, đặc biệt khi số lượng ý kiến phản hồi lớn. Bên cạnh đó, việc cần nhiều nhân lực để thực hiện phân tích cũng làm tăng chi phí. Phần mềm phân tích tự động giúp giải quyết vấn đề này bằng cách tự động hóa quy trình phân tích, giảm thiểu thời gian và công sức cần thiết.

2.2. Nguy Cơ Chủ Quan và Sai Sót Trong Phân Tích Thủ Công

Phân tích thủ công dễ bị ảnh hưởng bởi yếu tố chủ quan của người thực hiện. Mỗi người có thể có cách hiểu và đánh giá khác nhau về cùng một ý kiến, dẫn đến sự thiếu nhất quán trong kết quả phân tích. Ngoài ra, sai sót trong quá trình phân loại và tổng hợp thông tin cũng có thể xảy ra. Phần mềm phân tích tự động giúp đảm bảo tính khách quan và chính xác bằng cách sử dụng các thuật toán và quy tắc được định nghĩa trước.

III. Giải Pháp Phần Mềm Tự Động Phân Tích Ý Kiến Bí Quyết

Với sự phát triển của các mô hình máy học và học sâu, việc áp dụng các công nghệ trí tuệ nhân tạo vào giải quyết các vấn đề thực tế đã được nghiên cứu. Tuy nhiên, vấn đề của các mô hình này là cần xây dựng các bộ dữ liệu đã được gán nhãn và lựa chọn được mô hình phù hợp với dữ liệu để nâng cao hiệu suất của mô hình. Hiện nay đã có bộ dữ liệu về ý kiến phản hồi của sinh viên nhưng chưa có bộ dữ liệu ý kiến phản hồi của sinh viên theo khía cạnh trong miền dữ liệu giáo dục dành cho tiếng Việt. Đồng thời, tại Phân hiệu hiện nay chưa có phần mềm phân tích tự động ý kiến phản hồi của sinh viên theo khía cạnh đối với nguồn dữ liệu thu thập được từ câu hỏi mở.

3.1. Ưu Điểm Vượt Trội của Phân Tích Tự Động Sử Dụng AI

Phần mềm phân tích tự động sử dụng các thuật toán máy học và học sâu để phân tích ý kiến sinh viên một cách nhanh chóng và chính xác. Điều này giúp nhà trường tiết kiệm thời gian, công sức và chi phí so với việc phân tích thủ công. Ngoài ra, phần mềm còn có khả năng phát hiện các xu hướng và mẫu ẩn trong dữ liệu mà con người khó nhận ra. Bằng cách tích hợp các công nghệ trí tuệ nhân tạo, phần mềm có thể tự động học hỏi và cải thiện hiệu suất theo thời gian.

3.2. Yêu Cầu Về Dữ Liệu Gán Nhãn và Mô Hình Phù Hợp

Để đảm bảo hiệu quả của phần mềm phân tích tự động, cần có một bộ dữ liệu lớn đã được gán nhãn chính xác. Dữ liệu này được sử dụng để huấn luyện các mô hình máy học, giúp chúng học cách phân tích và hiểu ý kiến phản hồi của sinh viên. Ngoài ra, việc lựa chọn mô hình phù hợp với đặc điểm của dữ liệu cũng rất quan trọng. Các mô hình khác nhau có thể có hiệu suất khác nhau trên cùng một bộ dữ liệu. Do đó, cần thử nghiệm và đánh giá các mô hình khác nhau để tìm ra mô hình tốt nhất. Như đã nêu trong báo cáo nghiên cứu, hiện tại chưa có bộ dữ liệu tiếng Việt chuyên biệt cho phân tích ý kiến sinh viên theo khía cạnh trong lĩnh vực giáo dục.

IV. Nghiên Cứu Ứng Dụng Xây Dựng Phần Mềm Phân Tích Ý Kiến Tại ĐHNV

Đề tài nghiên cứu tập trung vào việc xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo tại Phân hiệu Trường Đại học Nội vụ Hà Nội tại TP.HCM. Mục tiêu của đề tài là xây dựng bộ dữ liệu gồm 4.000 ý kiến phản hồi sinh viên theo khía cạnh (tiếng Việt), nghiên cứu các phương pháp máy học, học sâu để giải quyết bài toán phân tích tự động ý kiến phản hồi của sinh viên, và xây dựng bản demo phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo.

4.1. Mục Tiêu Cụ Thể của Nghiên Cứu Phát Triển Phần Mềm

Nghiên cứu nhằm xây dựng một phần mềm có khả năng tự động phân tích ý kiến phản hồi của sinh viên theo các khía cạnh khác nhau, ví dụ như chất lượng giảng dạy, cơ sở vật chất, dịch vụ hỗ trợ sinh viên, v.v. Phần mềm cũng có khả năng xác định cảm xúc của sinh viên đối với từng khía cạnh, ví dụ như hài lòng, không hài lòng, trung lập. Kết quả phân tích sẽ được hiển thị một cách trực quan, giúp nhà trường dễ dàng nắm bắt được tình hình và đưa ra các quyết định cải thiện phù hợp.

4.2. Nhiệm Vụ Nghiên Cứu và Triển Khai Phần Mềm Thực Tế

Để đạt được các mục tiêu trên, nghiên cứu thực hiện các nhiệm vụ sau: (1) Nghiên cứu, khảo sát các công trình liên quan đến bài toán phân tích tự động ý kiến trong nước và trên thế giới. (2) Thu thập và gán nhãn một tập dữ liệu ý kiến phản hồi của sinh viên. (3) Thử nghiệm, đánh giá kết quả thử nghiệm của các phương pháp máy học, học sâu trên bộ dữ liệu đã xây dựng. (4) Tìm hiểu các ngôn ngữ lập trình, cơ sở dữ liệu để xây dựng bản demo phần mềm phân tích tự động ý kiến phản hồi của sinh viên.

V. Kết Quả Phần Mềm Phân Tích Ý Kiến Sinh Viên Tiềm Năng Ứng Dụng

Đề tài đã đạt được những kết quả tóm tắt sau đây: Một bộ ngữ liệu chuẩn tiếng Việt với kích thước là 5.100 ý kiến phản hồi được gán thủ công cho bài toán phân tích ý kiến theo khía cạnh với độ đáng tin cậy giữa những người gán nhãn là 88,95% cho phát hiện khía cạnh và 80,52% cho phát hiện khía cạnh và cảm xúc trên khía cạnh. Nghiên cứu, so sánh và thử nghiệm sự hiệu quả các phương pháp học máy NB, NN, SVM, LSTM, CNN, BiLSTM-CNN, BERT. Trong đó mô hình BERT cho kết quả hiệu quả tốt hơn so với các mô hình khác. Xây dựng phần mềm demo công nghệ web. Một bài báo khoa học tại tạp chí chuyên ngành.

5.1. Đánh Giá Hiệu Quả Của Các Mô Hình Máy Học BERT CNN LSTM...

Nghiên cứu đã so sánh hiệu quả của nhiều mô hình máy học khác nhau trong việc phân tích ý kiến sinh viên, bao gồm cả các mô hình truyền thống như Naive Bayes (NB), Support Vector Machine (SVM) và các mô hình học sâu như LSTM, CNN, BERT. Kết quả cho thấy mô hình BERT đạt hiệu quả tốt nhất trong việc phát hiện khía cạnh và cảm xúc, với độ chính xác và độ bao phủ cao hơn so với các mô hình khác. Điều này cho thấy BERT có khả năng hiểu và xử lý ngôn ngữ tự nhiên tốt hơn trong bối cảnh này.

5.2. Triển Vọng Ứng Dụng Phần Mềm Phân Tích Ý Kiến Sinh Viên

Phần mềm được tạo ra không những chỉ sử dụng được tại Phân hiệu mà còn có thể sử dụng được cho các cơ sở giáo dục đại học khác. Kết quả nghiên cứu có thể tích hợp vào các phần mềm khảo sát đánh giá chất lượng giáo dục giúp tăng thêm tính năng và tạo ra chuyên nghiệp cho phần mềm. Phần mềm demo được xây dựng là một bước quan trọng trong việc ứng dụng trí tuệ nhân tạo vào lĩnh vực giáo dục. Nó có tiềm năng lớn trong việc giúp các trường đại học cải thiện chất lượng đào tạo, nâng cao trải nghiệm học tập của sinh viên và đưa ra các quyết định dựa trên dữ liệu chính xác.

VI. Kết Luận Tương Lai Phát Triển Phần Mềm và Nghiên Cứu Chuyên Sâu

Vấn đề phân tích các ý kiến phản hồi của sinh viên rất quan trọng giúp các nhà quản lý, giảng viên nhìn thấy một cách tổng quan những vấn đề mà sinh viên phản hồi để cải thiện môi trường học tập phù hợp với mong muốn của sinh viên và xu thế phát triển của thế giới. Việc xây dựng các hệ thống phân tích tự động sẽ giúp các nhà quản lý tiết kiệm chi phí, thời gian hơn là việc thuê người làm thủ công mà vẫn không hiệu quả. Kết quả nghiên cứu có thể tích hợp vào các phần mềm khảo sát đánh giá chất lượng giáo dục giúp tăng thêm tính năng và tạo ra chuyên nghiệp cho phần mềm.

6.1. Hướng Phát Triển Thêm Tính Năng và Mở Rộng Phạm Vi Ứng Dụng

Hướng phát triển chính của phần mềm là tiếp tục cải thiện độ chính xác và hiệu quả của các thuật toán phân tích, đặc biệt là trong việc xử lý các câu văn phức tạp và các biểu đạt cảm xúc đa dạng. Ngoài ra, cần mở rộng phạm vi ứng dụng của phần mềm bằng cách tích hợp thêm các tính năng mới, ví dụ như phân tích ý kiến theo thời gian, so sánh ý kiến giữa các nhóm sinh viên khác nhau, và dự đoán các vấn đề có thể xảy ra trong tương lai. Việc tích hợp với các hệ thống quản lý học tập cũng sẽ giúp tăng tính tiện dụng của phần mềm.

6.2. Đề Xuất Nghiên Cứu Chuyên Sâu Về Phân Tích Ý Kiến Trong Giáo Dục

Nghiên cứu sâu hơn về các yếu tố ảnh hưởng đến sự hài lòng của sinh viên, ví dụ như chất lượng giảng dạy, cơ sở vật chất, dịch vụ hỗ trợ, và môi trường học tập. Các nghiên cứu định tính cũng có thể được thực hiện để hiểu rõ hơn về cảm xúc và trải nghiệm của sinh viên. Kết quả của các nghiên cứu này sẽ cung cấp thông tin hữu ích cho việc cải thiện chất lượng đào tạo và tạo ra môi trường học tập tốt hơn cho sinh viên.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh giáo dục đại học ngày càng phát triển, việc thu thập và phân tích ý kiến phản hồi của sinh viên về chất lượng đào tạo trở thành một yếu tố quan trọng giúp nâng cao hiệu quả giảng dạy và quản lý giáo dục. Theo ước tính, có khoảng 5.000 ý kiến phản hồi của sinh viên được thu thập tại Phân hiệu Trường Đại học Nội vụ Hà Nội tại Thành phố Hồ Chí Minh trong giai đoạn 2020-2021. Vấn đề nghiên cứu tập trung vào việc xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên theo khía cạnh nhằm đánh giá chính xác các khía cạnh và cảm xúc liên quan đến chất lượng đào tạo.

Mục tiêu cụ thể của luận văn là xây dựng một cơ sở dữ liệu chuẩn với hơn 5.000 ý kiến phản hồi được gán nhãn chi tiết theo 11 khía cạnh và 3 trạng thái cảm xúc (tích cực, trung tính, tiêu cực), nghiên cứu và so sánh hiệu quả các mô hình máy học và học sâu trong bài toán phân tích ý kiến theo khía cạnh, đồng thời phát triển phần mềm demo phục vụ phân tích ý kiến phản hồi sinh viên. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập từ sinh viên Phân hiệu tại TP. Hồ Chí Minh, với thời gian khảo sát trong hai năm học 2020-2021.

Ý nghĩa của nghiên cứu được thể hiện qua việc cung cấp công cụ phân tích tự động, giúp nhà quản lý và giảng viên tiết kiệm thời gian, chi phí so với phương pháp thủ công, đồng thời nâng cao độ chính xác trong việc nhận diện các khía cạnh và cảm xúc của sinh viên, từ đó cải thiện chất lượng đào tạo và môi trường học tập.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) và học máy (Machine Learning):

• Xử lý ngôn ngữ tự nhiên (NLP): Là lĩnh vực nghiên cứu các phương pháp để máy tính hiểu và xử lý dữ liệu ngôn ngữ tự nhiên, bao gồm phân tích văn bản, trích xuất thông tin và phân loại cảm xúc.

• Phân tích ý kiến theo khía cạnh (Aspect-Based Sentiment Analysis): Phân tích các ý kiến phản hồi không chỉ ở mức tổng thể mà còn chi tiết theo từng khía cạnh cụ thể, xác định cảm xúc tích cực, tiêu cực hoặc trung tính cho từng khía cạnh.

• Mô hình máy học và học sâu:

  • Support Vector Machine (SVM): Thuật toán phân loại dựa trên việc tìm siêu phẳng tối ưu phân tách các lớp dữ liệu.
  • Convolutional Neural Network (CNN): Mạng nơ-ron tích chập, hiệu quả trong việc trích xuất đặc trưng từ dữ liệu chuỗi và văn bản.
  • BERT (Bidirectional Encoder Representations from Transformers): Mô hình ngôn ngữ dựa trên kiến trúc Transformer, cho phép biểu diễn ngữ cảnh hai chiều của từ trong câu, nâng cao hiệu quả phân tích ngôn ngữ tự nhiên.

Các khái niệm chính bao gồm: khía cạnh (aspect), cảm xúc (sentiment), gán nhãn dữ liệu (annotation), hàm kích hoạt (activation function), và độ chính xác F1-score trong đánh giá mô hình.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là hơn 5.000 ý kiến phản hồi của sinh viên được thu thập tại Phân hiệu Trường Đại học Nội vụ Hà Nội tại TP. Hồ Chí Minh trong hai năm học 2020-2021. Dữ liệu được gán nhãn chi tiết theo 11 khía cạnh và 3 trạng thái cảm xúc bởi nhóm annotators gồm giảng viên và chuyên viên có kinh nghiệm, đảm bảo độ tin cậy với chỉ số đồng thuận Cohen’s Kappa đạt 88,95% cho phân loại khía cạnh và 80,52% cho phân loại cảm xúc.

Phương pháp phân tích bao gồm:

• Xây dựng bộ dữ liệu chuẩn với quy trình gán nhãn nghiêm ngặt, huấn luyện annotators và đánh giá chất lượng nhãn.
• Thử nghiệm và so sánh hiệu quả các mô hình máy học (Naive Bayes, SVM, Neural Network) và học sâu (LSTM, CNN, BiLSTM-CNN, BERT) trên bộ dữ liệu đã xây dựng.
• Phát triển phần mềm demo phân tích tự động ý kiến phản hồi sinh viên với các chức năng đăng ký, đăng nhập, phân tích ý kiến theo giảng viên và khía cạnh.

Timeline nghiên cứu kéo dài khoảng 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, gán nhãn, huấn luyện mô hình, thử nghiệm và phát triển phần mềm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Xây dựng bộ dữ liệu chuẩn:
   Bộ dữ liệu gồm 5.010 ý kiến phản hồi được gán nhãn theo 11 khía cạnh và 3 trạng thái cảm xúc. Phân bố dữ liệu cho thấy khía cạnh "Kỹ năng giảng dạy" chiếm 1.690 ý kiến, "Hành vi" 1.964 ý kiến, trong khi các khía cạnh như "Chấm điểm" và "Thiết bị dạy học" chiếm số lượng ít hơn (51 và 61 ý kiến).

2. Độ đồng thuận gán nhãn cao:
   Chỉ số Cohen’s Kappa đạt 88,95% cho phân loại khía cạnh và 80,52% cho phân loại cảm xúc, đảm bảo chất lượng dữ liệu cho việc huấn luyện mô hình.

3. Hiệu quả mô hình BERT vượt trội:
   Mô hình BERT đạt F1-score 82,53% cho bài toán phát hiện khía cạnh và 79,39% cho bài toán phát hiện khía cạnh kết hợp cảm xúc, cao hơn đáng kể so với các mô hình khác như SVM, CNN hay LSTM.

4. Phần mềm demo phân tích ý kiến:
   Phần mềm được phát triển với các chức năng chính như đăng ký, đăng nhập, phân tích ý kiến theo giảng viên và khía cạnh, giúp tự động hóa quá trình phân tích, giảm thiểu thời gian và nhân lực.

Thảo luận kết quả

Kết quả cho thấy việc xây dựng bộ dữ liệu chuẩn với quy trình gán nhãn nghiêm ngặt là nền tảng quan trọng để phát triển các mô hình phân tích ý kiến chính xác. Độ đồng thuận cao giữa các annotators phản ánh tính nhất quán và tin cậy của dữ liệu.

Mô hình BERT thể hiện ưu thế vượt trội nhờ khả năng biểu diễn ngữ cảnh hai chiều và kiến trúc Transformer hiện đại, phù hợp với bài toán phân tích ý kiến phức tạp theo khía cạnh và cảm xúc. So sánh với các nghiên cứu trước đây trong lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt, kết quả này khẳng định tính hiệu quả của BERT trong ứng dụng thực tiễn.

Phần mềm demo không chỉ minh họa tính khả thi của nghiên cứu mà còn mở ra hướng ứng dụng rộng rãi trong quản lý giáo dục, giúp nhà trường và giảng viên nhanh chóng nắm bắt được các vấn đề sinh viên quan tâm và cảm nhận về chất lượng đào tạo.

Dữ liệu và kết quả có thể được trình bày qua các biểu đồ phân bố khía cạnh, biểu đồ tỷ lệ cảm xúc theo từng khía cạnh, bảng so sánh F1-score các mô hình, giúp trực quan hóa và minh chứng cho các phát hiện.

Đề xuất và khuyến nghị

1. Triển khai phần mềm phân tích tự động tại các cơ sở giáo dục:
   Đề nghị các trường đại học và phân hiệu áp dụng phần mềm để thu thập và phân tích ý kiến phản hồi sinh viên định kỳ, nhằm nâng cao chất lượng đào tạo. Thời gian triển khai dự kiến trong 6 tháng, do phòng công nghệ thông tin chủ trì.

2. Mở rộng bộ dữ liệu và cập nhật thường xuyên:
   Khuyến nghị tiếp tục thu thập ý kiến phản hồi mới, mở rộng phạm vi địa lý và đối tượng sinh viên để tăng tính đại diện và cải thiện độ chính xác mô hình. Thực hiện hàng năm bởi bộ phận khảo thí và nghiên cứu khoa học.

3. Đào tạo nhân sự vận hành và phân tích dữ liệu:
   Tổ chức các khóa đào tạo cho cán bộ quản lý và giảng viên về cách sử dụng phần mềm và hiểu kết quả phân tích để áp dụng hiệu quả trong cải tiến chương trình đào tạo. Thời gian đào tạo 3 tháng, do phòng đào tạo phối hợp với trung tâm CNTT thực hiện.

4. Nâng cấp và tích hợp công nghệ mới:
   Đề xuất nghiên cứu áp dụng các mô hình học sâu mới, kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến để nâng cao hiệu quả phân tích, đồng thời tích hợp phần mềm với hệ thống quản lý đào tạo hiện có. Kế hoạch phát triển trong 12 tháng, do nhóm nghiên cứu và phòng CNTT phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý giáo dục đại học:
   Giúp hiểu rõ hơn về phương pháp thu thập và phân tích ý kiến sinh viên, từ đó đưa ra các quyết định nâng cao chất lượng đào tạo và chính sách phù hợp.

2. Giảng viên và cán bộ đào tạo:
   Sử dụng kết quả phân tích để điều chỉnh phương pháp giảng dạy, cải thiện tương tác với sinh viên và nâng cao hiệu quả học tập.

3. Nhà nghiên cứu trong lĩnh vực xử lý ngôn ngữ tự nhiên và học máy:
   Tham khảo quy trình xây dựng bộ dữ liệu chuẩn, phương pháp gán nhãn và đánh giá mô hình, cũng như ứng dụng thực tiễn trong môi trường tiếng Việt.

4. Phát triển phần mềm giáo dục và công nghệ thông tin:
   Áp dụng các mô hình học sâu và kỹ thuật NLP để phát triển các công cụ hỗ trợ phân tích dữ liệu phản hồi người dùng trong giáo dục và các lĩnh vực liên quan.

Câu hỏi thường gặp

1. Phân tích ý kiến theo khía cạnh là gì?
   Đây là kỹ thuật phân tích văn bản nhằm xác định các khía cạnh cụ thể được đề cập trong ý kiến và đánh giá cảm xúc tương ứng cho từng khía cạnh, giúp hiểu sâu sắc hơn về nội dung phản hồi.

2. Tại sao cần xây dựng bộ dữ liệu gán nhãn chuẩn?
   Bộ dữ liệu chuẩn giúp đảm bảo tính nhất quán và độ chính xác trong việc huấn luyện các mô hình máy học, từ đó nâng cao hiệu quả phân tích và giảm sai sót.

3. Mô hình BERT có ưu điểm gì so với các mô hình khác?
   BERT sử dụng kiến trúc Transformer cho phép biểu diễn ngữ cảnh hai chiều của từ trong câu, giúp mô hình hiểu sâu sắc hơn về ngữ nghĩa và cải thiện độ chính xác trong các bài toán NLP phức tạp.

4. Phần mềm phân tích ý kiến phản hồi sinh viên có thể áp dụng ở đâu?
   Phần mềm có thể được triển khai tại các trường đại học, phân hiệu, trung tâm đào tạo để tự động thu thập và phân tích ý kiến sinh viên, hỗ trợ quản lý và cải tiến chất lượng đào tạo.

5. Làm thế nào để đảm bảo chất lượng gán nhãn dữ liệu?
   Thực hiện huấn luyện annotators kỹ lưỡng, áp dụng quy trình gán nhãn độc lập, đánh giá độ đồng thuận bằng chỉ số Cohen’s Kappa và điều chỉnh quy tắc gán nhãn dựa trên kết quả đánh giá.

Kết luận

• Đã xây dựng thành công bộ dữ liệu chuẩn gồm hơn 5.000 ý kiến phản hồi sinh viên, được gán nhãn chi tiết theo 11 khía cạnh và 3 trạng thái cảm xúc với độ đồng thuận cao (Cohen’s Kappa trên 80%).
• Nghiên cứu và so sánh hiệu quả các mô hình máy học và học sâu, trong đó mô hình BERT đạt hiệu quả tốt nhất với F1-score trên 79%.
• Phát triển phần mềm demo phân tích tự động ý kiến phản hồi sinh viên, hỗ trợ quản lý và giảng viên trong việc đánh giá chất lượng đào tạo.
• Kết quả nghiên cứu có ý nghĩa thực tiễn cao, góp phần nâng cao hiệu quả quản lý giáo dục và cải thiện môi trường học tập.
• Đề xuất các bước tiếp theo bao gồm mở rộng dữ liệu, nâng cấp mô hình và triển khai phần mềm rộng rãi trong các cơ sở giáo dục.

Quý độc giả và các nhà quản lý giáo dục được khuyến khích áp dụng kết quả nghiên cứu để nâng cao chất lượng đào tạo và phát triển bền vững hệ thống giáo dục đại học.

Trích đoạn nội dung tài liệu

Bà NàI VĂ TR£âNG Đ¾I HàC NÞI VĀ HÀ NÞI BÁO CÁO TâNG HþP ĐÀ TÀI NGHIÊN CĄU KHOA HàC CÂP TR£âNG XÂY DĄNG PHÄN MÀM PHÂN TÍCH TĄ ĐÞNG Ý KI¾N PHÀN HàI CĂA SINH VIÊN VÀ CHÂT L£þNG ĐÀO T¾O ä PHÂN HIàU TR£âNG Đ¾I HàC NÞI VĀ HÀ NÞI T¾I THÀNH PHÞ Hà CHÍ MINH Mã sß căa đÁ tài: ĐTCT.133 Chă nhiám đÁ tài: Th¿c sā Tôn Nă Thß Sáu Hà Nßi, Tháng 7/2022 Bà NàI VĂ TR£âNG Đ¾I HàC NÞI VĀ HÀ NÞI BÁO CÁO TâNG HþP ĐÀ TÀI NGHIÊN CĄU KHOA HàC CÂP TR£âNG XÂY DĄNG PHÄN MÀM PHÂN TÍCH TĄ ĐÞNG Ý KI¾N PHÀN HàI CĂA SINH VIÊN VÀ CHÂT L£þNG ĐÀO T¾O ä PHÂN HIàU TR£âNG Đ¾I HàC NÞI VĀ HÀ NÞI T¾I THÀNH PHÞ Hà CHÍ MINH Mã sß căa đÁ tài: ĐTCT.133 Chă nhiám đÁ tài: Th¿c sā Tôn Nă Thß Sáu Thành viên đÅ tài: Th¿c sā Đß Ph¤ãc Sang Th¿c sā Ph¿m Thß Thu Trang Th¿c sā Lê Xuân HÁu Cā nhân Nguyßn Thß Kim Oanh Hà Nßi, Tháng 7/2022 MĀC LĀC MĂC LĂC. 1 DANH MĂC BÀNG VIÂT TÂT. 3 DANH MĂC BÀNG BIÆU. 4 DANH MĂC HÌNH VÀ.

Đßi t¤āng, ph¿m vi nghiên cću. Ph¤¢ng pháp nghiên cću. Ý nghĩa khoa hác và ý nghĩa thąc tiÇn. 11 Ch¤¢ng 1: C¡ Sà LÝ THUYÂT VÀ CÁC NGHIÊN CĆU LIÊN QUAN.

Xā lý ngôn ngă tą nhiên. Bài toán Phân tích ý kiÃn. Bài toán phân tích ý kiÃn theo khía c¿nh. Mát sß mô hình máy hác và hác sâu.

Mô hình máy hác Support Vector Machine. Mô hình m¿ng hác sâu tích chÁp – Convolutional Neural Network. Mô hình ngôn ngă BERT. Ph¤¢ng pháp biÇu dißn tÿ.

Các công trình nghiên cću trong và ngoài n¤ãc. 34 Ch¤¢ng 2: XÂY DĄNG DĂ LIàU DĄA TRÊN Ý KIÂN PHÀN HàI CĄA SINH VIÊN. Măc tiêu cąa viác gán nhãn. Quy trình gán nhãn.

Tài liáu h¤ãng d¿n các nguyên tÃc gán nhãn dă liáu. Quy tÃc gán nhãn khía c¿nh:. Quy tÃc gán nhãn bài toán tr¿ng thái cÁm xúc. HuÃn luyán ng¤ßi gán nhãn.

Thßng kê dă liáu và đánh giá dă liáu. 47 Ch¤¢ng 3: KÂT QUÀ THĀ NGHIàM TRÊN CÁC MÔ HÌNH MÁY HàC VÀ PHÄN MÄM PHÂN TÍCH TĄ ĐàNG Ý KIÂN PHÀN HàI CĄA SINH VIÊN VÄ CHÂT L£ĀNG ĐÀO T¾O THEO KHÍA C¾NH. Mô hình hác sâu. Mô hình ngôn ngă BERT.

Các mô hình so sánh. Chi tiÃt cài đặt mô hình. KÃt quÁ thā nghiám. KÃt quÁ thā nghiám.

PhÅn mÅm phân tích tą đáng ý kiÃn phÁn hái cąa sinh viên vÅ chÃt l¤āng đào t¿o theo khía c¿nh. Ngôn ngă lÁp trình. Mô tÁ ćng dăng. Chi tiÃt tÿng chćc nng.

Chćc nng Đng ký tài khoÁn. Chćc nng Đng nhÁp tài khoÁn. Chćc nng Phân tích ý kiÃn theo giÁng viên. Chćc nng Phân tích ý kiÃn theo hác phÅn.

69 KÂT LUÀN VÀ H£âNG PHÁT TRIÆN. H¤ãng phát triÇn. TriÇn khai phÅn mÅm vào thąc tÃ. Phát triÇn phÅn mÅm trong t¤¢ng lai.

74 TÀI LIàU THAM KHÀO. 75 2 DANH MĀC BÀNG VI¾T TÂT TT Chă viÃt tÃt GiÁi thích 1 Phân hiáu Phân hiáu Tr¤ßng đ¿i hác Nái vă Hà Nái t¿i TP.HCM 2 NB Naive Bayes 3 NN Neural Network 4 SVM Support Vector Machine 5 LSTM Long Short-Term Memory 6 CNN Convolutional neural network 7 BiLSTM-CNN Bidirectional Long Short-Term Memory-Convolutional Neural Network 8 BERT Bidirectional Encoder Representations from Transformers 9 ANN Artificial Neural Networks 10 Tf-idf Term Frequency – Inverse Document Frequency 3 DANH MĀC BÀNG BIÂU BÁng 2. Danh sách thßng kê sß l¤āng các khía c¿nh trong bá dă liáu. KÃt quÁ thąc nghiám các ph¤¢ng pháp cho bài toán phát hián khía c¿nh trên tÁp kiÇm tra.

KÃt quÁ thí nghiám các ph¤¢ng pháp cho bài toán phát hián khía c¿nh và tr¿ng thái cÁm xúc t¤¢ng ćng trên tÁp kiÇm tra. 59 4 DANH MĀC HÌNH VẼ Hình 1. PhÅn mÅm Awario phân tích cÁm xúc khách hàng. Lßch sā phát triÇn cąa máy hác.

Các mặt phẳng phân tách hai lãp. Margin phân chia hai lãp. KiÃn trúc m¿ng n¢-ron nhân t¿o. CÃu trúc trong tÿng nßt cąa m¿ng n¢-ron nhân t¿o.

Mô tÁ quá trình tính toán t¿i tÅng tích chÁp, sā dăng hàm kích ho¿t ReLu. KÃt quÁ sau khi đi qua lãp tãng hāp. Đá thß hàm sigmoid. Đá thß hàm ReLu.

Đá thß hàm Tanh. Mô tÁ quá trình sā dăng BERT đÇ rút trích vector biÇu dißn cąa vn bÁn đÅu vào. Mô hình Transformer đ¤āc đÅ xuÃt bái tác giÁ Vaswani et al. Mô tÁ đÅu vào cąa kiÃn trúc mô hình BERT [2].

Ví dă biÇu dißn 2 câu vn bÁn đÅu vào cąa mô hình BERT. Mô tÁ quá trình Mô hình mặt n¿ ngôn ngă [15]. Mô tÁ quá trình Dą đoán câu tiÃp theo. Các cách tinh chỉnh khác nhau dąa trên mô hình BERT.

Quy trình xây dą bá dă liáu. Mô hình đÅ xuÃt trong bài toán phân lo¿i vn bÁn. KiÃn trúc mô hình kÃt hāp BiLSTM-CNN cho bài toán tích ý kiÃn theo khía c¿nh trên miÅn dă liáu giáo dăc. KiÃn trúc tinh chỉnh mô hình BERT.

KÃt quÁ chi tiÃt tÿng khía c¿nh và tr¿ng thái cÁm xúc cąa mô hình kÃt hāp BiLSTM-CNN trên tÁp kiÇm tra. KÃt quÁ chi tiÃt tÿng khía c¿nh và tr¿ng thái cÁm xúc cąa mô hình kÃt hāp BERT trên tÁp kiÇm tra. Mô hình quan há dă liáu. S¢ đá luáng dă liáu.

S¢ đá quy trình thąc hián. Mô hình phân cÃp chćc nng cąa phÅn mÅm Vasf Soft. Giao dián phÅn mÅm Vasf Soft. Giao dián đng ký tài khoÁn.

Chćc nng đng nhÁp tài khoÁn. Chćc nng thoát. Chćc nng phân tích ý kiÃn theo giÁng viên .TÁi tÁp tin dă liáu đÇ phân tích. BiÇu đá phÅn trm khía c¿nh đßi vãi giÁng viên.

BÁn đá phÅn trm cÁm xúc theo khía c¿nh đßi vãi giÁng viên. BÁng phân tích că thÇ mßi ý kiÃn cąa sinh viên đßi vãi giÁng viên. Chćc nng phân tích khía c¿nh theo hác phÅn. TÁi tÁp tin dă liáu ý kiÃn phÁn hái cąa sinh viên đßi vãi hác phÅn.

BiÇu đá phÅn trm cÁm xúc trên mßi khía c¿nh đßi vãi hác phÅn. BiÇu đá phÅn trm cÁm xúc theo mßi khía c¿nh đßi vãi hác phÅn. BÁng phân tích chi tiÃt ý kiÃn phÁn hái cąa sinh viên đßi vãi hác phÅn. Tính cÃp thi¿t ĐÇ thąc hián chą tr¤¢ng cąa cąa Bá Giáo dăc và Đào t¿o nhiÅu tr¤ßng đ¿i hác và cao đẳng t¿i Viát Nam đang triÇn khai thąc lÃy ý kiÃn phÁn hái cąa ng¤ßi hác vÅ giÁng viên và nhà tr¤ßng bằng nhiÅu hình thćc khác nhau sau khi kÃt thúc hác phÅn hoặc kÃt thúc hác kỳ [26].

Cũng nh¤ các tr¤ßng đ¿i hác khác tÿ nm 2017 đÃn này Phân hiáu Tr¤ßng Đ¿i hác Nái vă Hà nái TP.HCM (Phân hiáu) đã tiÃn hành thąc hián lÃy ý kiÃn phÁn hái cąa sinh viên vÅ chÃt l¤āng đào t¿o bằng cách gāi đ¤ßng liên kÃt phiÃu khÁo sát đÃn sinh viên sau khi kÃt thúc hác kỳ. ĐÇ lÃy ý kiÃn phÁn hái cąa sinh viên mát cách chính xác, có đá tin cÁy cao trong phiÃu khÁo sát cąa Phân hiáu đ¤āc thiÃt kà 2 lo¿i câu hỏi đó là câu hỏi đóng và câu hỏi má. Đßi vãi ý kiÃn thu thÁp đ¤āc tÿ câu hỏi đóng đ¤āc Phân hiáu xā lý và phân tích bằng phÅn mÅm Excel, SPSS. Nh¤ng đßi vãi dă liáu thu đ¤āc tÿ câu hỏi má th¤ßng bß bỏ qua, chỉ đác đÇ biÃt, không đ¤āc phân tích că thÇ.

Trong khi đó nhăng ý kiÃn thu đ¤āc tÿ câu hỏi má chính là tâm t¤, nguyán váng, tình cÁm, quan điÇm&cąa sinh viên gāi cho Phân hiáu, viác phân tích nguán dă liáu này rÃt cÅn thiÃt giúp cho Phân hiáu hiÇu rõ khía c¿nh mà sinh viên quan tâm và cÁm xúc cąa sinh viên đßi vãi khía c¿nh đó. Các ý kiÃn phÁn hái cho câu hỏi má th¤ßng là vn bÁn cho nên viác phân tích theo cách thą công sÁ gặp rÃt nhiÅu khó khn, mÃt rÃt nhiÅu thßi gian, kinh phí và nhân ląc, cho nên Phân hiáu cÅn phÁi có mát phÅn mÅm phân tích tą đáng ý kiÃn phÁn hái cąa sinh viên vÅ chÃt l¤āng đào t¿o cho nguán dă liáu thu thÁp đ¤āc tÿ các câu hỏi má. PhÅn mÅm sÁ thay cho con ng¤ßi thąc hián công viác phân tích ý kiÃn phÁn hái cąa sinh viên theo các khía c¿nh và tr¿ng thái cÁm xúc khác nhau. Bằng cách sā dăng phÅn mÅm viác phân tích sÁ trá nên dß dàng h¢n, giÁm thßi gian phân tích, giÁm nguán nhân ląc thąc hián, và điÅu quan tráng là phÅn mÅm đ¤a ra kÃt quÁ phân tích chính xác và có đá đáng nhÃt cao.

Tÿ kÃt quÁ phân tích cąa phÅn mÅm giÁng viên, lãnh đ¿o Phân hiáu thÃy đ¤āc bćc tranh tãng thÇ vÅ các khía c¿nh và cÁm xúc cąa sinh viên đßi vãi khía c¿nh đó đÇ tÿ 7 đó đ¤a ra nhăng giÁi pháp kßp tßi nhÅm nâng cao chÃt l¤āng đào t¿o t¿i Phân hiáu. Vãi są phát triÇn cąa các mô hình máy hác và hác sâu, viác áp dăng các công nghá trí tuá nhân t¿o vào giÁi quyÃt các vÃn đÅ thąc tà đã đ¤āc nghiên cću [7] [13] [16] [18]. Tuy nhiên vÃn đÅ cąa các mô hình này là chúng ta sÁ phÁi xây dąng các bá dă liáu đã đ¤āc gán nhãn và ląa chán đ¤āc mô hình phù hāp vãi dă liáu đÇ nâng cao hiáu suÃt cąa mô hình. Theo tìm hiÇu cąa nhóm nghiên cću, hián nay đã có bá dă liáu vÅ ý kiÃn phÁn hái cąa sinh viên nh¤ng ch¤a có bá dă liáu ý kiÃn phÁn hái cąa sinh viên theo khía c¿nh trong miÅn dă liáu giáo dăc dành cho tiÃng Viát.

Đáng thßi, t¿i Phân hiáu hián nay ch¤a có phÅn mÅm phân tích tą đáng ý kiÃn phÁn hái cąa sinh viên theo khía c¿nh đßi vãi nguán dă liáu thu đ¤āc tÿ câu hỏi má cho nên nhóm nghiên cću chán đÅ tài <Xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo ở Phân hiệu trường Đại học Nội vụ Hà Nội tại Thành phố Hồ Chí Minh= để thực hiện. Māc tiêu căa đÁ tài - Xây dąng bá dă liáu gám có 4.000 ý kiÃn phÁn hái sinh viên theo khía c¿nh (tiÃng Viát). - Nghiên cću các ph¤¢ng pháp máy hác, hác sâu đÇ giÁi quyÃt bài toán Phân tích tą đáng ý kiÃn phÁn hái cąa sinh viên. - Xây dąng bÁn demo phÅn mÅm phân tích tą đáng ý kiÃn phÁn hái cąa sinh viên vÅ chÃt l¤āng đào t¿o t¿i Phân hiáu TP.

Nhiám vā đÁ tài: Nhiám vă cąa đÅ tài này bao gám các nái dung nh¤ sau: + Nghiên cću, khÁo sát các công trình liên quan đÃn bài toán Phân tích tą đáng ý kiÃn trong n¤ãc và trên thà giãi.