Đề tài: Xây dựng phần mềm phân tích tự động phản hồi của sinh viên

Phần mềm phân tích ý kiến sinh viên giúp đánh giá chất lượng đào tạo hiệu quả, cải thiện chương trình học và nâng cao trải nghiệm học tập.

• Tác giả: Tôn Nữ Thị Sáu
• Trường học: Trường Đại Học Nội Vụ Hà Nội
• Đề tài: Xây Dựng Phần Mềm Phân Tích Tự Động Ý Kiến Phản Hồi Của Sinh Viên Về Chất Lượng Đào Tạo
• Loại tài liệu: Báo Cáo Tổng Hợp Đề Tài Nghiên Cứu Khoa Học Cấp Trường
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về phần mềm phân tích ý kiến sinh viên

Phần mềm phân tích ý kiến sinh viên là công cụ công nghệ hiện đại được xây dựng nhằm tự động xử lý và phân loại phản hồi từ học viên về chất lượng đào tạo. Nghiên cứu khoa học cấp trường tại Trường Đại học Nội vụ Hà Nội đã phát triển giải pháp này để giải quyết thách thức trong việc quản lý dữ liệu phản hồi lớn từ sinh viên. Công cụ này kết hợp các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến, cho phép trích xuất thông tin quý báu từ các ý kiến không có cấu trúc. Hệ thống được thiết kế với khả năng phân tích theo khía cạnh, giúp các nhà quản lý giáo dục nắm bắt chính xác những điểm mạnh và hạn chế trong quá trình đào tạo. Ứng dụng này không chỉ tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc đánh giá chất lượng giáo dục đại học hiện nay.

1.1. Định nghĩa và mục đích của phần mềm

Phần mềm phân tích ý kiến (Sentiment Analysis Software) là hệ thống tự động hóa quá trình phân loại phản hồi sinh viên thành các khía cạnh khác nhau như giảng dạy, nội dung học phần, và trang thiết bị. Mục đích chính là cải thiện chất lượng đào tạo thông qua việc thu thập và phân tích dữ liệu một cách khoa học, giúp các cơ sở giáo dục đưa ra quyết định quản lý dựa trên dữ liệu thực tế.

1.2. Ý nghĩa thực tiễn trong giáo dục đại học

Ứng dụng này mang ý nghĩa thực tiễn to lớn trong việc nâng cao chất lượng đào tạo tại các trường đại học. Nó cho phép cộng hòa các phản hồi từ hàng trăm sinh viên, giúp phát hiện vấn đề một cách nhanh chóng. Thông qua phân tích chi tiết, các nhà quản lý có thể tối ưu hóa chương trình học và cải thiện phương pháp giảng dạy để đáp ứng nhu cầu thực tế của sinh viên hiện đại.

II. Công nghệ và phương pháp xử lý dữ liệu

Phần mềm phân tích ý kiến sử dụng các công nghệ xử lý ngôn ngữ tự nhiên (NLP) tiên tiến nhất hiện nay. Hệ thống kết hợp nhiều mô hình máy học bao gồm Support Vector Machine (SVM), mạng nơ-ron nhân tạo, và đặc biệt là mô hình BERT (Bidirectional Encoder Representations from Transformers). Các mô hình học sâu như Convolutional Neural Network (CNN) và Long Short-Term Memory (LSTM) được tích hợp để đạt hiệu suất cao nhất. Quy trình xây dựng dữ liệu bao gồm việc gán nhãn thủ công theo các quy tắc cụ thể, đảm bảo chất lượng dữ liệu huấn luyện. Phương pháp biểu diễn từ (Word Embedding) cho phép máy tính hiểu được ý nghĩa ngữ cảnh của mỗi từ, cải thiện độ chính xác trong phân tích cảm xúc và phát hiện khía cạnh.

2.1. Các mô hình máy học được sử dụng

Hệ thống sử dụng mô hình BiLSTM-CNN kết hợp, cho phép xử lý dữ liệu tuần tự và nhận diện mẫu hiệu quả. Mô hình BERT được tinh chỉnh riêng biệt để đạt độ chính xác cao trong phân loại khía cạnh. Mỗi mô hình được huấn luyện trên tập dữ liệu chuyên biệt gồm hàng ngàn ý kiến phản hồi của sinh viên, cho phép đạt hiệu suất tối ưu.

2.2. Quy trình gán nhãn dữ liệu

Quá trình gán nhãn là bước quan trọng nhất trong xây dựng bộ dữ liệu. Các chuyên gia được huấn luyện về các quy tắc gán nhãn khía cạnh cụ thể như giảng viên, nội dung, phương pháp dạy học. Dữ liệu được gán nhãn theo trạng thái cảm xúc (tích cực, tiêu cực, trung lập) để máy tính có thể học và dự đoán chính xác.

III. Các chức năng chính của hệ thống

Phần mềm Vasf Soft - tên gọi của ứng dụng phân tích ý kiến - được thiết kế với giao diện thân thiện và chức năng đa dạng. Người dùng có thể đăng ký tài khoản, đăng nhập an toàn và truy cập các công cụ phân tích mạnh mẽ. Chức năng phân tích ý kiến theo giảng viên cho phép quản lý nhân sự xem được đánh giá chi tiết từ sinh viên. Tính năng phân tích theo học phần giúp cải thiện nội dung giáo dục dựa trên phản hồi học sinh. Hệ thống tạo ra biểu đồ trực quan và bản đồ nhiệt thể hiện phân phối cảm xúc theo từng khía cạnh cụ thể. Người dùng có thể tải tập tin dữ liệu để xử lý hàng loạt và xuất báo cáo chi tiết, hỗ trợ quá trình ra quyết định dựa trên dữ liệu.

3.1. Chức năng quản lý tài khoản người dùng

Hệ thống cung cấp chức năng đăng ký và đăng nhập bảo mật cho các nhà quản lý giáo dục. Mỗi tài khoản người dùng được cấp quyền truy cập khác nhau tùy theo vai trò và trách nhiệm trong tổ chức. Giao diện quản lý cho phép cập nhật thông tin cá nhân và quản lý quyền hạn một cách dễ dàng.

3.2. Chức năng phân tích và báo cáo

Tính năng phân tích chính bao gồm phân tích theo giảng viên và phân tích theo học phần, giúp xác định nhu cầu cải thiện. Hệ thống tự động tạo các biểu đồ phần trăm và bản đồ cảm xúc cho từng khía cạnh đánh giá. Báo cáo chi tiết được xuất ra dưới định dạng dễ sử dụng, hỗ trợ quá trình lập kế hoạch nâng cao chất lượng đào tạo.

IV. Kết quả và hướng phát triển tương lai

Kết quả thử nghiệm của phần mềm phân tích ý kiến đã chứng minh hiệu quả cao trong phát hiện khía cạnh và phân loại cảm xúc của phản hồi sinh viên. Mô hình BERT tinh chỉnh đạt độ chính xác vượt trội so với các mô hình truyền thống, cho phép nhận diện chính xác các vấn đề chất lượng đào tạo. Tuy nhiên, hướng phát triển tương lai bao gồm triển khai thực tế rộng rãi tại các cơ sở giáo dục khác. Cải tiến phần mềm sẽ tập trung vào mở rộng khía cạnh phân tích, hỗ trợ nhiều ngôn ngữ, và tích hợp thêm các công cụ trực quan hóa dữ liệu hiện đại. Tiếp theo là phát triển module dự báo giúp dự đoán xu hướng chất lượng trong tương lai, đóng góp vào nâng cao hiệu quả của hệ thống giáo dục đại học.

4.1. Kết quả thực nghiệm và hiệu suất

Kết quả thực nghiệm trên tập dữ liệu kiểm tra cho thấy mô hình BiLSTM-CNN đạt F1-score cao trong bài toán phát hiện khía cạnh. Mô hình BERT vượt trội hơn với độ chính xác khi phân loại cảm xúc theo từng khía cạnh cụ thể. Các kết quả chi tiết được thể hiện qua biểu đồ cho từng khía cạnh và trạng thái cảm xúc.

4.2. Triển khai và tương lai

Triển khai phần mềm vào thực tế giáo dục đòi hỏi đào tạo người dùng và tích hợp hệ thống hiện có. Phát triển tương lai sẽ tập trung vào cải thiện hiệu suất, mở rộng chức năng, và tích hợp công nghệ AI mới nhất để tối ưu hóa việc phân tích chất lượng đào tạo.

Trích đoạn nội dung tài liệu

BỘ NỘI VỤ TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI BÁO CÁO TỔNG HỢP ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG XÂY DỰNG PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO Ở PHÂN HIỆU TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI TẠI THÀNH PHỐ HỒ CHÍ MINH Mã số của đề tài: ĐTCT.133 Chủ nhiệm đề tài: Thạc sỹ Tôn Nữ Thị Sáu Hà Nội, Tháng 7/2022 BỘ NỘI VỤ TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI BÁO CÁO TỔNG HỢP ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG XÂY DỰNG PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO Ở PHÂN HIỆU TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI TẠI THÀNH PHỐ HỒ CHÍ MINH Mã số của đề tài: ĐTCT.133 Chủ nhiệm đề tài: Thạc sỹ Tôn Nữ Thị Sáu Thành viên đề tài: Thạc sỹ Đỗ Phƣớc Sang Thạc sỹ Phạm Thị Thu Trang Thạc sỹ Lê Xuân Hậu Cử nhân Nguyễn Thị Kim Oanh Hà Nội, Tháng 7/2022 MỤC LỤC MỤC LỤC. 1 DANH MỤC BẢNG VIẾT TẮT. 3 DANH MỤC BẢNG BIỂU. 4 DANH MỤC HÌNH VẼ.

Tính cấp thiết. Mục tiêu của đề tài. Nhiệm vụ đề tài:. Đối tƣợng, phạm vi nghiên cứu.

Phƣơng pháp nghiên cứu. Ý nghĩa khoa học và ý nghĩa thực tiển. Kết quả đề tài. Cấu trúc của đề tài.

11 Chƣơng 1: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN .1 Các khái niệm cơ bản. Xử lý ngôn ngữ tự nhiên. Bài toán Phân tích ý kiến. Bài toán phân tích ý kiến theo khía cạnh.

Một số mô hình máy học và học sâu. Mô hình máy học Support Vector Machine. Mô hình mạng học sâu tích chập – Convolutional Neural Network. Mô hình ngôn ngữ BERT.

Phƣơng pháp biểu diễn từ. Các công trình nghiên cứu trong và ngoài nƣớc. 34 Chƣơng 2: XÂY DỰNG DỮ LIỆU DỰA TRÊN Ý KIẾN PHẢN HỒI CỦA SINH VIÊN. Gán nhãn dữ liệu.

Mục tiêu của việc gán nhãn. Quy trình gán nhãn. Tài liệu hƣớng dẫn các nguyên tắc gán nhãn dữ liệu. Quy tắc gán nhãn khía cạnh:.

Quy tắc gán nhãn bài toán trạng thái cảm xúc. Huấn luyện ngƣời gán nhãn. Thống kê dữ liệu và đánh giá dữ liệu. 47 Chƣơng 3: KẾT QUẢ THỬ NGHIỆM TRÊN CÁC MÔ HÌNH MÁY HỌC VÀ PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO THEO KHÍA CẠNH.

Mô hình máy học. Mô hình học sâu. Mô hình ngôn ngữ BERT. Các mô hình so sánh.

Chi tiết cài đặt mô hình. Kết quả thử nghiệm. Kết quả thử nghiệm. Phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lƣợng đào tạo theo khía cạnh.

Ngôn ngữ lập trình. Mô tả ứng dụng. Chi tiết từng chức năng. Chức năng Đăng ký tài khoản.

Chức năng Đăng nhập tài khoản. Chức năng Phân tích ý kiến theo giảng viên. Chức năng Phân tích ý kiến theo học phần. 69 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN.

Hƣớng phát triển. Triển khai phần mềm vào thực tế. Phát triển phần mềm trong tƣơng lai. 74 TÀI LIỆU THAM KHẢO.

75 2 DANH MỤC BẢNG VIẾT TẮT TT Chữ viết tắt Giải thích 1 Phân hiệu Phân hiệu Trƣờng đại học Nội vụ Hà Nội tại TP.HCM 2 NB Naive Bayes 3 NN Neural Network 4 SVM Support Vector Machine 5 LSTM Long Short-Term Memory 6 CNN Convolutional neural network 7 BiLSTM-CNN Bidirectional Long Short-Term Memory-Convolutional Neural Network 8 BERT Bidirectional Encoder Representations from Transformers 9 ANN Artificial Neural Networks 10 Tf-idf Term Frequency – Inverse Document Frequency 3 DANH MỤC BẢNG BIỂU Bảng 2. Danh sách thống kê số lƣợng các khía cạnh trong bộ dữ liệu. Kết quả thực nghiệm các phƣơng pháp cho bài toán phát hiện khía cạnh trên tập kiểm tra. Kết quả thí nghiệm các phƣơng pháp cho bài toán phát hiện khía cạnh và trạng thái cảm xúc tƣơng ứng trên tập kiểm tra.

59 4 DANH MỤC HÌNH VẼ Hình 1. Phần mềm Awario phân tích cảm xúc khách hàng. Lịch sử phát triển của máy học. Các mặt phẳng phân tách hai lớp.

Margin phân chia hai lớp. Kiến trúc mạng nơ-ron nhân tạo. Cấu trúc trong từng nốt của mạng nơ-ron nhân tạo. Mô tả quá trình tính toán tại tầng tích chập, sử dụng hàm kích hoạt ReLu.

Kết quả sau khi đi qua lớp tổng hợp. Đồ thị hàm sigmoid. Đồ thị hàm ReLu. Đồ thị hàm Tanh.

Mô tả quá trình sử dụng BERT để rút trích vector biểu diễn của văn bản đầu vào. Mô hình Transformer đƣợc đề xuất bởi tác giả Vaswani et al. Mô tả đầu vào của kiến trúc mô hình BERT [2]. Ví dụ biểu diễn 2 câu văn bản đầu vào của mô hình BERT.

Mô tả quá trình Mô hình mặt nạ ngôn ngữ [15]. Mô tả quá trình Dự đoán câu tiếp theo. Các cách tinh chỉnh khác nhau dựa trên mô hình BERT. Quy trình xây dự bộ dữ liệu.

Mô hình đề xuất trong bài toán phân loại văn bản. Kiến trúc mô hình kết hợp BiLSTM-CNN cho bài toán tích ý kiến theo khía cạnh trên miền dữ liệu giáo dục. Kiến trúc tinh chỉnh mô hình BERT. Kết quả chi tiết từng khía cạnh và trạng thái cảm xúc của mô hình kết hợp BiLSTM-CNN trên tập kiểm tra.

Kết quả chi tiết từng khía cạnh và trạng thái cảm xúc của mô hình kết hợp BERT trên tập kiểm tra. Mô hình quan hệ dữ liệu. Sơ đồ luồng dữ liệu. Sơ đồ quy trình thực hiện.

Mô hình phân cấp chức năng của phần mềm Vasf Soft. Giao diện phần mềm Vasf Soft. Giao diện đăng ký tài khoản. Chức năng đăng nhập tài khoản.

Chức năng thoát. Chức năng phân tích ý kiến theo giảng viên .Tải tập tin dữ liệu để phân tích. Biểu đồ phần trăm khía cạnh đối với giảng viên. Bản đồ phần trăm cảm xúc theo khía cạnh đối với giảng viên.

Bảng phân tích cụ thể mỗi ý kiến của sinh viên đối với giảng viên. Chức năng phân tích khía cạnh theo học phần. Tải tập tin dữ liệu ý kiến phản hồi của sinh viên đối với học phần. Biểu đồ phần trăm cảm xúc trên mỗi khía cạnh đối với học phần.

Biểu đồ phần trăm cảm xúc theo mỗi khía cạnh đối với học phần. Bảng phân tích chi tiết ý kiến phản hồi của sinh viên đối với học phần. Tính cấp thiết Để thực hiện chủ trƣơng của của Bộ Giáo dục và Đào tạo nhiều trƣờng đại học và cao đẳng tại Việt Nam đang triển khai thực lấy ý kiến phản hồi của ngƣời học về giảng viên và nhà trƣờng bằng nhiều hình thức khác nhau sau khi kết thúc học phần hoặc kết thúc học kỳ [26]. Cũng nhƣ các trƣờng đại học khác từ năm 2017 đến này Phân hiệu Trƣờng Đại học Nội vụ Hà nội TP.HCM (Phân hiệu) đã tiến hành thực hiện lấy ý kiến phản hồi của sinh viên về chất lƣợng đào tạo bằng cách gửi đƣờng liên kết phiếu khảo sát đến sinh viên sau khi kết thúc học kỳ.

Để lấy ý kiến phản hồi của sinh viên một cách chính xác, có độ tin cậy cao trong phiếu khảo sát của Phân hiệu đƣợc thiết kế 2 loại câu hỏi đó là câu hỏi đóng và câu hỏi mở. Đối với ý kiến thu thập đƣợc từ câu hỏi đóng đƣợc Phân hiệu xử lý và phân tích bằng phần mềm Excel, SPSS. Nhƣng đối với dữ liệu thu đƣợc từ câu hỏi mở thƣờng bị bỏ qua, chỉ đọc để biết, không đƣợc phân tích cụ thể. Trong khi đó những ý kiến thu đƣợc từ câu hỏi mở chính là tâm tƣ, nguyện vọng, tình cảm, quan điểm…của sinh viên gửi cho Phân hiệu, việc phân tích nguồn dữ liệu này rất cần thiết giúp cho Phân hiệu hiểu rõ khía cạnh mà sinh viên quan tâm và cảm xúc của sinh viên đối với khía cạnh đó.

Các ý kiến phản hồi cho câu hỏi mở thƣờng là văn bản cho nên việc phân tích theo cách thủ công sẽ gặp rất nhiều khó khăn, mất rất nhiều thời gian, kinh phí và nhân lực, cho nên Phân hiệu cần phải có một phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lƣợng đào tạo cho nguồn dữ liệu thu thập đƣợc từ các câu hỏi mở. Phần mềm sẽ thay cho con ngƣời thực hiện công việc phân tích ý kiến phản hồi của sinh viên theo các khía cạnh và trạng thái cảm xúc khác nhau. Bằng cách sử dụng phần mềm việc phân tích sẽ trở nên dễ dàng hơn, giảm thời gian phân tích, giảm nguồn nhân lực thực hiện, và điều quan trọng là phần mềm đƣa ra kết quả phân tích chính xác và có độ đồng nhất cao. Từ kết quả phân tích của phần mềm giảng viên, lãnh đạo Phân hiệu thấy đƣợc bức tranh tổng thể về các khía cạnh và cảm xúc của sinh viên đối với khía cạnh đó để từ 7 đó đƣa ra những giải pháp kịp tời nhầm nâng cao chất lƣợng đào tạo tại Phân hiệu.

Với sự phát triển của các mô hình máy học và học sâu, việc áp dụng các công nghệ trí tuệ nhân tạo vào giải quyết các vấn đề thực tế đã đƣợc nghiên cứu [7] [13] [16] [18]. Tuy nhiên vấn đề của các mô hình này là chúng ta sẽ phải xây dựng các bộ dữ liệu đã đƣợc gán nhãn và lựa chọn đƣợc mô hình phù hợp với dữ liệu để nâng cao hiệu suất của mô hình. Theo tìm hiểu của nhóm nghiên cứu, hiện nay đã có bộ dữ liệu về ý kiến phản hồi của sinh viên nhƣng chƣa có bộ dữ liệu ý kiến phản hồi của sinh viên theo khía cạnh trong miền dữ liệu giáo dục dành cho tiếng Việt. Đồng thời, tại Phân hiệu hiện nay chƣa có phần mềm phân tích tự động ý kiến phản hồi của sinh viên theo khía cạnh đối với nguồn dữ liệu thu đƣợc từ câu hỏi mở cho nên nhóm nghiên cứu chọn đề tài “Xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo ở Phân hiệu trường Đại học Nội vụ Hà Nội tại Thành phố Hồ Chí Minh” để thực hiện.

Mục tiêu của đề tài - Xây dựng bộ dữ liệu gồm có 4.000 ý kiến phản hồi sinh viên theo khía cạnh (tiếng Việt). - Nghiên cứu các phƣơng pháp máy học, học sâu để giải quyết bài toán Phân tích tự động ý kiến phản hồi của sinh viên. - Xây dựng bản demo phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lƣợng đào tạo tại Phân hiệu TP.