Bối cảnh và vấn đề nghiên cứu

Đề tài "Xây dựng và đánh giá hiệu suất mô hình học tập thông qua trò chơi giáo dục" (dựa trên bài toán "Predict Student Performance from Game Play") được thực hiện bởi nhóm sinh viên ngành Kỹ thuật Dữ liệu, Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh. Nghiên cứu đặt trong bối cảnh ứng dụng trí tuệ nhân tạo và học máy vào lĩnh vực giáo dục (Educational Data Mining), nhằm khai thác dữ liệu hành vi của học sinh trong các trò chơi giáo dục để dự đoán hiệu suất học tập theo thời gian thực và hỗ trợ cá nhân hóa quá trình đào tạo.

Mục tiêu nghiên cứu của đề tài được xác định qua 4 nội dung cụ thể:

  1. Phân tích yếu tố ảnh hưởng: Xác định các chỉ số, thông số và hoạt động tương tác trong trò chơi giáo dục có liên quan đến hiệu suất học tập của người học.
  2. Xây dựng mô hình dự đoán: Ứng dụng các kỹ thuật học máy và học tăng cường/học kết hợp để xây dựng mô hình dự đoán khả năng trả lời đúng các câu hỏi của học sinh.
  3. Đánh giá độ chính xác và hiệu quả: Kiểm thử mô hình trên tập dữ liệu thực tế bằng các phương pháp kiểm định chéo và chỉ số đánh giá chuyên biệt nhằm xác định năng lực phân loại.
  4. Ứng dụng trong giáo dục và cải thiện quá trình học tập: Đề xuất giải pháp cung cấp thông tin phản hồi cho giáo viên và người học, hỗ trợ tối ưu hóa phương pháp giảng dạy và cá nhân hóa lộ trình học.

Nhiệm vụ nghiên cứu tập trung giải quyết hai câu hỏi chính:

  • Liệu có thể dự đoán chính xác hiệu suất học tập của học sinh dựa trên dữ liệu nhật ký sự kiện tương tác từ trò chơi giáo dục hay không?
  • Những nhóm yếu tố nào trong hành vi chơi game (thời gian, sự kiện nhấp chuột, không gian phòng, di chuyển màn hình) có tác động trọng yếu đến kết quả trả lời câu hỏi của học sinh?

Đối tượng nghiên cứu là chuỗi sự kiện tương tác (event logs) của học sinh khi tham gia trò chơi giáo dục trực tuyến. Phạm vi nghiên cứu được giới hạn trong bộ dữ liệu của cuộc thi "Predict Student Performance from Game Play" do Kaggle tổ chức từ ngày 26/02/2023 đến 28/06/2023, trùng với học kỳ II năm học 2022–2023 của nhóm thực hiện.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của khóa luận dựa trên nền tảng học máy (Machine Learning), phân tích dữ liệu khám phá (Exploratory Data Analysis - EDA) và kỹ thuật học kết hợp (Ensemble Learning). Các mô hình và khái niệm chính bao gồm:

  • Phân loại học máy: Học có giám sát (Supervised Learning), học không giám sát (Unsupervised Learning), học bán giám sát (Semi-supervised Learning) và học tăng cường (Reinforcement Learning).
  • Kỹ thuật Ensemble Learning: Phương pháp Bagging (Bootstrap Aggregating) với kỹ thuật lấy mẫu Bootstrap Sampling; phương pháp Boosting bao gồm Adaptive Boosting (AdaBoost), Gradient Boosting, eXtreme Gradient Boosting (XGBoost), Categorical Boosting (CatBoost) và Light Gradient Boosting Machine (LightGBM); cùng thuật toán Random Forest.

Phương pháp nghiên cứu thực tế bao gồm quy trình thực nghiệm dữ liệu lớn:

  • Phân tích khám phá dữ liệu (EDA): Sử dụng phân tích mô tả, kiểm định phân phối, phân tích độ tương quan, trực quan hóa và phát hiện giá trị ngoại lai.
  • Kỹ thuật tiền xử lý và tạo đặc trưng (Feature Engineering): Trích xuất các biến số thời gian (elapsed time), biến không gian tọa độ (room coordinates, screen coordinates), hành vi di chuột (hover duration) và thông tin văn bản/phòng (fqid, room_fqid, text_fqid).
  • Chiến lược xử lý giới hạn phần cứng: Chia tập dữ liệu huấn luyện thành 10 phần độc lập để xử lý tuần tự nhằm khắc phục giới hạn 8GB RAM trong môi trường thực thi của cuộc thi Kaggle sau khi dữ liệu bị nhân đôi kích thước.
  • Phương pháp đánh giá: Sử dụng phương pháp kiểm định chéo phân nhóm Group K-Fold Cross-Validation với $k = 5$ folds (phân nhóm theo session_id để tránh rò rỉ dữ liệu giữa các phiên chơi của cùng một đối tượng). Độ đo chính được sử dụng là F1-Score kết hợp thuật toán dò tìm ngưỡng phân loại tối ưu (Threshold Tuning).

Nguồn dữ liệu thực nghiệm gồm các tệp dữ liệu từ cuộc thi Kaggle: train.csv, test.csv, sample_submission.csv và train_labels.csv. Bộ dữ liệu ghi nhận 18 câu hỏi cho mỗi phiên chơi (session_id), phân bổ theo 3 nhóm cấp độ (level_group): Cấp độ 0–4 (câu 1–3), Cấp độ 5–12 (câu 4–13/11) và Cấp độ 13–22 (câu 14–18).

Tên trường dữ liệu Kiểu dữ liệu / Đơn vị Mô tả chi tiết
session_id Định danh ID của phiên chơi mà sự kiện diễn ra
index Số nguyên Chỉ mục thứ tự của sự kiện trong phiên
elapsed_time Mili-giây (ms) Thời gian trôi qua từ lúc bắt đầu phiên đến khi sự kiện được ghi lại
event_name Phân loại Tên của loại sự kiện diễn ra
name Phân loại Tên chi tiết của sự kiện
level Số nguyên (0–22) Cấp độ trò chơi tại thời điểm diễn ra sự kiện
page Số thực / Số nguyên Số trang tài liệu ghi nhận (đối với sự kiện NoteBook)
room_coor_x, room_coor_y Tọa độ điểm Tọa độ nhấp chuột tương đối theo phòng trong trò chơi
screen_coor_x, screen_coor_y Tọa độ điểm Tọa độ nhấp chuột tương đối trên màn hình người chơi
hover_duration Mili-giây (ms) Thời gian giữ chuột khi xảy ra sự kiện hover
text Văn bản Đoạn văn bản hiển thị cho người chơi trong sự kiện
fqid Định danh ID đầy đủ của sự kiện
room_fqid Định danh ID đầy đủ của phòng diễn ra sự kiện
text_fqid Định danh ID đầy đủ của văn bản xuất hiện
fullscreen Nhị phân (0/1) Trạng thái hiển thị toàn màn hình
hq Nhị phân (0/1) Trạng thái chất lượng đồ họa cao
music Nhị phân (0/1) Trạng thái bật/tắt âm nhạc
level_group Phân loại Nhóm cấp độ liên quan đến câu hỏi (0-4, 5-12, 13-22)

Nội dung chính theo từng chương

1 Phần mở đầu

Chương này trình bày lý do chọn đề tài, tính cấp thiết của việc áp dụng mô hình trí tuệ nhân tạo vào khai phá dữ liệu giáo dục nhằm cá nhân hóa quy trình học tập. Tác giả nêu rõ 4 mục tiêu nghiên cứu và thiết lập quy trình tiếp cận 5 bước: (1) Thu thập dữ liệu, (2) Phân tích dữ liệu, (3) Xây dựng mô hình dự đoán, (4) Đánh giá mô hình và (5) Ứng dụng kết quả. Ngoài ra, chương mở đầu khảo sát các công trình liên quan trong các lĩnh vực giáo dục, trò chơi giáo dục, khoa học dữ liệu và công nghệ học trực tuyến.

2 Phần nội dung

Chương nội dung chiếm dung lượng lớn nhất trong khóa luận, được cấu trúc thành 5 phần chuyên môn chính:

  • 2.1 Tổng quan về Machine Learning: Hệ thống hóa các khái niệm máy học, phân biệt ranh giới giữa Trí tuệ nhân tạo (AI), Máy học (ML), Mạng nơ-ron (ANN) và Học sâu (Deep Learning). Trình bày cơ chế học thông qua quy trình quyết định, hàm lỗi và quy trình tối ưu hóa trọng số. Khái quát các phương pháp học có giám sát, không giám sát, bán giám sát, học tăng cường; phân tích các thuật toán phổ biến (Linear Regression, Logistic Regression, Decision Trees, Random Forest, Neural Networks) và các ứng dụng thực tế (Voice/Speech Recognition, Chatbot, Computer Vision, Recommendation Engines, Fraud Detection). Đồng thời, nhóm tác giả thảo luận về các thách thức đạo đức, tác động việc làm, quyền riêng tư (GDPR, CCPA), thiên vị thuật toán và trách nhiệm giải trình.
  • 2.2 Tổng quan về EDA: Nêu định nghĩa và vai trò của phân tích dữ liệu khám phá trong việc phát hiện giá trị ngoại lai, kiểm tra phân phối dữ liệu và tối ưu hóa quy trình trích chọn đặc trưng.
  • 2.3 Tổng quan về dữ liệu và phương pháp đánh giá: Giới thiệu cấu trúc bài toán của cuộc thi Kaggle "Predict Student Performance from Game Play", đặc tả chi tiết 20 thuộc tính của bộ dữ liệu nhật ký sự kiện. Định nghĩa quy trình xác thực chéo Group K-Fold (5 folds) để đảm bảo không chia tách các bản ghi của cùng một session_id sang các tập huấn luyện và kiểm tra khác nhau. Trình bày công thức tính F1-Score:

$$\text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

Thiết lập quy trình quét ngưỡng (Threshold Search) để tìm điểm cắt xác suất tối ưu hóa F1-Score cho từng câu hỏi độc lập.

  • 2.4 Tổng quan về thuật toán Ensemble Learning: Trình bày cơ sở toán học và cơ chế vận hành của Bagging, Bootstrapping và Boosting. Đi sâu phân tích thuật toán Adaptive Boosting (cập nhật trọng số mẫu dự đoán sai) và Gradient Boosting (tối ưu hóa hàm mất mát thông qua pseudo-residuals). Nêu bật các ưu thế kỹ thuật của XGBoost (tính toán song song, xử lý dữ liệu khuyết thiếu, điều chuẩn regularization) và CatBoost (cây quyết định đối xứng Symmetric Decision Trees, mã hóa đặc trưng phân loại CatBoost Encoding).
  • 2.5 Thực nghiệm thuật toán: Trình bày chi tiết giải pháp kỹ thuật giải quyết vấn đề giới hạn bộ nhớ 8GB RAM bằng cách phân chia tập train thành 10 phần. Thực hiện các bước Feature Engineering trên biến thời gian, biến câu hỏi, tọa độ phòng và các sự kiện rỗng. Tiến hành tinh chỉnh siêu tham số, huấn luyện và đánh giá 4 mô hình: XGBoost, CatBoost, LightGBM và Random Forest; xác định mối tương quan giữa Threshold và điểm F1-Score cho từng câu hỏi từ 1 đến 18.

3 Phần kết luận

Chương kết luận tổng kết toàn bộ kết quả thực nghiệm đạt được trên tập dữ liệu kiểm tra nội bộ và bảng xếp hạng Kaggle (Public/Private Leaderboard). Nhóm tác giả tổng hợp những phát hiện về sự tương tác giữa các đặc trưng hành vi trong trò chơi đối với hiệu suất làm bài của học sinh, đồng thời chỉ ra các hướng mở rộng cho các nghiên cứu tiếp theo.

Kết quả và đóng góp

Văn bản khóa luận đã ghi nhận các kết quả thực nghiệm cụ thể sau quá trình triển khai:

  • Xây dựng thành công pipeline tiền xử lý và trích xuất đặc trưng phù hợp cho dữ liệu sự kiện chuỗi thời gian lớn trong điều kiện tài nguyên giới hạn (8GB RAM).
  • Triển khai và tinh chỉnh siêu tham số hoàn chỉnh cho 4 thuật toán học kết hợp: XGBoost, CatBoost, LightGBM và Random Forest.
  • Áp dụng phương pháp tối ưu hóa ngưỡng cắt xác suất (Threshold Tuning) riêng biệt cho từng câu hỏi (từ câu 1 đến câu 18), giúp cải thiện đáng kể điểm F1-Score so với việc áp dụng ngưỡng cố định 0.5.
  • Đánh giá mô hình chuẩn xác qua kiểm định chéo Group K-Fold (5 folds), ghi nhận điểm số chi tiết cho từng phân đoạn cấp độ (câu 1–3, câu 4–11/13, câu 14–18) và thứ hạng thực tế trên Public Leaderboard cũng như Private Leaderboard của cuộc thi Kaggle.

Về mặt giải pháp và đóng góp kỹ thuật:

  • Đề xuất phương pháp xử lý dữ liệu phân đoạn (chia 10 phần) để tính toán các đặc trưng thống kê lũy kế mà không gây lỗi tràn bộ nhớ.
  • Thiết lập quy trình phân tích mối liên hệ giữa các hành vi tương tác vi mô (hover duration, tọa độ click chuột theo phòng, thời gian đọc text) và khả năng nhận thức/trả lời đúng của người học trong môi trường trò chơi giáo dục.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế gắn liền với phạm vi nghiên cứu:

  • Giới hạn phần cứng trong môi trường thi đấu Kaggle (dung lượng RAM tối đa 8GB) gây khó khăn khi dữ liệu tăng gấp đôi, buộc phải chia nhỏ dữ liệu và hạn chế khả năng thử nghiệm các mô hình học sâu quy mô lớn hơn.
  • Dữ liệu nghiên cứu bị ẩn danh và phụ thuộc vào cấu trúc sự kiện đặc thù của một trò chơi duy nhất được thiết kế trong bài toán Kaggle, chưa được kiểm thử mở rộng trên các định dạng trò chơi giáo dục khác.

Hướng phát triển tiếp theo được nhóm tác giả nêu ra:

  • Thử nghiệm các kiến trúc mạng nơ-ron sâu (Deep Neural Networks) chuyên biệt cho chuỗi thời gian và dữ liệu sự kiện tuần tự.
  • Mở rộng mô hình để tích hợp và triển khai dưới dạng dịch vụ dự đoán thời gian thực cho các nền tảng giáo dục trực tuyến ngoài đời thực.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho sinh viên, giảng viên và các nhà nghiên cứu thuộc các chuyên ngành Kỹ thuật Dữ liệu, Khoa học Dữ liệu, Công nghệ Thông tin và Công nghệ Giáo dục (EdTech).

Nội dung có giá trị tham khảo ứng dụng cao nhất bao gồm:

  • Kỹ thuật xử lý dữ liệu lớn trên phần cứng giới hạn (RAM 8GB) bằng phương pháp phân khối dữ liệu.
  • Quy trình chuẩn hóa thiết kế đặc trưng (Feature Engineering) từ dữ liệu event logs tương tác chuột, thời gian và không gian trong môi trường trò chơi.
  • Phương pháp luận đánh giá bài toán phân loại nhị phân mất cân bằng dữ liệu thông qua Group K-Fold Cross-Validation và thuật toán dò tìm ngưỡng cắt tối ưu cho F1-Score.

Câu hỏi thường gặp

1. Bộ dữ liệu của khóa luận gồm bao nhiêu câu hỏi và được phân đoạn như thế nào?

Dữ liệu của mỗi phiên chơi bao gồm 18 câu hỏi, được chia thành 3 phân đoạn cấp độ (level_group): phân đoạn cấp độ 0–4 (dự đoán câu hỏi 1 đến 3), phân đoạn cấp độ 5–12 (dự đoán câu hỏi 4 đến 13/11) và phân đoạn cấp độ 13–22 (dự đoán câu hỏi 14 đến 18).

2. Tại sao nhóm tác giả phải chia tập dữ liệu huấn luyện thành 10 phần?

Vào cuối tháng 3/2023, dữ liệu của cuộc thi Kaggle bị thay đổi và tăng gấp đôi kích thước. Do môi trường Kaggle chỉ cấp phát giới hạn 8GB RAM, việc tải toàn bộ dữ liệu vào bộ nhớ gây lỗi Memory Error, buộc nhóm phải chia nhỏ tập train thành 10 phần để xử lý trích xuất đặc trưng tuần tự.

3. Phương pháp đánh giá mô hình nào được sử dụng trong nghiên cứu?

Nghiên cứu sử dụng phương pháp kiểm định chéo Group K-Fold với số lượng 5 folds, phân nhóm dựa trên session_id để các sự kiện trong cùng một phiên chơi không bị chia tách vào cả tập train và tập validation. Chỉ số đánh giá chính là F1-Score.

4. Những mô hình học máy nào đã được nhóm tác giả huấn luyện và so sánh?

Nhóm tác giả đã thực nghiệm, tinh chỉnh siêu tham số và đánh giá 4 mô hình thuộc nhóm Ensemble Learning, bao gồm: XGBoost, CatBoost, LightGBM và Random Forest.

5. Kỹ thuật tối ưu hóa Threshold (Threshold Tuning) đóng vai trò gì trong việc cải thiện F1-Score?

Thay vì dùng ngưỡng mặc định 0.5 để quyết định nhãn đúng/sai (correct), thuật toán duyệt qua một danh sách các giá trị ngưỡng xác suất khác nhau cho từng câu hỏi riêng biệt để tìm ra điểm cắt mang lại giá trị F1-Score cao nhất trên tập kiểm tra ngoài mẫu (out-of-fold).

Kết luận

Khóa luận tốt nghiệp của nhóm tác giả tại Trường Đại học Sư phạm Kỹ thuật TP.HCM đã hoàn thành việc xây dựng và đánh giá các mô hình học máy Ensemble Learning nhằm dự đoán hiệu suất học tập của học sinh từ dữ liệu trò chơi giáo dục. Nghiên cứu đã đề xuất quy trình kỹ thuật đặc trưng và tối ưu hóa ngưỡng cắt xác suất theo F1-Score trên nền tảng kiểm định chéo Group K-Fold 5-fold, giải quyết hiệu quả bài toán xử lý dữ liệu sự kiện chuỗi thời gian lớn dưới điều kiện giới hạn bộ nhớ. Kết quả nghiên cứu cung cấp cơ sở thực nghiệm rõ ràng cho việc phát triển các hệ thống đánh giá năng lực học tập theo thời gian thực trên các nền tảng giáo dục số.