Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Trong bối cảnh chuyển đổi số giáo dục và sự phổ biến của mô hình học tập kết hợp (blended learning) sau đại dịch COVID-19, các hệ thống quản lý học tập (LMS) đã tạo ra nguồn dữ liệu dạy và học phong phú. Tuy nhiên, việc thiếu các công cụ phát hiện mức độ tương tác dẫn đến lo ngại về tỷ lệ sao lãng, giảm hiệu suất và nguy cơ bỏ học của người học. Phương pháp đánh giá truyền thống thông qua phỏng vấn trực tiếp hoặc tự báo cáo (self-reporting) mang tính thủ công, tiêu tốn nhiều thời gian, công sức, thiếu khách quan và không thể áp dụng cho quy mô lớp học lớn.

Các nghiên cứu ứng dụng thị giác máy tính tự động nhận dạng hành vi và cảm xúc đã đạt được những kết quả ban đầu trong phòng thí nghiệm nhưng bộc lộ ba khoảng trống nghiên cứu chính khi triển khai vào thực tế:

  1. Việc theo dõi trạng thái mắt ở các công trình trước thường áp dụng một ngưỡng cố định, không thích ứng với sự khác biệt về kích thước mắt (mắt to, mắt nhỏ) giữa các cá nhân.
  2. Các tập dữ liệu huấn luyện chuẩn về biểu cảm khuôn mặt (như FERC-2013) chỉ cung cấp 7 cảm xúc cơ bản đơn lẻ, trong khi cảm xúc của người học trong bối cảnh lớp học thường đan xen phức tạp (cảm xúc hỗn hợp), gây thiếu hụt dữ liệu huấn luyện cho mô hình.
  3. Thiếu quy trình đánh giá xuyên suốt toàn bộ quá trình học tập; việc chỉ quan sát ở một thời điểm cục bộ dễ dẫn đến đánh giá sai lệch do trạng thái tập trung và mất tập trung luôn thay đổi liên tục.

Mục tiêu nghiên cứu

Luận án xác định 3 mục tiêu cụ thể:

  1. Đưa ra phương pháp đánh giá mức độ tham gia của người học dựa trên hành vi đóng/mở của mắt theo một quy trình phân tích xuyên suốt cả quá trình học tập, tính toán tỷ lệ của từng trạng thái so với toàn bộ thời lượng.
  2. Cải tiến kỹ thuật phát hiện trạng thái đóng/mở của mắt với ngưỡng được xác định linh hoạt, tự động thích ứng với từng cá nhân.
  3. Đề xuất kỹ thuật phân rã biểu cảm thành phần cơ bản trên khuôn mặt nhằm giải quyết sự khan hiếm dữ liệu huấn luyện về cảm xúc hỗn hợp của người học.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các kỹ thuật xử lý ảnh và video phục vụ phát hiện, trích xuất đặc trưng khuôn mặt; các phương pháp đánh giá sự tham gia dựa trên trạng thái mắt và biểu hiện cảm xúc khuôn mặt.
  • Phạm vi nghiên cứu: Ứng dụng nền tảng thị giác máy tính để phân tích dữ liệu video thu nhận từ camera thông thường trong lớp học truyền thống hoặc qua các phần mềm học trực tuyến (Microsoft Teams, Google Meet, Zoom), tập trung vào góc nhìn khuôn mặt hướng thẳng.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Theo phân loại của các công trình tổng quan, các phương pháp đánh giá sự tham gia của người học được chia thành 3 nhóm chính:

  • Phương pháp thủ công: Sử dụng bảng hỏi khảo sát và tự báo cáo. Dù dễ thực hiện nhưng phương pháp này phụ thuộc vào tính trung thực của người học và khó mở rộng quy mô.
  • Phương pháp bán tự động: Đánh giá thông qua việc phân tích phản hồi bài kiểm tra kiến thức trong các hệ thống dạy kèm thông minh (ITS), ít phổ biến trong học trực tuyến thông thường.
  • Phương pháp tự động: Gồm phân tích tín hiệu cảm biến sinh lý/thần kinh (EEG, ECG, cảm biến hoạt động điện da) và phương pháp thị giác máy tính. Hướng tiếp cận thị giác máy tính được ưu tiên nhờ tính tiện lợi, chi phí thấp và không gây gián đoạn hoạt động của người học.
Tác giả & Năm Phương pháp / Mô hình Dữ liệu / Đầu vào Độ chính xác / Kết quả Hạn chế ghi nhận
Peng và cộng sự [53] SVM, Random Forest (RF) Khuôn mặt, nhịp tim, thính giác qua Apple Watch, AirPods Phát hiện 4 trạng thái: chán nản, thất vọng, tập trung, bối rối Yêu cầu thiết bị đeo đắt tiền, khó triển khai quy mô lớn
Pieter Vanneste và cộng sự [32] Học sâu (Deep Learning) Hành vi giơ tay và ghi chép trong lớp học Recall 63%, Precision 45% Chỉ xem xét hành vi cử động, bỏ qua cảm xúc và trạng thái mắt
Luo và cộng sự [52] Mô hình 3D, Random Forest Tư thế đầu, nét mặt và thiết bị thông minh Độ chính xác phân loại 87,5% Chi phí thiết bị cao, chỉ dùng cảm xúc đơn lẻ
Zheng và cộng sự [5] R-CNN cải tiến Hành vi giơ tay, đứng, ngủ trong lớp học Độ chính xác 57,6% Không phân tích tín hiệu cảm xúc học thuật
Ashwin và Guddeti [51] Mạng tích chập (CNN) Cử chỉ tay và tư thế hình thể Độ chính xác 71% trên 4 mức tương tác Thời gian xử lý 2153 ms/khung hình, không đáp ứng thời gian thực
Soloviev [15] Cây quyết định (Decision Tree) Tư thế đầu, nét mặt Phân loại tham gia / không tham gia Chưa được thực nghiệm kiểm chứng trong môi trường lớp học thực tế
Zaletelj và Kosir [55] Cây quyết định, k-NN Đặc trưng 2D/3D từ máy ảnh Kinect One Độ chính xác 75,3% Giới hạn tầm nhìn ngắn của Kinect, chỉ phân tích tối đa 6 đối tượng
Klein và cộng sự [56] Học chuyển giao với AlexNet Hành động, tư thế phổ biến trong lớp học Phân loại quan tâm / không quan tâm Dùng tập dữ liệu tự xây dựng, bỏ qua trạng thái mắt và cảm xúc
Thomas và cộng sự [57] SVM Ánh mắt, tư thế đầu, nét mặt Phân loại tương tác / không tương tác Cỡ mẫu lớp học nhỏ, không hỗ trợ theo dõi thời gian thực
Whitehill và cộng sự [58] SVM kết hợp đặc trưng Gabor Biểu hiện khuôn mặt và hành vi AUC đạt 0,729 Khả năng phân loại phụ thuộc nhiều vào điều kiện ánh sáng
Moncaresi và cộng sự [59] Công cụ học máy WEKA Đặc trưng khuôn mặt và nhịp tim Phân loại tương tác / không tương tác Cần thiết bị đo nhịp tim, tốn kém chi phí triển khai
Gupta và cộng sự [60] Mô hình CNN cổ điển Bộ dữ liệu video đa nhãn DAiSEE Phân loại 4 trạng thái cảm xúc theo 4 cấp độ Nghiên cứu tập trung xây dựng dữ liệu, chưa hoàn thiện giải thuật tối ưu
Bosch và cộng sự [61] SVM, Cây quyết định Nét mặt, chuyển động cơ thể trong trò chơi AUC: buồn chán (0,61), bối rối (0,65), thích thú (0,87), tham gia (0,68), thất vọng (0,63) Dữ liệu gắn liền với giao diện trò chơi, khó tổng quát hóa
Krithika và cộng sự [62] Phân tích nét mặt và cử động Phấn khích, buồn chán, ngáp, buồn ngủ, cử động đầu/mắt Dự đoán mức độ tập trung thời gian thực Chỉ thử nghiệm trên 05 đối tượng
Sharma và cộng sự [19] Viola & Jones, CNN Mini-Xception Chuyển động đầu, vùng mắt và biểu cảm khuôn mặt Trọng số hóa mức độ tương tác Đánh giá trên 15 sinh viên với video bài giảng ngắn (~2 phút)
Nezami và cộng sự [63] Mạng mô phỏng VGG-B Biểu cảm khuôn mặt trên FERC-2013 Định lượng tương tác theo hành vi và cảm xúc Chỉ nhận dạng 7 cảm xúc cơ bản, chưa xử lý cảm xúc hỗn hợp
Ayat và cộng sự [18] Kết hợp tư thế xoay đầu và trạng thái mắt Video webcam lớp học trực tuyến Đánh giá qua 10 video (5 đối tượng) Sử dụng ngưỡng cố định cho mắt, không phù hợp cho đa đối tượng

Khoảng trống luận án giải quyết

Luận án định vị trọng tâm vào việc khắc phục các hạn chế của phương pháp thị giác máy tính: loại bỏ nhu cầu thiết bị vật lý đắt tiền, thay thế ngưỡng nhận dạng mắt cố định bằng ngưỡng động, mở rộng nhận dạng cảm xúc từ đơn lẻ sang phân rã cảm xúc hỗn hợp và thiết lập quy trình tính toán tập trung xuyên suốt thời lượng buổi học.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  • Hệ thống mã hóa hành động trên khuôn mặt (FACS): Được phát triển bởi Ekman và Friesen [39], FACS mã hóa 64 đơn vị hành động (Action Units - AU) tương ứng với sự co giãn của từng nhóm cơ mặt. Cường độ của mỗi AU được phân cấp từ A (yếu nhất) đến E (tối đa). Mối liên hệ giữa các AU và các cảm xúc cơ bản được thể hiện như sau:
Cảm xúc Đơn vị hành động (AU) Đặc trưng biến dạng cơ mặt
Vui AU12, AU25 Kéo khóe môi, tách môi trên và dưới
Buồn AU1, AU4, AU15 Nhướn mày trong, hạ lông mày, nén khóe môi
Sợ hãi AU1, AU2, AU4, AU5, AU20, AU25, AU26 Nhướn mày, hạ mày, nhướn mi trên, kéo căng môi, tách môi, hạ hàm
Ghê tởm AU15 Nén khóe môi
Ngạc nhiên AU1, AU2, AU5, AU25, AU26 Nhướn mày trong/ngoài, nhướn mi trên, tách môi, hạ hàm
Giận dữ AU4, AU5, AU7 Hạ lông mày, nhướn mi trên, căng mí mắt
  • Mô hình ngoại quan tích cực (Active Appearance Model - AAM): Sử dụng phân tích thành phần chính (PCA) để mô hình hóa đồng thời đối tượng hình dạng ($b_s$) thông qua tọa độ các điểm điều khiển và kết cấu hình ảnh ($b_g$) qua cường độ pixel: $$\begin{pmatrix} W_s b_s \ b_g \end{pmatrix} = \begin{pmatrix} W_s P_s^T (x - \bar{x}) \ P_g^T (g - \bar{g}) \end{pmatrix}$$ Trong đó, $W_s$ là ma trận trọng số hình dạng, $P_s$ và $P_g$ là các ma trận trực giao từ PCA.
  • Kỹ thuật trích chọn đặc trưng:
    • Mẫu nhị phân cục bộ (Local Binary Pattern - LBP): Phân tích mối quan hệ cường độ giữa pixel trung tâm và 8 pixel lân cận. Bản cải tiến LBP tròn bổ sung tham số bán kính ($r$) và số lượng điểm lấy mẫu ($n$) kết hợp phép nội suy song tuyến tính giúp bất biến với tỷ lệ.
    • Bộ lọc Gabor: Phân tích đa hướng và đa độ phân giải trên miền tần số không gian.
    • Đặc trưng Haar-like: Trích xuất các vùng sáng tối phục vụ phát hiện khuôn mặt.

Phương pháp và công cụ thực nghiệm

  1. Tiền xử lý ảnh: Áp dụng bộ lọc Sigma để làm mịn ảnh mà không làm mờ thông tin cạnh; sử dụng cân bằng biểu đồ thích ứng có giới hạn tương phản (CLAHE) để chuẩn hóa độ sáng cục bộ; thực hiện tăng cường dữ liệu (Data Augmentation) bằng các phép biến đổi hình học (xoay, lật, co giãn) nhằm giảm hiện tượng quá khớp (overfitting).
  2. Phát hiện khuôn mặt: Sử dụng mô hình cây quyết định kết hợp thuật toán GentleBoost theo nghiên cứu [22], ưu tiên phát hiện các khuôn mặt có hướng nhìn thẳng về phía trước (phù hợp với người ngồi học hoặc người lái xe).
  3. Phát hiện dấu mốc mắt: Sử dụng mô hình nhận diện 68 điểm đặc trưng khuôn mặt (Facial Landmarks) tiền huấn luyện từ thư viện Dlib [24].
  4. Nhận dạng biểu cảm: Tinh chỉnh mô hình mạng nơ-ron tích chập VGGNet giảm số lớp [17] để xử lý hình ảnh đầu vào có độ phân giải thấp, phù hợp với luồng video thực tế từ các phần mềm học trực tuyến.

Nguồn dữ liệu sử dụng

  • Dữ liệu biểu cảm khuôn mặt: Tập FERC-2013 (chứa 7 lớp cảm xúc cơ bản: giận dữ, ghê tởm, sợ hãi, vui, buồn, ngạc nhiên, trung lập) và tập JAFFE (biểu cảm khuôn mặt phụ nữ Nhật Bản).
  • Dữ liệu phát hiện trạng thái mắt: Các tập dữ liệu chuẩn Talking Face, Eyeblink8, HUST_LEBW và ZJU.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương 1 thiết lập bối cảnh nghiên cứu về xu thế chuyển đổi số trong giáo dục và sự gia tăng của hình thức học trực tuyến. Tác giả phân tích tính cấp thiết của việc theo dõi sự tập trung của người học đối với công tác quản lý đào tạo và cải tiến phương pháp giảng dạy của giáo viên. Chương này trình bày chi tiết phát biểu vấn đề, các thách thức trong môi trường thực tế, xác định 3 mục tiêu nghiên cứu, đối tượng, phạm vi, phương pháp luận và cấu trúc 5 chương của luận án.

Chương 2: Tổng quan về đánh giá sự tập trung của người học và bài toán nhận dạng biểu cảm khuôn mặt

Chương 2 hệ thống hóa cơ sở lý luận về khái niệm sự tập trung trong tâm lý học và giáo dục học, phân rã sự tập trung thành 3 thành phần: hành vi, nhận thức và cảm xúc. Tác giả phân tích chi tiết các hệ thống đánh giá hiện có (thủ công, bán tự động, tự động qua cảm biến và thị giác máy tính) và tổng hợp ưu nhược điểm của các công trình liên quan. Đồng thời, chương trình bày chi tiết các lý thuyết nền tảng về hệ mã hóa FACS, các kỹ thuật tiền xử lý ảnh số (lọc Sigma, Wiener, Gaussian, CLAHE), các phương pháp trích chọn đặc trưng (LBP, LBP tròn, AAM, Gabor, Haar-like), thuật toán GentleBoost và giới thiệu các tập dữ liệu FERC-2013, JAFFE, Eyeblink8, Talking Face, HUST_LEBW, ZJU.

Chương 3: Nhận dạng biểu cảm thành phần khuôn mặt

Chương 3 tập trung vào bài toán đánh giá sự tập trung dựa trên biểu cảm khuôn mặt. Tác giả xây dựng kiến trúc mạng nơ-ron dựa trên mô hình VGGNet rút gọn phù hợp với dữ liệu độ phân giải thấp từ FERC-2013. Để giải quyết hạn chế thiếu hụt dữ liệu về cảm xúc hỗn hợp trong học tập, tác giả đề xuất kỹ thuật phân rã biểu cảm thành các thành phần cơ bản:

  • Xây dựng mô hình biểu diễn hình học 3D của khuôn mặt từ các tập dữ liệu.
  • Phát triển thuật toán phân rã các biến dạng phức tạp trên khuôn mặt thành tổ hợp tuyến tính của các cử động cơ bản tương ứng với các AU trong FACS.
  • Kết quả thực nghiệm cho thấy việc phân rã giúp xác định rõ các trạng thái cảm xúc đan xen, cải thiện độ chính xác cho mô hình đánh giá sự tập trung khi học tập.

Chương 4: Nhận dạng biểu cảm hành vi khuôn mặt

Chương 4 trình bày kỹ thuật đánh giá sự tập trung dựa trên hành vi của mắt:

  • Phát hiện mắt: Rút trích vùng mắt từ 68 điểm đặc trưng khuôn mặt của Dlib.
  • Kỹ thuật cải tiến phát hiện trạng thái đóng/mở mắt: Thay vì sử dụng ngưỡng cố định tỷ lệ khung hình mắt (Eye Aspect Ratio - EAR), tác giả cải tiến giải thuật bằng cách theo dõi biến thiên tỷ lệ giữa chiều cao và chiều rộng của khung hình chữ nhật bao quanh mắt theo thời gian thực. Ngưỡng phân loại đóng/mở được tính toán tự động thích ứng với cấu trúc mắt của từng người học.
  • Quy trình và mô hình ước lượng: Thiết lập mô hình ước lượng mức độ buồn ngủ dựa trên thời gian mắt nhắm liên tục và tần suất chớp mắt. Hệ thống ghi nhận trạng thái tại từng thời điểm riêng lẻ, sau đó tổng hợp theo chuỗi thời gian để tính tỷ lệ phần trăm các mức độ tập trung trên toàn bộ buổi học.
  • Đánh giá thực nghiệm: Kỹ thuật cải tiến được kiểm chứng trên 4 tập dữ liệu Talking Face, Eyeblink8, HUST_LEBW, ZJU và so sánh đối sánh với các công trình công bố trước đây ([16], [115], [116]), chứng minh hiệu quả phân loại trạng thái mắt và phân tích độ phức tạp thuật toán đáp ứng yêu cầu xử lý thời gian thực.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết các kết quả đạt được tương ứng với 3 đóng góp chính của luận án, khẳng định tính khả thi của các thuật toán đề xuất và nêu ra các định hướng nghiên cứu mở rộng trong tương lai.

Kết quả và những đóng góp mới

Các đóng góp mới của luận án

  1. Đề xuất kỹ thuật phân rã biểu cảm thành phần cơ bản trên khuôn mặt: Giải quyết vấn đề khan hiếm dữ liệu huấn luyện về cảm xúc hỗn hợp trong giáo dục. Kỹ thuật này phân tách các biểu cảm phức tạp thành các thành phần cơ bản dựa trên hệ thống FACS, hỗ trợ mô hình nhận dạng nhận biết chi tiết trạng thái tâm lý của người học (công bố tại công trình [28]).
  2. Xây dựng quy trình và thang đo đánh giá sự tập trung theo chuỗi thời gian: Thiết lập quy trình đánh giá sự tập trung dựa trên hành vi đóng/mở mắt và mức độ buồn ngủ được phân tích xuyên suốt toàn bộ quá trình học tập. Kỹ thuật tổng hợp dữ liệu từ từng thời điểm đơn lẻ để tính tỷ lệ phần trăm mức độ tập trung của cả buổi học, tránh hiện tượng kết luận sai lệch từ một vài khoảnh khắc ngẫu nhiên (công bố tại công trình [29]).
  3. Cải tiến kỹ thuật phát hiện trạng thái đóng/mở mắt với ngưỡng động: Giải quyết triệt để hạn chế của các phương pháp dùng ngưỡng cố định bằng cách phát hiện biến thiên tỷ lệ khung hình chữ nhật chứa mắt. Thuật toán tự động hiệu chỉnh ngưỡng thích ứng cho từng đối tượng nghiên cứu, nâng cao độ chính xác nhận dạng trên các bộ dữ liệu chuẩn (công bố tại công trình [25]).

Kiến nghị và giải pháp ứng dụng

  • Tích hợp mô-đun phân tích thị giác máy tính vào các hệ thống LMS hoặc phần mềm học trực tuyến nhằm cung cấp báo cáo định kỳ về mức độ tập trung của người học cho giáo viên.
  • Sử dụng kết quả đánh giá tập trung để giúp nhà quản lý giáo dục đánh giá mức độ tiếp thu, từ đó điều chỉnh phân bổ thời lượng bài giảng, khối lượng kiến thức và phương pháp sư phạm phù hợp.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Thuật toán phát hiện khuôn mặt và mắt hoạt động tối ưu nhất khi người học ngồi đối diện trực diện camera; độ chính xác có thể bị ảnh hưởng khi góc xoay đầu quá lớn hoặc bị che khuất một phần.
  • Quá trình thực nghiệm nhận dạng cảm xúc vẫn phụ thuộc vào việc tiền huấn luyện trên các tập dữ liệu ảnh tĩnh (FERC-2013) có độ phân giải thấp.
  • Chưa kết hợp đồng thời đầy đủ tất cả các kênh tín hiệu hành vi (như tư thế ngồi, cử chỉ tay) trong một mô hình hợp nhất hoàn chỉnh.

Hướng nghiên cứu tiếp

  • Mở rộng tập dữ liệu cảm xúc chuyên biệt trong môi trường học thuật, bổ sung các trạng thái cảm xúc học tập phức tạp.
  • Kết hợp đa phương thức: tích hợp đồng thời trạng thái mắt, biểu cảm khuôn mặt, tư thế đầu và cử chỉ cơ thể trong điều kiện ánh sáng thay đổi.
  • Tối ưu hóa hiệu năng tính toán để triển khai trên các thiết bị biên (edge devices) hoặc máy tính cá nhân cấu hình phổ thông.

Giá trị tham khảo

Đối tượng thụ hưởng

  • Nghiên cứu sinh, học viên cao học ngành Khoa học máy tính, Công nghệ thông tin: Tham khảo phương pháp nghiên cứu trong lĩnh vực thị giác máy tính, xử lý ảnh khuôn mặt và nhận dạng mẫu.
  • Giảng viên và nhà quản lý giáo dục: Tham khảo các chỉ số hành vi (trạng thái mắt, biểu cảm) để hiểu rõ hơn về mức độ tương tác của sinh viên trong các khóa học trực tuyến.
  • Kỹ sư phát triển phần mềm giáo dục (EdTech): Ứng dụng giải thuật phát hiện đóng/mở mắt ngưỡng động và quy trình ước lượng mức độ buồn ngủ vào các hệ thống giám sát học tập tự động.

Phần nội dung đáng tham khảo

  • Bảng tổng hợp chi tiết các đơn vị hành động FACS (Phụ lục 1 và Chương 2).
  • Thuật toán xác định ngưỡng động dựa trên biến thiên tỷ lệ khung hình chữ nhật chứa mắt (Chương 4).
  • Giải thuật phân rã biểu cảm thành phần cơ bản từ mô hình 3D (Chương 3).

Câu hỏi thường gặp

1. Luận án giải quyết hạn chế của việc dùng ngưỡng cố định khi phát hiện trạng thái đóng/mở mắt như thế nào?

Luận án đề xuất kỹ thuật phát hiện trạng thái mắt dựa trên biến thiên tỷ lệ giữa chiều cao và chiều rộng của khung hình chữ nhật bao quanh mắt (EAR cải tiến). Thay vì gán một giá trị số cố định cho mọi người, thuật toán tự động tính toán và điều chỉnh ngưỡng linh hoạt theo đặc điểm giải phẫu mắt riêng biệt của từng cá nhân (mắt to, mắt nhỏ, mí mắt), nâng cao độ chính xác khi phân loại.

2. Kỹ thuật phân rã biểu cảm thành phần cơ bản đóng vai trò gì trong luận án?

Trong thực tế học tập, người học thường thể hiện các cảm xúc hỗn hợp (đan xen giữa bối rối, thích thú, mệt mỏi), trong khi dữ liệu huấn luyện phổ biến như FERC-2013 chỉ có 7 cảm xúc cơ bản đơn lẻ. Kỹ thuật phân rã biểu cảm cho phép tách các biến dạng phức tạp trên khuôn mặt thành các đơn vị hành động cơ bản (AU), giúp mô hình hiểu sâu hơn về cấu trúc cảm xúc và giải quyết tình trạng thiếu hụt dữ liệu huấn luyện cảm xúc hỗn hợp.

3. Vì sao luận án lựa chọn mạng VGGNet rút gọn thay vì các mô hình mạng học sâu khác như ResNet hay Inception_v4?

Các mô hình như ResNet hay Inception_v4 đòi hỏi kích thước ảnh đầu vào cố định và độ phân giải cao (tối thiểu $224 \times 224 \times 3$) cùng tập dữ liệu rất lớn. Trong khi đó, video thu nhận từ các lớp học trực tuyến qua webcam hoặc các phần mềm như Zoom, Teams thường có độ phân giải thấp và tập dữ liệu chuẩn FERC-2013 cũng có kích thước ảnh nhỏ. Việc giảm số lớp của VGGNet giúp giảm chi phí tính toán, tránh quá khớp và phù hợp với chất lượng ảnh thực tế.

4. Quy trình đánh giá mức độ tập trung của người học được thực hiện như thế nào?

Quy trình không đưa ra kết luận tức thời tại một thời điểm đơn lẻ. Thay vào đó, hệ thống trích xuất trạng thái mắt và biểu cảm theo từng khung hình liên tục, tính toán thời gian mắt nhắm để suy diễn mức độ buồn ngủ theo các luật định trước, sau đó tổng hợp toàn bộ dữ liệu để tính tỷ lệ thời gian người học ở từng trạng thái tập trung trong suốt cả buổi học.

5. Thuật toán GentleBoost được sử dụng cho mục đích gì trong luận án?

GentleBoost được sử dụng kết hợp với mô hình cây quyết định để phát hiện khuôn mặt người trong ảnh theo phương pháp của nghiên cứu [22]. Kỹ thuật này được lựa chọn vì có khả năng nhận diện khuôn mặt ở tư thế hướng thẳng về phía trước tương tự như tư thế người lái xe, phù hợp với yêu cầu người học phải hướng về phía màn hình hoặc bục giảng.

Kết luận

Luận án của nghiên cứu sinh Trần Thanh Phương đã giải quyết bài toán đánh giá sự tập trung của người học thông qua nền tảng thị giác máy tính với 3 đóng góp cụ thể: kỹ thuật phân rã biểu cảm thành phần cơ bản, kỹ thuật phát hiện đóng/mở mắt bằng ngưỡng động và quy trình đánh giá sự tập trung theo chuỗi thời gian. Các phương pháp đề xuất đã được kiểm chứng thực nghiệm trên các tập dữ liệu chuẩn FERC-2013, JAFFE, Talking Face, Eyeblink8, HUST_LEBW, ZJU và công bố trên các tạp chí, kỷ yếu hội nghị chuyên ngành. Kết quả nghiên cứu cung cấp cơ sở kỹ thuật hỗ trợ xây dựng các hệ thống giám sát học tập tự động trong môi trường giáo dục trực tuyến và trực tiếp.