Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số giáo dục, hình thức đào tạo trực tuyến ngày càng trở nên phổ biến, mở rộng khả năng tiếp cận tri thức cho người học ở nhiều điều kiện địa lý khác nhau. Tuy nhiên, thách thức lớn nhất mà phương thức này gặp phải so với mô hình lớp học truyền thống là sự suy giảm khả năng tương tác trực tiếp và đánh giá phản hồi phi ngôn ngữ. Trong không gian lớp học trực tiếp, giảng viên có thể quan sát trực giác các biểu cảm khuôn mặt, cử chỉ, hướng nhìn và mức độ tập trung của học viên để điều chỉnh tốc độ, nội dung bài giảng một cách kịp thời. Ngược lại, trong các lớp học trực tuyến qua màn hình máy tính, việc theo dõi trạng thái tâm lý và mức độ gắn kết của từng học viên bị gián đoạn đáng kể.

Để giải quyết khoảng trống thực tiễn này, khóa luận đề xuất phát triển hệ thống dạy học trực tuyến mang tên Streamy, tích hợp các mô hình học máy (Machine Learning) và học sâu (Deep Learning) nhằm giám sát, phân tích cảm xúc và theo dõi ánh nhìn của người học theo thời gian thực.

Văn bản xác định 3 mục tiêu nghiên cứu cụ thể như sau:

  1. Phát triển hệ thống học trực tuyến dành cho giáo viên và học sinh, cho phép tương tác trực tiếp qua đàm thoại âm thanh, truyền hình ảnh camera khuôn mặt và chia sẻ màn hình máy tính theo thời gian thực với độ trễ thấp.
  2. Phát triển mô hình máy học nhận diện cảm xúc từ khuôn mặt sử dụng các kiến trúc tích chập (CNN, MTCNN, VGG-16) nhằm lượng hóa các chỉ số trạng thái biểu cảm của học sinh, làm cơ sở để giảng viên đánh giá mức độ hấp dẫn và phù hợp của tiết dạy.
  3. Phát triển mô hình máy học theo dõi tia nhìn của học sinh, tính toán các độ đo hình học liên quan đến mắt và miệng; từ đó xác định chỉ số tập trung và kết hợp với dữ liệu cảm xúc để cung cấp bức tranh phân tích toàn diện theo thời gian thực.

Đối tượng và phạm vi nghiên cứu của đề tài được giới hạn như sau:

  • Đối tượng nghiên cứu: Tín hiệu hình ảnh khuôn mặt học viên (biểu cảm khuôn mặt, điểm mốc giải phẫu mắt và miệng), luồng dữ liệu truyền thông đa phương tiện thời gian thực và các mô hình học sâu phân loại cảm xúc, độ tập trung.
  • Phạm vi nghiên cứu: Hệ thống phần mềm web nguyên mẫu phục vụ lớp học trực tuyến; xử lý luồng hình ảnh trích xuất từ webcam người dùng; thực nghiệm mô hình trên 3 bộ dữ liệu chuẩn (FER2013, KDEF, Student-Engagement) và triển khai thử nghiệm trên hạ tầng điện toán đám mây Google Cloud Platform (GCP).

Cơ sở lý thuyết và phương pháp

Khóa luận được xây dựng dựa trên nền tảng lý thuyết kết hợp giữa kỹ thuật thị giác máy tính, học sâu và công nghệ mạng truyền thông đa phương tiện thời gian thực:

  • Khung lý thuyết và mô hình học máy:

    • Mạng nơ-ron nhân tạo (ANN): Cấu trúc tính toán mô phỏng não bộ gồm lớp đầu vào (input layer), các lớp ẩn (hidden layers) và lớp đầu ra (output layer); sử dụng cơ chế truyền tiến (forward propagation), hàm tính tổng có trọng số kèm độ lệch (bias), hàm kích hoạt phi tuyến (ReLU, Sigmoid, Tanh, Hardlim) và thuật toán lan truyền ngược (backpropagation) dựa trên đạo hàm riêng (gradient descent) để cập nhật trọng số.
    • Mạng nơ-ron tích chập (CNN): Cấu trúc chuyên dụng cho xử lý ảnh thông qua các lớp tích chập (convolutional layers) dùng bộ lọc (filters) trích xuất đặc trưng không gian, các lớp gộp (pooling layers) giảm chiều dữ liệu và các lớp kết nối đầy đủ (fully connected layers) phân loại đặc trưng.
    • Mạng nơ-ron tích chập xếp tầng đa nhiệm (MTCNN): Kiến trúc 3 tầng gồm Proposal Network (P-Net, kiến trúc mạng tích chập toàn phần FCN kèm hàm PReLU để đề xuất cửa sổ tiềm năng), Refinement Network (R-Net, tinh chỉnh tọa độ hộp giới hạn và áp dụng Non-maximum suppression), và Output Network (O-Net, xác định xác suất khuôn mặt, tọa độ bounding box và 5 điểm mốc khuôn mặt gồm 2 mắt, mũi, 2 khóe miệng).
    • Kiến trúc VGG-16: Mạng CNN sâu gồm 16 lớp có trọng số (13 lớp tích chập bộ lọc nhỏ kích thước $3 \times 3$, các lớp Max-pooling $2 \times 2$ và 3 lớp kết nối đầy đủ kích thước lần lượt là 25088, 4096, 4096 đưa qua hàm Softmax phân loại).
    • Các thuật toán tối ưu hóa: Phân tích thuật toán Stochastic Gradient Descent (SGD) với ưu thế cập nhật nhanh theo từng mẫu ngẫu nhiên; thuật toán thích ứng Adam; và biến thể Adamax sử dụng chuẩn vô hạn ($L_\infty$ norm) để duy trì độ ổn định khi vector độ dốc có giá trị thưa hoặc biên độ dao động lớn.

  • Khung lý thuyết truyền thông mạng:

    • Giao thức WebRTC: Tiêu chuẩn mở cho phép giao tiếp trực tiếp ngang hàng (Peer-to-Peer) giữa các trình duyệt mà không cần cài đặt plugin; sử dụng giao thức báo hiệu (Signaling qua SDP - Session Description Protocol), cơ chế duyệt NAT/Firewall (ICE, STUN, TURN) và bảo mật mã hóa bắt buộc (SRTP cho luồng media, DTLS cho kênh truyền dữ liệu Data Channel).
    • Giao thức WebSocket: Giao thức truyền thông hai chiều toàn phần (Full-duplex) qua một kết nối TCP duy nhất theo tiêu chuẩn RFC 6455, giảm thiểu overhead tiêu đề so với HTTP truyền thống.
    • Kiến trúc Media Server SFU (Selective Forwarding Unit): Ứng dụng thư viện mã nguồn mở Mediasoup trên nền Node.js để tiếp nhận luồng dữ liệu từ người gửi (Producer) và chuyển tiếp có chọn lọc đến các đối tác tiếp nhận (Consumer), giảm thiểu tải xử lý nén/giải mã (transcoding) so với mô hình MCU.

  • Phương pháp nghiên cứu thực tế:

    • Phương pháp thực nghiệm phân loại học máy: Phân chia tập dữ liệu theo tỷ lệ chuẩn 8:2 (80% dùng cho huấn luyện - training, 20% dùng cho kiểm thử - testing). Đánh giá chéo hiệu năng giữa các kiến trúc CNN, MTCNN, VGG-16 qua các thang đo: Độ chính xác tổng thể (Accuracy), Độ chuẩn xác (Precision), Độ thu hồi (Recall) và Điểm F1 (F1-Score).
    • Phương pháp trích xuất đặc trưng hình học: Định lượng trạng thái mắt và miệng dựa trên các điểm mốc (landmarks) khuôn mặt do O-Net trích xuất thông qua hai chỉ số:
      • Tỷ lệ khung hình mắt (Eye Aspect Ratio - EAR): $$\text{EAR} = \frac{|p_2 - p_6| + |p_3 - p_5|}{2 \cdot |p_1 - p_4|}$$
      • Tỷ lệ khung hình miệng (Mouth Aspect Ratio - MAR): $$\text{MAR} = \frac{|p_2 - p_8| + |p_3 - p_7| + |p_4 - p_6|}{2 \cdot |p_1 - p_5|}$$
    • Phương pháp phân tích và thiết kế hướng đối tượng (OOAD): Xây dựng biểu đồ ca sử dụng (Use case diagram), biểu đồ lớp (Class diagram) và biểu đồ tuần tự (Sequence diagram) để thiết kế kiến trúc phần mềm.

  • Nguồn dữ liệu:

    • FER2013 (Kaggle/ICML 2013): Bộ dữ liệu ảnh mặt kích thước $48 \times 48$ pixel, gán 7 nhãn cảm xúc gồm: tức giận, chán nản, sợ hãi, vui, buồn, bất ngờ và trung tính.
    • KDEF (Karolinska Directed Emotional Faces): Bộ dữ liệu gồm 4.900 hình ảnh biểu cảm nét mặt của 70 người tham gia, thể hiện 7 trạng thái cảm xúc dưới 5 góc nhìn chụp khác nhau.
    • Student-Engagement: Bộ dữ liệu gồm 2.120 hình ảnh sinh viên tham gia học trực tuyến, phân tách thành 2 phân lớp chính:
      • Tập trung (1.076 ảnh): bối rối (369 ảnh), tập trung (347 ảnh), nản lòng (360 ảnh).
      • Không tập trung (1.044 ảnh): nhìn xa (423 ảnh), buồn chán (358 ảnh), buồn ngủ (263 ảnh).

Thiết kế và triển khai hệ thống

Hệ thống Streamy được thiết kế theo mô hình kiến trúc phân tán microservices, phân định ranh giới xử lý giữa tác vụ truyền thông đa phương tiện và tác vụ suy luận học máy:

Thành phần hệ thống Công nghệ sử dụng Chức năng và nhiệm vụ cốt lõi
Media Server Node.js, Mediasoup (SFU) Quản lý Router, WebRtcTransport, nhận luồng media (Producer) và phân phối luồng (Consumer) đến các client với độ trễ cực thấp.
Machine Learning Server Python, Python Socket.IO, OpenCV, PyTorch/TensorFlow Tiêu thụ (consume) luồng video webcam từ Media Server, giải mã khung hình, chạy mô hình MTCNN/VGG-16 để phân loại cảm xúc và tính toán chỉ số EAR/MAR theo thời gian thực.
Application & Signaling Server Node.js, Express, Socket.IO Quản lý logic ứng dụng, xác thực người dùng, phiên phòng học, điều phối bản tin báo hiệu SDP và ICE candidates giữa các peer.
Client Frontend JavaScript/TypeScript, WebRTC API Cung cấp giao diện phòng học trực tuyến, giải mã luồng video/audio, truyền phát webcam/chia sẻ màn hình và vẽ biểu đồ phân tích trạng thái.
Hạ tầng triển khai Google Cloud Platform (GCP) Lưu trữ, vận hành các máy chủ ứng dụng và phân bổ tài nguyên tính toán đám mây.

Về mô hình dữ liệu tĩnh (Class Diagram), hệ thống Streamy thiết lập 4 thực thể chính:

  1. User: Quản lý định danh tài khoản, thông tin cá nhân và quyền hạn người dùng trong hệ thống.
  2. Class: Lưu trữ cấu trúc lớp học, danh sách giảng viên phụ trách và học viên ghi danh.
  3. Room: Quản lý các phiên phòng học trực tuyến cụ thể đang diễn ra, trạng thái kết nối media và cấu hình WebRTC.
  4. Detected Result: Lưu trữ tập dữ liệu chuỗi thời gian ghi nhận các chỉ số cảm xúc và trạng thái tập trung được máy chủ ML tính toán trả về cho từng học viên.

Luồng hoạt động xử lý thời gian thực diễn ra theo chu trình khép kín: Học viên truyền luồng hình ảnh cá nhân lên Mediasoup Router thông qua WebRtcTransport. Máy chủ ML Server đăng ký làm một Consumer đối với luồng video này, trích xuất chuỗi khung hình, đưa qua mạng MTCNN để căn chỉnh khuôn mặt và tính toán tọa độ điểm mốc (landmarks) cho mắt và miệng nhằm xuất giá trị EAR, MAR. Song song đó, vùng ảnh khuôn mặt được đưa vào mô hình VGG-16 để phân loại 7 nhóm cảm xúc. Kết quả phân tích được đóng gói và truyền tải qua giao thức Socket.IO về máy tính của giảng viên dưới dạng đồ thị biểu diễn theo thời gian thực.

Nội dung chính theo từng chương

Chương 1: Giới thiệu và mô tả đề tài

Chương mở đầu phân tích sự phát triển của giáo dục trực tuyến và những hạn chế căn bản về mặt tâm lý - sư phạm khi giảng viên bị giới hạn khả năng quan sát biểu cảm học viên so với lớp học trực tiếp. Tác giả trình bày ý tưởng xây dựng nền tảng Streamy tích hợp trí tuệ nhân tạo, thiết lập 3 mục tiêu cụ thể, xác định phạm vi nghiên cứu, khảo sát sơ bộ các công nghệ nhận diện hình ảnh (CNN, MTCNN, VGG-16), công nghệ truyền phát dữ liệu thời gian thực (Node.js, Express, Mediasoup, WebRTC, Socket.IO, Python Socket.IO) và mô tả khái quát 3 bộ dữ liệu thử nghiệm (FER2013, KDEF, Student-Engagement).

Chương 2: Cơ sở lý thuyết

Chương này cung cấp hệ thống lý thuyết nền tảng cho hai trụ cột công nghệ của đề tài. Về học máy, chương phân tích toán học mạng nơ-ron nhân tạo (ANN), cấu trúc tích chập (CNN), cơ chế cascade 3 mạng (P-Net, R-Net, O-Net) của MTCNN và thông số chi tiết của mạng VGG-16 (chỉ rõ nhược điểm kích thước file trọng số lên tới 528 MB và chứa 138 triệu tham số). Phần tối ưu hóa trình bày cơ chế hoạt động của thuật toán SGD, Adam và Adamax ($L_\infty$ norm). Về mạng truyền thông, chương so sánh chi tiết giữa WebRTC và WebSocket, trình bày quy trình bắt tay thiết lập kết nối giữa hai peer (Signaling, ICE Gathering, trao đổi SDP/ICE candidates, thiết lập kênh SRTP/DTLS) và phân tích sâu cấu trúc của Media Server kiến trúc SFU trong thư viện Mediasoup.

Chương 3: Thực nghiệm các mô hình máy học

Chương 3 trình bày chi tiết công tác chuẩn bị dữ liệu và thực nghiệm huấn luyện mô hình. Tác giả đưa ra công thức tính toán toán học hai chỉ số EAR và MAR từ các điểm mốc giải phẫu. Chương tổng hợp kết quả của các công trình công bố trước đó để làm cơ sở tham chiếu (Khaireddin & Chen đạt 62,28% với CNN trên FER2013; Chong và cs đạt 80,2% với SVM trên KDEF; Alruwais & Zakariah đạt 92,2% với LightGBM trên Student-Engagement). Tiến hành chia dữ liệu theo tỷ lệ 8:2, nhóm đánh giá thực nghiệm CNN, MTCNN, VGG-16 cho bài toán cảm xúc và độ tập trung. Đồng thời, chương tiến hành thử nghiệm so sánh các chiến lược tối ưu hóa (ADAMAX, SGD và kết hợp SGD + ADAMAX) trên mô hình VGG-16 qua 100 epochs, giải thích cặn kẽ cơ chế phối hợp hai giai đoạn: dùng SGD trong 10 epoch đầu để vượt qua cực trị cục bộ và Adamax trong 90 epoch sau để hội tụ mượt mà.

Chương 4: Phân tích thiết kế hệ thống

Chương 4 chuyển dịch các kết quả nghiên cứu mô hình sang thiết kế kiến trúc phần mềm thực tế. Tác giả trình bày sơ đồ kiến trúc tổng quan kết nối giữa Media Server, ML Server và Client. Chương đặc tả chi tiết 5 ca sử dụng chính: Xem kết quả nhận diện cảm xúc, Xuất kết quả nhận diện cảm xúc, Tạo lớp học trực tuyến, Quản lý thông tin cá nhân và Tham gia vào lớp học. Thiết kế cấu trúc tĩnh được thể hiện qua sơ đồ lớp (Class Diagram) với các bảng thuộc tính và phương thức chi tiết cho User, Class, Room, Detected Result. Thiết kế động được biểu diễn qua hai biểu đồ tuần tự (Sequence Diagram) mô tả luồng đăng ký/tạo lớp/tham gia lớp và luồng vận hành/kết thúc phiên học. Cuối chương, tác giả mô tả quy trình triển khai lên hạ tầng Google Cloud Platform và thiết kế giao diện người dùng trực quan hóa đồ thị cảm xúc cá nhân lẫn toàn thể lớp học.

Chương 5: Kết quả đạt được và hướng phát triển

Chương tổng kết đánh giá các mục tiêu đã hoàn thành của đề tài: xây dựng thành công ứng dụng Streamy hỗ trợ tương tác trực tuyến âm thanh, video, chia sẻ màn hình độ trễ thấp; tích hợp hệ thống học máy trích xuất chỉ số cảm xúc và độ tập trung theo thời gian thực; trực quan hóa dữ liệu thống kê phục vụ công tác giảng dạy. Chương cũng xác định các hướng nghiên cứu mở rộng bao gồm tối ưu hóa mô hình để giảm độ trễ, mở rộng năng lực phục vụ đồng thời cho các lớp học quy mô lớn và phát triển thêm các module báo cáo chuyên sâu.

Kết quả và đóng góp

Kết quả thực nghiệm mô hình học máy

Tác giả đã tiến hành đối sánh các nghiên cứu tham chiếu và thực hiện các chuỗi thực nghiệm chuyên sâu trên 3 bộ dữ liệu chuẩn:

Tập dữ liệu Nghiên cứu tham chiếu Mô hình tham chiếu Độ chính xác tham chiếu Mô hình thực nghiệm của đề tài Kết luận lựa chọn mô hình
FER2013 Yousif Khaireddin & Zhuofa Chen CNN 62,28% CNN, MTCNN, VGG-16 Chọn VGG-16 do đạt độ chính xác (Accuracy) và độ chuẩn xác (Precision) cao nhất.
KDEF Chong và cộng sự SVM 80,2% CNN, MTCNN, VGG-16 Chọn VGG-16 do đạt tỷ lệ phân loại đúng và Precision vượt trội.
Student-Engagement Nuha Alruwais & Mohammed Zakariah LightGBM 92,2% CNN, MTCNN, VGG-16 (kết hợp EAR, MAR) Chọn MTCNN khi ưu tiên độ chính xác tổng thể cao nhất; CNN có F1-Score cân bằng tốt nhất; VGG-16 kém nhất.

Trong thực nghiệm so sánh thuật toán tối ưu hóa trên mô hình VGG-16 với tập dữ liệu FER2013 (huấn luyện 100 epochs, tỷ lệ chia 8:2), nhóm tác giả ghi nhận các số liệu định lượng cụ thể:

  • Phương án sử dụng SGD đơn lẻ: Cho kết quả độ thu hồi (Recall) thấp nhất, chỉ đạt $0{,}565$.
  • Phương án sử dụng ADAMAX đơn lẻ: Đạt độ chính xác tổng thể cao nhất ở mức $0{,}901$, đồng thời chỉ số biến thiên Delta Epochs đạt mức thấp nhất ($0{,}0006$), chứng minh sự ổn định cao trong suốt tiến trình huấn luyện.
  • Phương án phối hợp (SGD 10 epochs đầu + ADAMAX 90 epochs sau): Cho kết quả toàn diện nhất với chỉ số Precision đạt $0{,}891$, đồng thời xác lập mức Recall cao nhất và giá trị F1-Score cao nhất trong số các phương án thử nghiệm.

Giải pháp và đóng góp kỹ thuật của đề tài

  1. Thiết kế kiến trúc hệ thống lai (Hybrid Architecture) hiệu năng cao: Phân tách rạch ròi máy chủ truyền thông WebRTC SFU (Mediasoup trên Node.js) và máy chủ tính toán trí tuệ nhân tạo (Python ML Server), cho phép hệ thống vừa đảm bảo truyền phát media độ trễ thấp vừa không làm suy giảm hiệu năng xử lý tác vụ suy luận học máy.
  2. Quy trình kết hợp đặc trưng hình học và học sâu: Đề xuất giải pháp kết hợp trích xuất điểm mốc giải phẫu khuôn mặt để tính toán hai chỉ số EAR (mắt) và MAR (miệng) nhằm lượng hóa độ tập trung của học viên, bổ trợ cho mô hình nhận diện cảm xúc 7 trạng thái.
  3. Chiến lược tối ưu hóa mô hình hai giai đoạn: Đưa ra phương pháp kết hợp thuật toán tối ưu hóa khởi tạo bằng SGD để tìm kiếm nhanh các hướng gradient chính và thoát khỏi điểm cực trị cục bộ ban đầu, sau đó chuyển giao sang Adamax ($L_\infty$ norm) để tinh chỉnh tham số và đảm bảo hội tụ ổn định mượt mà.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các giới hạn kỹ thuật và phạm vi thực nghiệm hiện tại:

  • Hạn chế về mô hình: Kiến trúc VGG-16 chứa tới 138 triệu tham số và kích thước tệp trọng số lên tới 528 MB, tiêu tốn đáng kể tài nguyên bộ nhớ và băng thông truyền tải; thời gian huấn luyện kéo dài và có nguy cơ gặp hiện tượng bùng nổ độ dốc. Bên cạnh đó, chỉ số Recall của mô hình nhận diện cảm xúc còn thấp, dẫn đến việc bỏ sót một số trường hợp cảm xúc thực tế.
  • Hạn chế về hệ thống: Thử nghiệm hệ thống chủ yếu thực hiện trong môi trường mô phỏng nguyên mẫu, chưa đánh giá sức chịu tải và độ trễ truyền thông khi triển khai trong các lớp học thực tế có số lượng lớn học viên kết nối đồng thời.
  • Hướng phát triển: Tinh chỉnh và tối ưu hóa kiến trúc mạng nơ-ron nhằm giảm nhẹ kích thước mô hình, tăng tốc độ suy luận thời gian thực; mở rộng kiến trúc ML Server để tăng cường khả năng mở rộng (scalability); và hoàn thiện các chức năng phân tích sư phạm nâng cao sau buổi học.

Giá trị tham khảo

Nội dung khóa luận mang lại giá trị tham khảo thiết thực cho các đối tượng và bài toán cụ thể sau:

  • Đối với sinh viên và học viên ngành Hệ thống thông tin, Khoa học máy tính: Tài liệu cung cấp quy trình hoàn chỉnh từ nghiên cứu mô hình học máy thị giác máy tính (Computer Vision) đến thiết kế phần mềm thực tế; đặc biệt có giá trị tham khảo ở phương pháp trích xuất đặc trưng hình học EAR/MAR (Chương 3) và kỹ thuật phối hợp thuật toán tối ưu SGD - ADAMAX.
  • Đối với kỹ sư phát triển phần mềm truyền thông thời gian thực: Chương 2 và Chương 4 cung cấp tài liệu chi tiết về việc xây dựng hệ thống hội nghị trực tuyến dựa trên kiến trúc SFU của Mediasoup kết hợp WebRTC và WebSocket, cũng như mô hình kết nối luồng media sang máy chủ Python phục vụ phân tích dữ liệu ngoại vi.

Câu hỏi thường gặp

1. Hệ thống Streamy giải quyết bài toán truyền thông đa phương tiện bằng công nghệ nào và theo kiến trúc gì?

Hệ thống sử dụng công nghệ WebRTC kết hợp thư viện máy chủ đa phương tiện Mediasoup chạy trên nền tảng Node.js, hoạt động theo kiến trúc SFU (Selective Forwarding Unit). Thay vì giải mã và trộn luồng hình ảnh/âm thanh như mô hình MCU, SFU nhận luồng dữ liệu (Producer) từ từng học viên và chuyển tiếp trực tiếp có chọn lọc đến các người nhận (Consumer), giúp duy trì độ trễ thấp và tối ưu hóa tài nguyên máy chủ.

2. Hai chỉ số EAR và MAR có ý nghĩa gì trong bài toán xác định độ tập trung?

Chỉ số EAR (Eye Aspect Ratio) đo lường tỷ lệ khung hình mắt dựa trên khoảng cách giữa các điểm mốc giải phẫu ở mi mắt trên và mi mắt dưới so với chiều rộng khóe mắt; khi mắt mở, chỉ số EAR tăng cao và giảm mạnh khi mắt nhắm. Tương tự, chỉ số MAR (Mouth Aspect Ratio) đo lường tỷ lệ mở của khuôn miệng; khi học viên mở miệng (ngáp hoặc nói chuyện), MAR sẽ tăng cao. Dữ liệu EAR (cả mắt trái và mắt phải) cùng MAR được kết hợp với bộ dữ liệu Student-Engagement để huấn luyện mô hình phân loại trạng thái tập trung hay không tập trung.

3. Vì sao nhóm tác giả lại đề xuất phối hợp thuật toán SGD và ADAMAX khi huấn luyện mô hình VGG-16?

Trong giai đoạn đầu huấn luyện, SGD được sử dụng trong 10 epoch đầu nhờ tính chất cập nhật tham số nhanh chóng từ từng mẫu ngẫu nhiên, giúp mô hình thoát khỏi các điểm cực trị cục bộ ban đầu và tiến nhanh đến các vùng gradient lớn. Trong 90 epoch tiếp theo, hệ thống chuyển sang sử dụng Adamax - biến thể của Adam dựa trên chuẩn vô hạn ($L_\infty$ norm), giúp kiểm soát độ dốc ổn định hơn khi xử lý các gradient thưa, điều chỉnh tốc độ học mượt mà và nâng cao độ chuẩn xác phân loại.

4. Kết quả thực nghiệm giữa các mô hình học máy trên từng bài toán cụ thể ra sao?

Đối với bài toán nhận diện cảm xúc (trên tập dữ liệu FER2013 và KDEF), mô hình VGG-16 được chọn vì đạt độ chính xác tổng thể (Accuracy) và độ chuẩn xác (Precision) cao nhất so với CNN và MTCNN. Ngược lại, đối với bài toán nhận diện độ tập trung (trên tập dữ liệu Student-Engagement), MTCNN lại là lựa chọn tốt nhất với độ chính xác tổng thể cao nhất và khả năng phân loại ổn định, trong khi VGG-16 cho hiệu suất kém hẳn trên cả 4 thước đo.

5. Kiến trúc 3 tầng của mạng MTCNN hoạt động theo quy trình như thế nào?

MTCNN gồm 3 mạng nơ-ron hoạt động tuần tự:

  • P-Net (Proposal Network): Sử dụng mạng tích chập toàn phần (FCN) để quét trên ảnh ở nhiều tỷ lệ khác nhau, đưa ra các khung cửa sổ tiềm năng chứa khuôn mặt và vector hồi quy bounding box.
  • R-Net (Refinement Network): Là một mạng CNN nhận đầu vào từ P-Net, loại bỏ các khung bao trùng lặp thông qua kỹ thuật Non-maximum suppression và tinh chỉnh lại tọa độ hộp giới hạn.
  • O-Net (Output Network): Tầng cuối cùng thực hiện đánh giá xác suất khuôn mặt, xác định chính xác tọa độ hộp giới hạn và trích xuất tọa độ 5 điểm mốc đặc trưng trên khuôn mặt (2 mắt, 1 mũi, 2 khóe miệng).

Kết luận

Khóa luận tốt nghiệp của sinh viên Đỗ Đặng Kiến Nam và Phạm Phú Tuấn đã giải quyết thành công bài toán giám sát tương tác phi ngôn ngữ trong giáo dục trực tuyến thông qua việc xây dựng nền tảng Streamy. Đề tài kết hợp chặt chẽ giữa công nghệ truyền thông thời gian thực WebRTC kiến trúc SFU Mediasoup và các mô hình học sâu VGG-16, MTCNN, hỗ trợ nhận diện 7 trạng thái cảm xúc cùng mức độ tập trung dựa trên các chỉ số hình học EAR và MAR. Toàn bộ kiến trúc phần mềm, quy trình thực nghiệm mô hình máy học và giao diện trực quan hóa theo thời gian thực đã được đóng gói, thiết kế hoàn chỉnh và triển khai thử nghiệm trên nền tảng đám mây Google Cloud Platform.