mở đầu, trong chương này Luận án giới thiệu khái quát về đề tài, mục tiêu, đối tượng, phạm vi nghiên cứu. Đồng thời nêu tóm tắt những đóng góp mà luận án đạt được. 9 Chương 2: Là chương tổng quan, trong chương này Luận án trình bày các vấn đề liên quan đến đánh giá sự tập trung nhằm làm nền tảng cho việc xây dựng các kỹ thuật được đề xuất trong các chương sau. Cụ thể, chương này trình bày ý nghĩa của sự tập trung, các yếu tố, phương pháp đánh giá sự tập trung, bài toán về nhận dạng biểu cảm khuôn mặt, các bộ dữ liệu dùng trong nghiên cứu và một số vấn đề về cơ sở lý thuyết trong xử lý ảnh và nhận dạng.
Chương 3: Nhận dạng biểu cảm thành phần khuôn mặt. Trong chương này, Luận án trình bày kỹ thuật đánh giá sự tập trung của người học dựa trên biểu cảm của khuôn mặt. Thông qua kết quả này, Luận án đề xuất một kỹ thuật phân rã biểu cảm thành phần cơ bản trên khuôn mặt của người học. Kỹ thuật này tách riêng biệt biểu cảm của người học thành những thành phần cơ bản, nhằm xác định chi tiết hơn về các cảm xúc của người học.
Từ đó cải thiện được độ chính xác cho bài toán đánh giá. Vì trên thực tế các biểu cảm trên khuôn mặt của người học được biểu diễn hỗn hợp từ những cảm xúc cơ bản. Kết quả nghiên cứu của đề xuất này được công bố tại [28]. Chương 4: Nhận dạng biểu cảm hành vi khuôn mặt.
Trong chương này, Luận án trình bày kỹ thuật đánh giá sự tập trung của người học dựa trên trạng thái đóng/mở của mắt [29]. Thông qua kết quả nghiên cứu của công trình này, Luận án cải tiến kỹ thuật phát hiện trạng thái đóng/mở của mắt với ngưỡng được xác định linh động, phù hợp cho mọi đối tượng nhằm nâng cao độ chính xác khi phát hiện [25]. Vì đặc trưng của mắt ở mỗi người là khác nhau, có người mắt to, mắt nhỏ v. Nên khi sử dụng một ngưỡng cố định để xác định trạng thái đóng/mở của mắt là không phù hợp và thiếu chính xác.
Chương 5: Phần kết luận và hướng phát triển của Luận án trình bày tổng hợp lại kết quả nghiên cứu đã đạt được, đồng thời đề xuất những hướng phát triển tiếp theo của Luận án. 10 CHƯƠNG 2 TỔNG QUAN VỀ ĐÁNH GIÁ SỰ TẬP TRUNG CỦA NGƯỜI HỌC VÀ BÀI TOÁN NHẬN DẠNG BIỂU CẢM KHUÔN MẶT 2.1 Tổng quan về đánh giá sự tập trung của người học 2.1 Ý nghĩa sự tập trung Sự tập trung là một trong những yếu tố quan trọng tác động đến sự thành công của một nhiệm vụ ngắn hạn hoặc dài hạn. Đó là một cấu trúc phức tạp vì không những được đo lường thông qua quan sát mà còn được đo lường thông qua hành vi của đối tượng. Nó là thước đo đánh giá năng lực và được ứng dụng trong nhiều lĩnh vực bao gồm: Tâm lý học [30], Giao diện người - Máy tính (Human Computer Interface - HCI) [31], Giáo dục [4] [32].
Trong giáo dục, sự tập trung thường được sử dụng để mô tả người học sẵn sàng tham gia vào các hoạt động thường ngày của trường, chẳng hạn như tham gia nghiêm túc trong lớp học, nộp bài tập được yêu cầu và làm theo hướng dẫn của giáo viên trong lớp. Theo [4] [32], có ba yếu tố chính góp phần vào quá trình tập trung của người học bao gồm: hành vi, nhận thức và cảm xúc. Hiểu rõ hành vi của người học trong quá trình tham gia vào lớp học, nó sẽ cung cấp thông tin hữu ích cho môi trường giáo dục như sau: (i) Đối với cơ sở quản lý giáo dục: Cải thiện chính sách học vụ, môi trường học tập, cơ sở vật chất, chương trình đào tạo và tạo điều kiện tốt cho người học để ngăn ngừa tình trạng như chán nản, sao lãng, bỏ học. (ii) Đối với giáo viên: cải tiến phương pháp giảng dạy, giáo trình, bài giảng để nâng cao hiệu suất cho người học 2.2 Các yếu tố đánh giá sự tập trung Các nhà nghiên cứu đã đưa ra những giải pháp để theo dõi và đánh giá sự tập trung của người học khi tham gia học tập.
Nhìn chung các giải đáp đều có sự tương đồng và theo [4] [32] các yếu tố nhận biết sự tham gia được các nhà nghiên cứu xác định dựa trên thị giác máy tính gồm có: (1) Hành vi và (2) cảm xúc. 11 (1) Về hành vi dựa trên các hành động ứng xử trong quá trình học tập, tham gia vào các hoạt động xã hội hoặc ngoại khóa. Nó thường được đánh giá dựa trên một loạt các hành vi có thể quan sát được như tham gia lớp học, thời gian làm bài tập về nhà, nỗ lực (ví dụ: thời gian làm nhiệm vụ) và tuân thủ các quy tắc của lớp học. Tham gia hành vi cũng có thể được coi là tham gia học tập và được mô tả các hành động ứng xử trong quá trình học tập như: đóng/mở mắt, ngáp, giơ tay phát biểu, tư thế đầu và tư thế hình thể [33] [34] [35] [36] [37] [38].
Những cảm xúc này có thể liên quan đến các chuyển động của cơ mặt được mô tả trong Hệ thống mã hóa hành động trên khuôn mặt [39], hệ thống này có thể được nhận biết bằng thị giác máy tính. Theo nghiên cứu [40] đã cho thấy độ chính xác thường vượt qua 90% đối với các phân tích phụ thuộc vào đối tượng (khi áp dụng các bộ phân loại khác nhau cho các cá nhân khác nhau) và cao hơn 70% đối với các phương pháp tiếp cận không phụ thuộc vào đối tượng (khi áp dụng cùng một bộ phân loại trên tất cả các cá nhân). Tuy nhiên, những độ chính xác này phụ thuộc vào phương pháp được sử dụng, quy mô của tập huấn luyện. Những cảm xúc hỗn hợp có xu hướng khó xác định, vì chúng ít liên kết với các cơ trên khuôn mặt người và dữ liệu đào tạo kém phong phú.3 Phương pháp đánh giá sự tập trung Đánh giá sự tập trung Tự động Bán tự động Thủ công Phân tích dữ liệu Thị giác máy tính Khảo sát Tự báo cáo cảm biến Biểu hiện trên khuôn mặt Cử chỉ và tư thế Trạng thái của mắt Hình 2.1 Phân loại các phương pháp phát hiện sự tham gia [6] 12 Một số nghiên cứu về phát hiện sự tham gia đã được các nhà nghiên cứu công bố và được chia thành thành ba loại chính: tự động, bán tự động và thủ công [6].
Do sự thành công của các giải pháp học máy và học sâu dựa trên thị giác máy tính, các phương pháp tự động đang được chú ý trong những năm gần đây và rất hữu ích trong việc phân tích và dự đoán.1 Phương pháp thủ công (Manual) Đánh giá sự tập trung dựa trên việc thu thập kết quả tự báo cáo (Self Reporting) của người học thông qua biểu mẫu khảo sát được thiết lập sẵn mà trong đó người học tự báo cáo riêng mức độ của họ về sự thích thú hay nhàm chán. Tất cả các bảng câu hỏi khảo sát không nhất thiết chỉ ra mức độ tham gia của người học một cách trực tiếp, thay vào đó chúng ngụ ý mức độ tham gia như một biến tiềm ẩn mô tả bằng cách sử dụng phân tích nhân tố [41]. Tự báo cáo được nhiều nhà nghiên cứu quan tâm vì nó dễ thực hiện. Ví dụ, sẽ rất hữu ích khi biết được số lượng người học buồn chán hoặc chán nản trong cuộc khảo sát.
Tuy nhiên, hướng tiếp cận này tiêu tốn rất nhiều thời gian và công sức. Bên cạnh đó, kết quả của việc phân tích phụ thuộc vào yếu tố nằm ngoài tầm kiểm soát của nhà nghiên cứu, chẳng hạn như tính trung thực của người học khi tham gia trả lời các câu hỏi trong cuộc khảo sát. Do đó có thể dẫn đến kết quả kém chính xác trong việc phân tích.2 Phương pháp bán tự động (Semi-Automatic) Phương pháp bán tự động bao gồm phương pháp khảo sát kiến thức và phương pháp dựa trên sinh lý học. Trong việc khảo sát kiến thức, giáo viên ước tính mức độ tham gia của học sinh bằng cách đánh giá phản ứng của họ đối với các câu hỏi được hỏi trong khi giảng dạy.
Ví dụ, thời gian trả lời rất ngắn đối với các câu hỏi đã cho thấy rằng người học không tham gia và chỉ đơn giản là đưa ra các câu trả lời ngẫu nhiên mà không cần nỗ lực. Công việc được thực hiện trong [42] [43] được sử dụng để thực hiện phương pháp này một cách dễ dàng. Mặc dù phương pháp này đã được sử dụng rộng rãi trong các hệ thống dạy kèm thông minh (Intelligent Tutoring Systems - ITS), nhưng không có nhiều ứng dụng của phương pháp này trong các môi trường giáo dục khác, chẳng hạn như trong môi trường học tập trực tuyến [44].3 Phương pháp tự động (Automatic) Trích xuất các đặc trưng từ các đặc điểm khác nhau được ghi nhận bởi cảm biến hình ảnh (ví dụ: chuyển động của mắt, nét mặt, cử chỉ và tư thế), cảm biến sinh lý và thần kinh (ví dụ: nhịp tim, điện não đồ, huyết áp). Các phương pháp này trích xuất các đặc trưng một cách tự động và không làm gián đoạn người học trong quá trình phát hiện sự tham gia.
Các phương pháp trong danh mục tự động được chia thành hai nhóm, gồm có: phân tích dữ liệu cảm biến và phương pháp dựa trên thị giác máy tính. (i) Trong phân tích dữ liệu cảm biến (Sensor data analysis), các chỉ số cảm biến sinh lý và thần kinh được sử dụng để đo mức độ tương tác. Trong các tài liệu khoa học thần kinh, sự tham gia thường được đánh giá bằng mức độ kích thích hoặc tỉnh táo. Các phương pháp dựa trên sinh lý, mức độ tham gia của người học được ước tính dựa trên các tín hiệu như: điện não đồ (Electro Encephalo Graphy - EEG), điện tâm đồ (Electro Cardio Gram - ECG) bằng cách sử dụng các thiết bị như dây đeo, cảm biến hoạt động điện da [45] [46].
Tuy nhiên, các biện pháp này yêu cầu các cảm biến chuyên dụng và không thuận tiện để sử dụng, tốn kém và gây khó khăn trong các môi trường giáo dục ngoài đời thực. Ưu điểm chính của phương pháp dựa trên thị giác máy tính là dễ sử dụng và không làm gián đoạn các hoạt động của người học trong quá trình đánh giá, phân tích các tín hiệu không lời mà không có sự can thiệp của người. Kỹ thuật tính toán hiệu quả và chi phí máy ảnh thấp như: webcam hoặc camera. Tính khả dụng rộng rãi của nó trong điện thoại di động, máy tính bảng, máy tính và thậm chí cả ô tô.