mở đầu Chương này giới thiệu tổng quan về đề tài gồm các nội dung như: lý do chọn đề tài, mục tiêu và nhiệm vụ nghiên cứu, đối tượng và phạm vi nghiên cứu, phương pháp nghiên cứu, ý nghĩa khoa học và thực tiễn của luận văn. Tổng quan tình hình nghiên cứu Chương này giới thiệu tổng quan về tình hình nghiên cứu nhận diện cảm xúc khuôn mặt. Cơ sở lý thuyết Chương này trình bày các cơ sở lý thuyết được áp dụng trong đề tài. Những kiến thức cơ bản này là tiền đề để áp dụng xây dựng mô hình dựa trên ảnh thường và ảnh nhiệt.
Mô hình đề xuất đánh giá cảm xúc Chương này trình bày phương pháp đề xuất của đề tài. Thực nghiệm và đánh giá Chương này trình bày quá trình thực nghiệm và phân tích về những ưu điểm, nhược điểm, so sánh và đánh giá kết quả đạt được. Kết luận Chương này là phần kết luận và nêu lên những hướng phát triển trong tương lai của đề tài. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1.
Một số công trình nghiên cứu liên quan Trong quá trình giao tiếp, con người sử dụng hai phương tiện giao tiếp chính là: phương tiện giao tiếp ngôn ngữ và phương tiện giao tiếp phi ngôn ngữ. Trong giao tiếp ngôn ngữ, chúng ta sử dụng ngôn ngữ (lời nói hoặc chữ viết) để truyền đạt, trao đổi thông tin. Còn trong giao tiếp phi ngôn ngữ, cảm xúc là phương tiện được sử dụng để truyền đạt thông tin trong quá trình giao tiếp. Cảm xúc có thể được nhận biết thông qua nhiều hình thức khác nhau như giọng điệu khi nói, biểu hiện trên khuôn mặt, cử động cơ thể, điệu bộ.
Mehrabian [5] đã chỉ ra rằng, trong khi giao tiếp, thông tin được truyền đạt thông qua biểu hiện trên khuôn mặt đóng góp 55% hiệu quả, ngữ điệu đóng góp 38% và lời nói đóng góp 7%. Điều này cho thấy biểu hiện trên khuôn mặt đóng vai trò quan trọng để đạt được hiệu quả giao tiếp giữa con người với nhau. Cảm xúc khuôn mặt có thể được nhận ra bởi con người một cách dễ dàng bằng cách quan sát, nhưng việc phát triển một hệ thống tự động nhận diện cảm xúc khuôn mặt vẫn là một khó khăn do sự thay đổi thoáng qua của một số đặc điểm trên khuôn mặt và sự phức tạp của phần nền (background), độ sáng trong hình ảnh/video [6]. Do đó, nhận diện cảm xúc khuôn mặt trở thành một vấn đề đã và đang thu hút được sự quan tâm, nghiên cứu của các nhà khoa học.
Nhận diện cảm xúc khuôn mặt đã được ứng dụng trong cuộc sống như: phát hiện trạng thái buồn ngủ của người lái xe [7], hỗ trợ bán hàng [8], hệ thống chăm sóc sức khỏe điện tử [9], đánh giá cơn đau của bệnh nhân [10], hỗ trợ người mắc chứng tự kỷ tương tác với người khác [11], tương tác người và robot [12],. Một hệ thống nhận diện cảm xúc dựa vào biểu hiện trên khuôn mặt thường gồm ba giai đoạn chính: phát hiện khuôn mặt, rút trích đặc trưng và phân loại cảm xúc. Trong ba giai đoạn trên thì rút trích đặc trưng là giai đoạn quan trọng. Rút trích đặc trưng nhằm mục đích thu nhỏ lượng dữ liệu cần xử lý nhưng vẫn 7 giữ được các đặc trưng quan trọng trên khuôn mặt, góp phần mang lại hiệu quả cho quá trình phân loại.
Rút trích đặc trưng có thể phân thành hai phương pháp chính: phương pháp dựa trên đặc trưng hình học (geometric) và phương pháp dựa trên đặc trưng diện mạo (appearance). Trong phương pháp dựa trên đặc trưng hình học, hình dạng, khoảng cách, vị trí của các thành phần trên khuôn mặt như: lông mày, mắt, mũi, miệng, cằm,… sẽ được xem xét. Các thành phần này là các điểm đặc trưng trên khuôn mặt. Các điểm đặc trưng này tạo thành một vectơ đặc trưng, đại diện cho hình dạng khuôn mặt.
Các đặc trưng này có thể được trích xuất bằng mô hình hình dạng tích cực (ASM), mô hình diện mạo tích cực (AAM). Phương pháp tiếp cận dựa trên đặc trưng diện mạo sẽ xem xét sự thay đổi cấu trúc da của khuôn mặt như nếp nhăn, rãnh nhăn, vùng xung quanh miệng và mắt [13]. Những đặc trưng này được rút trích bằng cách áp dụng các phép biến đổi, bộ lọc như: phân tích thành phần chính (PCA) [14], mẫu nhị phân cục bộ (LBP) [15], phân tích phân biệt tuyến tính (LDA) [16] và Gabor Wavelets [17]. Ekman đã đề xuất một hệ thống để phân loại biểu hiện khuôn mặt được gọi là Hệ thống mã hoá cử động khuôn mặt (FACS - Face Action Coding System) [18].
Hệ thống này được phát triển dựa trên phân tích mối liên hệ giữa sự co giãn của các cơ và sự thay đổi diện mạo khuôn mặt do các cơ này gây ra. Sự co giãn của các cơ trên khuôn mặt ở các cường độ khác nhau được đại diện bởi các đơn vị hành động (Action Unit - AU). Có 46 đơn vị hành động đại diện cho sự thay đổi biểu hiện trên khuôn mặt và 12 đơn vị hành động được kết nối với hướng nhìn của mắt và hướng đầu [13]. mô tả một số đơn vị hành động của FACS.
Một số AU [19]. Mô tả Các cơ AU Hình ảnh minh họa chuyển động chuyển động 1 Nhướng mày trong Cơ trán (ở giữa) 2 Nhướng mày ngoài Cơ trán (ở hai bên) 4 Hạ lông mày Cơ mày, cơ hạ mày 5 Nhướng mi trên Cơ nâng mi trên Choi và cộng sự [20] đã sử dụng mô hình diện mạo tích cực (AAM-Active Appearance Model) để nhận diện cảm xúc khuôn mặt với tỷ lệ chính xác là 99%. Sebe và cộng sự [21] đã đề xuất một phương pháp với cách tiếp cận dựa trên đặc trưng hình học để nhận diện cảm xúc khuôn mặt. Trong [15] các tác giả đã đề xuất sử dụng mẫu nhị phân cục bộ (Local Binary Pattern-LBP) kết hợp với các thuật toán phân loại như LDA, SVM để nhận diện cảm xúc.
Các tác giả tiến hành thực nghiệm trên hai cơ sở dữ liệu JAFFE và CK+. Kết quả thực nghiệm cho thấy LBP kết hợp với SVM đạt tỷ lệ chính xác là 88.9%, LBP và LDA chỉ đạt 73. Với sự phát triển của các phương pháp học sâu, cụ thể là mạng nơ-ron tích chập (Convolutional Neural Network-CNN), một số nghiên cứu đã sử dụng mô hình mạng CNN để nhận diện cảm xúc khuôn mặt. Rzayeva và cộng sự [22] đã đề xuất một mô hình CNN để nhận diện cảm xúc với kích thước ảnh đầu vào 9 khác nhau, các tác giả thực nghiệm trên cơ sở dữ liệu Cohn_Kanade và RAVNESS với tỷ lệ chính xác là 88% và 92%.
Fathallah và cộng sự [23] đã đề xuất mô hình CNN dựa trên kiến trúc mạng VGG để nhận diện sáu cảm xúc (giận dữ, ghê tởm, hạnh phúc, bình thường, buồn rầu, ngạc nhiên). Các tác giả thực nghiệm trên ba cơ sở dữ liệu CK+, RaFD và MUG với tỷ lệ chính xác tương ứng là 99. Cảm xúc, không chỉ là sự chuyển động của các cơ trên khuôn mặt mà còn là sự thay đổi nhiệt độ trên khuôn mặt [24]. Khi một cảm xúc xảy ra, nhiệt độ trên khuôn mặt xuất hiện do lưu lượng máu mà cơ thể phát ra qua các mạch máu ở dưới da, sự thay đổi này là cơ sở để có thể thực hiện các nghiên cứu về cảm xúc khuôn mặt thông qua ảnh nhiệt [25].
Jarlier và cộng sự [26] thực hiện rút trích các đặc trưng dưới dạng bản đồ nhiệt độ đại diện của chín đơn vị hành động (AU) và sử dụng K-láng giềng gần nhất để phân loại bảy cảm xúc. Cơ sở dữ liệu để kiểm tra có bốn người và tỷ lệ chính xác là 56. Nghiên cứu của các tác giả đã cho thấy rằng sử dụng ảnh nhiệt là một cách tiếp cận đầy hứa hẹn để phát hiện và đánh giá những thay đổi trong co cơ mặt liên quan đến việc tạo các AU. Khan và cộng sự [27] đề xuất sử dụng Điểm đặc trưng nhiệt trên khuôn mặt (FTFP) và sử dụng Phân tích phân biệt tuyến tính (LDA) để phân loại năm cảm xúc với tỷ lệ chính xác nằm trong khoảng từ 66.
Chau [28] đã xác định các đặc trưng về thời gian, tần suất và tần suất thời gian từ chuỗi thời gian nhiệt độ trung bình của năm vùng: vùng quanh mắt, vùng trên mắt và vùng mũi để phân loại. He và cộng sự [29] đề xuất sử dụng Deep Boltzmann Machine (DBM) để nhận diện cảm xúc. Nhóm tác giả thực nghiệm trên cơ sở dữ liệu NVIE đạt tỷ lệ chính xác là 51. Basu và cộng sự [30] đã đề xuất một phương pháp dựa vào vùng quan tâm (ROI) kết hợp với SVM nhiều lớp để phân loại năm cảm xúc (giận dữ, sợ hãi, hạnh phúc, buồn rầu và bình thường).
Nhóm tác giả thực nghiệm trên cơ sở dữ liệu KTFE và đạt tỷ lệ chính xác là 87. ROI trong phương pháp [30]. Thu và cộng sự [31] đã đề xuất một phương pháp tìm t-ROI trên không gian ảnh xám và sử dụng các phương pháp PCA, EMC, PCA-EMC để phân loại bảy cảm xúc. Nhóm tác giả tiến hành thực nghiệm trên cơ sở dữ liệu KTFE và đạt tỷ lệ tương ứng là 90.
Elbarawy và cộng sự [32] đã đề xuất mô hình CNN để phân loại ba cảm xúc (giận dữ, hạnh phúc, ngạc nhiên), mô hình của tác giả nhận kích thước ảnh đầu vào là 120x120. Các tác giả thực nghiệm trên cơ sở dữ liệu IRIS với tỷ lệ chính xác là 96. Ảnh nhiệt có ưu điểm là không nhạy cảm với điều kiện ánh sáng và thể hiện được cảm xúc của những người ít khi thể hiện cảm xúc. Kết hợp thêm ảnh nhiệt trong nhận diện cảm xúc có thể cải thiện hiệu quả nhận diện, giúp dự đoán chính xác hơn cảm xúc của con người [4][33].
Một số nghiên cứu kết hợp ảnh thường và ảnh nhiệt để nhận diện cảm xúc đã được thực hiện. Wang và cộng sự [34] đã đề xuất phương pháp kết hợp ảnh thường và ảnh nhiệt cho nhận diện cảm xúc khuôn mặt ở hai mức: kết hợp đặc trưng và 11 quyết định sử dụng mạng Bayes và SVM. Nghiên cứu sử dụng cơ sở dữ liệu NVIE gồm một trăm người với sáu cảm xúc (hạnh phúc, buồn rầu, ngạc nhiên, sợ hãi, giận dữ, chán ghét). Phương pháp của các tác giả cải thiện độ chính xác khoảng 1.35% so với chỉ sử dụng ảnh thường.
Mô hình đề xuất của các tác giả [34]. H và cộng sự [4] đã đề xuất phương pháp kết hợp ảnh thường và chuỗi ảnh nhiệt để phân loại bảy cảm xúc. Phép biến đổi Wavelet (Wavelet Transform) và vùng quan tâm ROI được áp dụng để rút trích đặc trưng cho ảnh thường và ảnh nhiệt.