CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN XÁC ĐỊNH TRẠNG THÁI BIỂU CẢM KHUÔN MẶT Trạng thái biểu cảm khuôn mặt là một khía cạnh quan trọng của giao tiếp. Khi con người giao tiếp với nhau, thường sử dụng biểu cảm khuôn mặt để truyền đạt cảm xúc, ý kiến và thông điệp. Bài toán xác định trạng thái biểu cảm khuôn mặt yêu cầu phân loại và nhận dạng các trạng thái biểu cảm từ hình ảnh khuôn mặt. Đây là một trong những nhiệm vụ quan trọng có nhiều ứng dụng rộng rãi như tư vấn chăm sóc khách hàng, giáo dục thông minh, hay đánh giá mức độ hài lòng của người dân trong các dịch vụ công.
Trong chương này, học viên sẽ giới thiệu chung về bài toán xác định trạng thái biểu cảm khuôn mặt, nguyên tắc chung xử lý bài toán, và lược khảo các nghiên cứu liên quan. Bài toán xác định trạng thái biểu cảm khuôn mặt Biểu cảm đóng vai trò quan trọng trong mọi khía cạnh của cuộc sống, từ cách con người tương tác, làm việc, và thậm chí khi đưa ra quyết định. Vào năm 1872, Charles Darwin đã xuất bản cuốn sách “The Expression of the Emotions in Man and Animals" (Sự thể hiện biểu cảm ở người và động vật), trong đó ông lập luận rằng tất cả con người và thậm chí các loài động vật khác đều thể hiện biểu cảm thông qua các hành vi tương tự nhau. Darwin xem xét biểu cảm như là các thực thể hoặc mô-đun riêng biệt, như sự tức giận, sợ hãi, kinh tởm và nhiều biểu cảm khác.
Nhiều nghiên cứu về khoa học thần kinh, nhận thức và bằng chứng đa văn hóa đã chứng minh rằng quan điểm của Darwin về biểu cảm như các thực thể riêng biệt là chính xác. Paul Ekman, một nhà tâm lý học nổi tiếng, tiếp tục nghiên cứu về biểu cảm và vào năm 1992, ông đã đưa ra một phân loại cụ thể về 7 biểu cảm khuôn mặt cơ bản [10] - như được minh họa trong Hình 2, cụ thể như sau. 6 ▪ Giận dữ (Angry): Biểu cảm của sự tức giận thường được thể hiện qua khuôn mặt sưng húp, lông mày dựng cao và mắt sáng hơn. Các cử chỉ cơ thể cũng thể hiện sự căng thẳng và thể hiện mong muốn thể hiện mình mạnh mẽ.
▪ Kinh tởm (Disgust): Sự kinh tởm thường được biểu thị bằng biểu cảm mặt trở nên biến dạng, mày nhíu chặt lại và mũi nhăn lại. Đây là phản ứng tự nhiên trước những thứ không mong muốn hoặc đáng ghét. ▪ Sợ hãi (Fear): Biểu cảm sợ hãi thường bao gồm mắt to tròn, mày cao, miệng mở hơi, và cơ thể có thể rút lại. Đây là phản ứng tự nhiên trước mối nguy hiểm hoặc rủi ro.
▪ Hạnh phúc (Happiness): Biểu cảm hạnh phúc thường hiện ra qua mắt sáng, nụ cười và các biểu hiện tích cực khác trên khuôn mặt. Đây là dấu hiệu của tâm trạng thoải mái và vui vẻ. ▪ Trạng thái bình thường (Neutral): Trạng thái bình thường không biểu thị bất kỳ cảm xúc cụ thể nào, là một trạng thái trung lập trong biểu cảm. ▪ Buồn bã (Sadness): Biểu cảm buồn bã thường thể hiện qua miệng khép lại, mắt mờ đi và khuôn mặt trở nên uể oải.
Đây là dấu hiệu của tâm trạng không vui và chán nản. ▪ Ngạc nhiên (Surprise): Sự ngạc nhiên thường được biểu thị bằng mắt to tròn, miệng mở lớn và khuôn mặt tỏ ra kinh ngạc. Đây là phản ứng tự nhiên trước những sự kiện bất ngờ. Các biểu cảm này được gọi là 7 biểu cảm cơ bản và đã được sử dụng rộng rãi trong nghiên cứu để hiểu sâu hơn về cách con người thể hiện và nhận diện cảm xúc thông qua biểu cảm khuôn mặt.
Việc hiểu và áp dụng các kiến thức về biểu cảm này có thể cải thiện khả năng giao tiếp, xây dựng mối quan hệ, và thúc đẩy sự thấu hiểu giữa con người. Bảy biểu cảm cơ bản - ảnh lấy từ tập dữ liệu FER-Plus [2]. Xác định hay nhận dạng trạng thái biểu cảm khuôn mặt (Facial Expression Reconigtion - FER) là bài toán có tiềm năng ứng dụng cao trong nhiều lĩnh vực khác nhau, đóng góp quan trọng vào sự phát triển của xã hội thông minh và tương tác con người - máy móc. Các ứng dụng của FER có thể bao gồm tư vấn chăm sóc khách hàng, giáo dục thông minh và đánh giá mức độ hài lòng của đối tượng trong các dịch vụ công.
Trong tư vấn chăm sóc khách hàng, FER giúp tăng cường khả năng tương tác và đáp ứng khách hàng một cách tốt hơn, cải thiện trải nghiệm dịch vụ và tạo sự hài lòng cao hơn. Trong giáo dục thông minh, FER có thể giúp giáo viên và nhà quản lý hiểu được mức độ tham gia và sự tương tác của học sinh, từ đó tạo điều kiện tốt nhất để tăng cường quá trình học tập và đáp ứng nhu cầu của từng học sinh. FER cũng có thể được áp dụng trong đánh giá mức độ hài lòng của người dân trong các dịch vụ công, như dịch vụ khách hàng, dịch vụ y tế hoặc dịch vụ công cộng. Thông qua việc hiểu được cảm xúc của người dùng, các cơ quan và tổ chức có thể điều chỉnh và cải thiện dịch vụ để đáp ứng tốt hơn nhu cầu và mong muốn của người dùng.
Bài toán thuộc lớp các bài toán khai phá dữ liệu từ ảnh và video. Nhận đầu vào là dữ liệu ảnh hoặc video, bài toán đầu tiên sẽ phát hiện các khuôn mặt có trong hình/video, và sau đó xác định/phân loại trạng thái khuôn mặt thành 7 loại cảm xúc cơ bản kể trên. Trong phạm vi nghiên cứu của đề án, học viên tập trung vào bước 2 – học viên đề xuất xây dựng mô hình học sâu nhỏ gọn để tiến hành xác định trạng thái biểu cảm khuôn mặt. Điều này đồng nghĩa với việc đầu vào đã có sẵn dữ liệu ảnh khuôn mặt được trích xuất từ ảnh hoặc video.
Nguyên tắc chung xử lý bài toán FER Trong những thập kỷ qua, bài toán xác định trạng thái biểu cảm khuôn mặt đã trở thành một nhánh nghiên cứu tích cực với nhiều thuật toán đã được đề xuất để giải quyết vấn đề này [11] [12]. Quá trình giải quyết bài toán FER thường bao gồm hai bước chính sau. ▪ Bước 1: Phát hiện khuôn mặt trong ảnh hoặc video: Bước này tập trung vào việc xác định vị trí và định dạng của các khuôn mặt có trong hình ảnh hoặc video. Có nhiều phương pháp khác nhau để thực hiện việc phát hiện khuôn mặt, bao gồm cả phương pháp truyền thống và học sâu.
Ví dụ, phương pháp Viola-Jones sử dụng các tính năng đặc trưng để nhận dạng khuôn mặt [13], trong khi các mô hình như YOLO (You Only Look Once) dựa trên học sâu để xác định vị trí của các đối tượng [14]. ▪ Bước 2: Xác định/Phân loại trạng thái biểu cảm của khuôn mặt: Sau khi đã xác định được vị trí và định dạng khuôn mặt, bước tiếp theo là xác định hay phân loại trạng thái biểu cảm của khuôn mặt. Đây là bước quan trọng để hiểu cảm xúc của con người dựa trên biểu cảm khuôn mặt. Phương pháp xác định có thể sử dụng học máy truyền thống (machine learning) hoặc học sâu (deep learning).
Trong bước 2, theo cách tiếp cận học máy truyền thống, các đặc trưng thủ công có thể được trích xuất từ khuôn mặt để sử dụng trong việc huấn luyện các mô hình phân loại như SVM (Support Vector Machine) hoặc Random Forest. Việc trích xuất đặc trưng như vậy cần kiến thức chuyên gia và gặp nhiều khó khăn khi đối phó với sự sai lệch của dữ liệu trong thế giới thực. Không giống như phương pháp tiếp cận máy học và thị giác máy tính truyền thống, phương pháp học sâu làm giảm đáng kể sự phụ thuộc vào tiền xử lý hình ảnh và trích xuất đặc trưng (Hình 3). Học sâu thuộc lớp bài toán học dựa trên mô tả, nghĩa là quá trình học từ dữ liệu có nhãn cho phép thuật toán tự tìm cách điều chỉnh các tham số sao cho lựa chọn được các đặc trưng phù hợp nhất, mang tới kết quả tốt cho mô hình.
Việc học các đặc trưng này được thực hiện qua việc tự điều chỉnh các hệ số 9 của hàng loạt lớp trong mạng học sâu bằng cách sử dụng các thuật toán lặp lại như thuật toán giảm gradient. Kể từ đầu thế kỷ 21, học sâu ngày càng trở nên phổ biến vì nó có thể làm giảm đáng kể sự phụ thuộc vào tiền xử lý hình ảnh và trích xuất đặc trưng. Để đạt được kết quả tốt trong cách xử lý bằng học sâu, việc có một tập dữ liệu đủ lớn và đa dạng là rất quan trọng. Tập dữ liệu phong phú gồm các ảnh và video chứa nhiều trạng thái biểu cảm khác nhau từ nhiều nguồn và đối tượng khác nhau sẽ giúp mô hình học sâu hiểu được tốt hơn.
Các mạng học sâu đã thể hiện kết quả ấn tượng khi có bộ dữ liệu đào tạo lớn và tài nguyên tính toán đủ lớn, chẳng hạn như nhiều lõi CPU và / hoặc GPU. Khác biệt chính giữa các thuật toán học máy truyền thống và mạng học sâu nằm ở bước trích chọn đặc trưng [11]. Hình 4 minh họa sơ đồ khối của một hệ thống FER dựa trên học sâu, gồm các bước thực hiện chính là: (1) phát hiện khuôn mặt trong ảnh hoặc video, (2) chuẩn hóa cường độ, kích thước và hình dạng đồng nhất, (3) Đào tạo mạng học sâu. Trong học sâu, mạng nơ-ron tích chập (convolutional neural networks - CNNs) thường được sử dụng để học tự động các đặc trưng từ dữ liệu ảnh và thực hiện việc phân loại.
Khái niệm về mạng nơ-ron tích chập được giới thiệu ban đầu vào cuối những năm 1980, vì chúng rất phù hợp cho việc xử lý dữ liệu có hình dạng ma trận như hình ảnh hoặc vector. Các thành tựu ấn tượng của mạng nơ-ron tích chập (CNN) hoặc mạng nơ-ron tích chập sâu (DCNN) [15] trong các nhiệm vụ như phân loại hình ảnh [3] đã nhanh 10 chóng được mở rộng để áp dụng vào việc nhận diện biểu hiện khuôn mặt. Một kiến trúc điển hình của mô hình DCNN bao gồm nhiều lớp tích chập, lớp gộp và lớp kết nối đầy đủ. Trong suốt những năm qua, nhiều kiến trúc DCNN mới đã được phát triển và tinh chỉnh, một vài trong số đó đã được áp dụng để giải quyết các thách thức trong nhận diện biểu hiện khuôn mặt.
Ví dụ, mô hình CNN truyền thống được phát triển bởi Khorrami và đồng nghiệp vào năm 2015 [16] đã đạt được mức độ chính xác cao trong nhận diện cảm xúc, cụ thể 95,1% trên tập dữ liệu Cohn-Kanade mở rộng (CK+) và 88,6% trên tập dữ liệu Toronto Face (TFD).