Xác định trạng thái biểu cảm khuôn mặt sử dụng học sâu

Nhận diện biểu cảm khuôn mặt (Facial Expression Recognition - FER) là một lĩnh vực nghiên cứu quan… 66 trang · Học viện Công nghệ Bưu chính Viễn thông · 2023.

• Tác giả: Đỗ Hồng Quân
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Xác định trạng thái biểu cảm khuôn mặt sử dụng học sâu
• Loại tài liệu: Đề án tốt nghiệp thạc sĩ kỹ thuật
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN XÁC ĐỊNH TRẠNG THÁI BIỂU CẢM KHUÔN MẶT
• 1.1. Bài toán xác định trạng thái biểu cảm khuôn mặt
• 1.2. Nguyên tắc chung xử lý bài toán FER
• 1.3. Các nghiên cứu liên quan
• 1.4. Kết luận chương
• 2. CHƯƠNG 2: MÔ HÌNH ĐỀ XUẤT
• 2.1. Kiến trúc tổng thể của mô hình đề xuất
• 2.2. Thành phần tích chập phân tách theo chiều sâu
• 2.3. Thành phần khối phần dư
• 2.4. Thành phần cơ chế chú ý
• 2.5. Kết luận chương
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Tập dữ liệu thực nghiệm
• 3.2. Thông số đánh giá
• 3.3. Thực nghiệm và kết quả
• 3.4. So sánh với các nghiên cứu liên quan
• 3.5. Trực quan hóa bản đồ chú ý
• 3.6. Kết luận chương
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nhận diện biểu cảm khuôn mặt bằng học sâu

Nhận diện biểu cảm khuôn mặt (Facial Expression Recognition - FER) là một lĩnh vực nghiên cứu quan trọng trong công nghệ nhận diện hình ảnh. Bài toán này không chỉ giúp phát hiện khuôn mặt mà còn phân loại các trạng thái cảm xúc từ hình ảnh. Việc áp dụng học sâu trong nhận diện biểu cảm khuôn mặt đã mở ra nhiều cơ hội mới cho các ứng dụng trong đời sống, từ chăm sóc khách hàng đến giáo dục thông minh.

1.1. Khái niệm và tầm quan trọng của FER

Nhận diện biểu cảm khuôn mặt là quá trình phân loại các trạng thái cảm xúc từ hình ảnh khuôn mặt. Các biểu cảm cơ bản như giận dữ, hạnh phúc, và buồn bã đều có thể được nhận diện thông qua các thuật toán học sâu. Điều này giúp cải thiện khả năng giao tiếp giữa con người và máy móc.

1.2. Lịch sử phát triển của công nghệ FER

Công nghệ nhận diện biểu cảm khuôn mặt đã trải qua nhiều giai đoạn phát triển. Từ những nghiên cứu ban đầu của Charles Darwin về biểu cảm đến các mô hình học sâu hiện đại như CNN, FER đã trở thành một lĩnh vực nghiên cứu sôi nổi với nhiều ứng dụng thực tiễn.

II. Thách thức trong nhận diện biểu cảm khuôn mặt bằng học sâu

Mặc dù công nghệ FER đã đạt được nhiều thành tựu, nhưng vẫn còn nhiều thách thức cần giải quyết. Các vấn đề như độ chính xác, tốc độ xử lý và khả năng hoạt động trong điều kiện thực tế vẫn là những yếu tố quan trọng cần được cải thiện.

2.1. Độ chính xác trong nhận diện biểu cảm

Độ chính xác của các mô hình FER phụ thuộc vào chất lượng dữ liệu đầu vào. Các mô hình học sâu cần được huấn luyện trên tập dữ liệu lớn và đa dạng để đạt được hiệu suất tốt nhất trong việc nhận diện các biểu cảm khác nhau.

2.2. Tốc độ xử lý và khả năng triển khai

Tốc độ xử lý là một yếu tố quan trọng trong các ứng dụng thời gian thực. Các mô hình học sâu thường yêu cầu tài nguyên tính toán lớn, điều này có thể gây khó khăn trong việc triển khai trên các thiết bị có hạn chế về tài nguyên.

III. Phương pháp học sâu trong nhận diện biểu cảm khuôn mặt

Các phương pháp học sâu đã được áp dụng rộng rãi trong bài toán nhận diện biểu cảm khuôn mặt. Các mô hình như CNN và các biến thể của nó đã chứng minh được hiệu quả trong việc trích xuất đặc trưng từ hình ảnh.

3.1. Mạng nơ ron tích chập CNN trong FER

Mạng nơ-ron tích chập (CNN) là một trong những kiến trúc phổ biến nhất trong nhận diện biểu cảm khuôn mặt. CNN có khả năng tự động học các đặc trưng từ dữ liệu hình ảnh mà không cần phải trích xuất thủ công.

3.2. Các mô hình nhẹ cho FER

Mô hình nhẹ là một xu hướng mới trong nghiên cứu FER, giúp giảm thiểu số lượng tham số mà vẫn đảm bảo hiệu suất cao. Các mô hình như MobileNet và EfficientNet đã được phát triển để đáp ứng nhu cầu này.

IV. Ứng dụng thực tiễn của nhận diện biểu cảm khuôn mặt

Nhận diện biểu cảm khuôn mặt có nhiều ứng dụng thực tiễn trong các lĩnh vực như chăm sóc khách hàng, giáo dục và y tế. Việc hiểu và phân tích cảm xúc của người dùng có thể cải thiện trải nghiệm dịch vụ và tăng cường sự hài lòng.

4.1. Ứng dụng trong chăm sóc khách hàng

Trong lĩnh vực chăm sóc khách hàng, FER giúp nhận diện cảm xúc của khách hàng, từ đó cải thiện chất lượng dịch vụ và tăng cường sự hài lòng của khách hàng.

4.2. Ứng dụng trong giáo dục

FER có thể được sử dụng để theo dõi cảm xúc của học sinh trong lớp học, từ đó giúp giáo viên điều chỉnh phương pháp giảng dạy phù hợp hơn với nhu cầu của học sinh.

V. Kết luận và tương lai của nhận diện biểu cảm khuôn mặt

Nhận diện biểu cảm khuôn mặt bằng học sâu đang trên đà phát triển mạnh mẽ. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều ứng dụng mới và cải tiến trong việc tương tác giữa con người và máy móc.

5.1. Xu hướng phát triển trong nghiên cứu

Nghiên cứu về FER sẽ tiếp tục phát triển với sự xuất hiện của các mô hình học sâu mới và các kỹ thuật tối ưu hóa. Điều này sẽ giúp cải thiện độ chính xác và tốc độ xử lý của các hệ thống nhận diện biểu cảm.

5.2. Tác động đến xã hội

Công nghệ FER có thể tạo ra những thay đổi tích cực trong nhiều lĩnh vực, từ chăm sóc sức khỏe đến giáo dục, giúp cải thiện chất lượng cuộc sống và tăng cường sự hiểu biết giữa con người.

Nội dung chính

Tổng quan nghiên cứu

Bài toán xác định trạng thái biểu cảm khuôn mặt (Facial Expression Recognition - FER) giữ vai trò then chốt trong lĩnh vực thị giác máy tính và khai phá dữ liệu đa phương tiện. Xuất phát từ nền tảng phân loại 7 trạng thái cảm xúc cơ bản của con người bao gồm giận dữ, ghê rợn, sợ hãi, hạnh phúc, bình thường, buồn bã và ngạc nhiên, các hệ thống FER mở ra tiềm năng ứng dụng sâu rộng trong tư vấn chăm sóc khách hàng, giáo dục thông minh và dịch vụ công.

Tuy nhiên, các kiến trúc học sâu kinh điển như AlexNet, VGGNet hay ResNet thường phụ thuộc vào việc xếp chồng nhiều tầng tích chập sâu, dẫn đến số lượng tham số khổng lồ từ hàng chục đến hàng trăm triệu tham số và độ trễ suy luận cao, gây rào cản lớn khi triển khai trên các thiết bị biên có tài nguyên tính toán hạn chế.

Luận văn thạc sĩ kỹ thuật ngành Khoa học máy tính tại Học viện Công nghệ Bưu chính Viễn thông trong giai đoạn 2021 – 2023 tập trung giải quyết triệt để bài toán tối ưu hóa này. Mục tiêu trọng tâm của nghiên cứu là thiết kế một kiến trúc học sâu siêu nhẹ (lightweight model), tích hợp hài hòa giữa tích chập phân tách theo chiều sâu, khối phần dư và cơ chế chú ý theo kênh lẫn không gian.

Công trình đã tối ưu hóa kích thước mô hình xuống chỉ còn 64.176 tham số với dung lượng lưu trữ vỏn vẹn 0,32 MB và thời gian xử lý cực nhanh đạt 0,004 giây trên mỗi khung hình, tương đương tốc độ xử lý thời gian thực 250 khung hình/giây. Nghiên cứu mang ý nghĩa thực tiễn lớn, chứng minh khả năng duy trì độ chính xác nhận dạng vượt trội trên 4 bộ dữ liệu chuẩn quốc tế trong khi giảm thiểu hơn 70 lần số lượng tham số so với các mô hình tiêu chuẩn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng mạng nơ-ron tích chập sâu (DCNN) kết hợp cùng 4 trụ cột lý thuyết thị giác máy tính hiện đại nhằm tối ưu hóa hiệu năng tính toán:

• Tích chập phân tách theo chiều sâu (Depthwise Separable Convolution - DSC): Phân rã phép tích chập không gian truyền thống thành hai giai đoạn độc lập: tích chập theo chiều sâu (Depthwise Convolution) với kích thước bộ lọc 3x3 trên từng kênh riêng biệt và tích chập theo điểm (Pointwise Convolution) với bộ lọc 1x1 trên toàn bộ các kênh. Kỹ thuật này giúp giảm số lượng tham số tính toán từ mức tích số của kích thước không gian và số kênh đầu vào - đầu ra xuống chỉ còn mức tổng số các thành phần.
• Cơ chế khối phần dư (Residual Block): Kế thừa nguyên lý nối tắt (skip connection) với phép chiếu, mô hình biểu diễn quan hệ ánh xạ phần dư giúp luồng gradient lan truyền trực tiếp qua các tầng mạng, triệt tiêu hiện tượng mất dần gradient và đẩy nhanh tốc độ hội tụ qua 300 chu kỳ huấn luyện.
• Mô-đun khối chú ý tích chập (CBAM): Tích hợp nối tiếp hai thành phần là Mô-đun chú ý theo kênh (Channel Attention Module - CAM) và Mô-đun chú ý theo không gian (Spatial Attention Module - SAM). Cơ chế này tự động học trọng số để tập trung biểu diễn vào các vùng giàu thông tin cảm xúc nhất trên khuôn mặt như mắt, mũi và miệng.
• Tổng hợp trung bình toàn cục (Global Average Pooling 2D - GAP): Thay thế toàn bộ các lớp kết nối đầy đủ (Fully Connected) cồng kềnh ở phần phân loại, kết hợp hàm kích hoạt Softmax và hàm mất mát Cross-Entropy nhằm hạn chế hiện tượng quá khớp (overfitting).

Phương pháp nghiên cứu

Nghiên cứu thực hiện quy trình thực nghiệm nghiêm ngặt trên 4 bộ dữ liệu chuẩn quốc tế với các đặc tính phân phối đa dạng:

• Bộ dữ liệu CK+ (Extended Cohn-Kanade): Gồm 593 chuỗi hình ảnh của 123 đối tượng trong điều kiện phòng thí nghiệm tiêu chuẩn, đại diện cho 7 nhóm biểu cảm cơ bản.
• Bộ dữ liệu FER2013: Bao gồm 35.887 hình ảnh thang độ xám kích thước 48x48 pixel từ môi trường không kiểm soát với độ biến thiên cao và mức độ mất cân bằng lớp lớn.
• Bộ dữ liệu FER-Plus: Gồm 35.483 hình ảnh được hiệu chỉnh nhãn chất lượng cao từ FER2013 thông qua phân phối xác suất đánh giá của 10 chuyên gia gán nhãn.
• Bộ dữ liệu RAF-DB: Cơ sở dữ liệu cảm xúc khuôn mặt thực tế gồm 15.339 ảnh màu RGB kích thước 100x100 pixel với các góc chụp nghiêng và điều kiện ánh sáng phức tạp.

Về phương pháp phân chia mẫu: Tập dữ liệu FER2013 và FER-Plus được phân chia theo tỷ lệ 8-1-1 tương ứng 28.709 ảnh huấn luyện, 3.589 ảnh kiểm định và 3.589 ảnh kiểm tra độc lập. Hai bộ dữ liệu CK+ và RAF-DB được phân chia theo tỷ lệ 7-1-2 cho các tập huấn luyện, kiểm định tinh chỉnh siêu tham số và kiểm tra đánh giá cuối cùng.

Toàn bộ hệ thống được lập trình trên nền tảng PyTorch và hệ điều hành Ubuntu 20.04. Môi trường tính toán sử dụng phần cứng chuyên dụng gồm GPU NVIDIA GeForce RTX 3060 bộ nhớ 12GB VRAM và CPU Intel Core i5 12600K bộ nhớ 16GB RAM. Quá trình huấn luyện diễn ra trong 300 epochs với kích thước mỗi batch là 64 mẫu, tối ưu hóa bằng thuật toán AdamW với tốc độ học ban đầu 0,001 kết hợp chiến lược điều chỉnh tự động ReduceLROnPlateau và kỹ thuật khởi tạo trọng số Kaiming.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh hiệu năng nổi bật của mô hình đề xuất thông qua 4 phát hiện trọng tâm:

1. Độ chính xác vượt trội trên các bộ dữ liệu chuẩn: Mô hình đạt độ chính xác phân loại ấn tượng 98,98% trên tập dữ liệu CK+, 80,75% trên tập dữ liệu thực tế RAF-DB, 79,36% trên tập dữ liệu hiệu chỉnh FER-Plus và đạt 69,38% trên tập dữ liệu có độ nhiễu cao FER2013.
2. Tối ưu hóa dung lượng và thông số cực hạn: Mô hình chỉ sử dụng tổng cộng 64.176 tham số, chiếm dung lượng lưu trữ trên đĩa chỉ 0,32 MB. Tốc độ suy luận đạt 0,004 giây/ảnh, đáp ứng hoàn hảo yêu cầu xử lý luồng video trực tiếp với tần số quét trên 200 Hz.
3. Hiệu năng áp đảo các mạng nơ-ron cùng phân khúc: So với các kiến trúc nhẹ phổ biến, mô hình đề xuất vượt trội hơn hẳn MobileNet V1 với 3.213.575 tham số (đạt 79,34% trên RAF-DB) và MobileNet V3 với 4.210.711 tham số (đạt 71,10% trên FER-Plus). Đồng thời, mô hình vượt qua cấu trúc DSC+RE+SE (54.900 tham số, đạt 66,08%) và MTCNN+RE+DSC (58.423 tham số, đạt 67,52%) trên tập dữ liệu FER2013.
4. Tính ưu việt của thiết kế tích hợp so với tích chập thuần túy: Phân tích thực nghiệm kiểm chứng (ablation study) cho thấy khi thay thế toàn bộ các lớp tích chập phân tách theo chiều sâu bằng các lớp tích chập tiêu chuẩn, số lượng tham số mô hình tăng vọt gấp 5 lần lên 321.816 tham số và dung lượng tăng lên 1,55 MB nhưng độ chính xác nhận dạng lại suy giảm trên tất cả các tập dữ liệu thử nghiệm.

Thảo luận kết quả

Hiệu suất xuất sắc của mô hình xuất phát từ sự kết hợp chặt chẽ giữa 3 phân vùng cấu trúc: phần Mở rộng (Expansion Part) trích xuất đặc trưng thô qua 8 bộ lọc kích thước 3x3; phần Tích chập chiều sâu (Depthwise Part) gồm 4 khối dư kết hợp bộ lọc tăng dần từ 16, 32, 64 đến 128; và phần Phân loại (Classifier Part) tinh gọn với Global Average Pooling 2D.

Khi trực quan hóa ma trận nhầm lẫn (Confusion Matrix), mô hình thể hiện năng lực nhận diện vượt trội đối với cảm xúc "Hạnh phúc" với độ chính xác đạt trên 87% xuyên suốt cả 4 bộ dữ liệu, và đạt tỷ lệ chính xác tuyệt đối 100% cho 6 trên 7 trạng thái cảm xúc trên tập dữ liệu CK+. Đối với các tập dữ liệu có độ phức tạp cao ngoài thực tế như FER2013 và RAF-DB, sai số chủ yếu xuất hiện ở các nhóm biểu cảm có số lượng mẫu hạn chế như "Ghê rợn" và "Sợ hãi".

Biểu đồ nhiệt từ bản đồ chú ý (Attention Maps) cung cấp khả năng diễn giải trực quan cơ chế trích chọn đặc trưng:

• Đối với biểu cảm "Tức giận": Vùng chú ý tập trung dày đặc tại khu vực chân mày, sống mũi và khóe miệng.
• Đối với biểu cảm "Kinh tởm": Trọng số chú ý định vị chính xác nếp nhăn vùng mũi.
• Đối với biểu cảm "Sợ hãi": Bản đồ kích hoạt lan rộng trên toàn bộ các giác quan gồm mắt mở to, cánh mũi và khuôn miệng.
• Đối với biểu cảm "Hạnh phúc": Cơ chế chú ý tập trung mạnh vào rãnh mũi - má và cơ gò má, tạo ra sự phân biệt rõ ràng so với biểu cảm "Ngạc nhiên" vốn có vùng miệng mở rộng nhưng cơ má không nâng cao.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm đạt được, luận văn đưa ra 4 khuyến nghị và định hướng hành động cụ thể:

1. Triển khai nhúng mô hình lên phần cứng biên: Các kỹ sư giải pháp cần thực hiện chuyển đổi mô hình sang các định dạng tối ưu như ONNX và TensorRT để nhúng trực tiếp lên các vi xử lý IoT (như Raspberry Pi 4 hoặc Jetson Nano), nhằm duy trì tốc độ nhận diện thực tế trên 60 FPS với mức tiêu thụ điện năng dưới 5W trong năm 2024.
2. Ứng dụng giám sát thông minh trong dịch vụ công và bán lẻ: Các tổ chức hành chính và doanh nghiệp dịch vụ nên tích hợp thuật toán FER vào hệ thống camera giám sát tại quầy giao dịch, tự động hóa đo lường chỉ số hài lòng khách hàng (CSAT) đạt độ chính xác mục tiêu trên 85% trước quý II/2025.
3. Xây dựng bộ dữ liệu khuôn mặt đặc trưng bản địa: Các viện nghiên cứu và trường đại học cần chủ trì thu thập bộ dữ liệu biểu cảm khuôn mặt người Việt Nam với quy mô tối thiểu 50.000 mẫu chuẩn hóa đa góc nhìn, giải quyết triệt để vấn đề thiên lệch dữ liệu và nâng cao độ chính xác nhận diện nội địa trong giai đoạn 2024 – 2026.
4. Phát triển cơ chế nhận dạng cảm xúc đa phương thức: Các nhóm phát triển AI nên kết hợp dữ liệu thị giác từ mô hình FER siêu nhẹ với tín hiệu âm thanh giọng nói và cử chỉ sinh trắc học, hướng tới nâng cao độ tin cậy nhận diện trong điều kiện khuôn mặt bị che khuất một phần lên mức trên 88% vào năm 2025.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn nghiên cứu mang lại giá trị thực tiễn cao cho 4 nhóm đối tượng chuyên môn:

• Kỹ sư AI và Lập trình viên hệ thống nhúng (Edge AI Developers): Nắm bắt kỹ thuật thiết kế mạng nơ-ron nhỏ gọn chỉ 64.176 tham số, tối ưu hóa bộ nhớ đệm và giảm thời gian suy luận xuống 0,004 giây trên các thiết bị giới hạn tài nguyên.
• Học viên cao học và Nghiên cứu sinh ngành Thị giác máy tính: Tiếp cận phương pháp luận thực nghiệm chuẩn mực trên 4 tập dữ liệu lớn, quy trình tinh chỉnh siêu tham số tối ưu và kỹ thuật trực quan hóa bản đồ chú ý CBAM nhằm nâng cao tính giải thích của mô hình học sâu.
• Nhà phát triển nền tảng Giáo dục thông minh (EdTech): Ứng dụng mô hình để phân tích tự động mức độ tập trung, hứng thú và cảm xúc của người học qua webcam trong các lớp học trực tuyến mà không gây quá tải cho hạ tầng máy chủ.
• Chuyên gia trải nghiệm khách hàng và Quản trị dịch vụ công: Khai thác giải pháp phân tích cảm xúc thời gian thực tại các điểm tiếp xúc khách hàng nhằm tự động hóa quy trình đánh giá chất lượng dịch vụ và nâng cao hiệu quả vận hành tổ chức.

Câu hỏi thường gặp

1. Kiến trúc mô hình đề xuất có điểm gì khác biệt so với các mạng MobileNet truyền thống?
Thay vì thay thế toàn bộ bằng tích chập phân tách theo chiều sâu như MobileNet, mô hình kết hợp xen kẽ giữa tích chập tiêu chuẩn ở tầng mở rộng, tích chập phân tách theo chiều sâu trong 4 khối dư và mô-đun chú ý CBAM. Cấu trúc này giúp giảm tham số xuống chỉ 64.176 nhưng vẫn bảo toàn đầy đủ các đặc trưng không gian quan trọng.

2. Tại sao mô hình có thể đạt tốc độ suy luận nhanh tới 0,004 giây mỗi hình ảnh?
Tốc độ 0,004 giây/ảnh (tương đương 250 FPS) đạt được nhờ loại bỏ các tầng kết nối toàn bộ (Fully Connected) vốn chiếm nhiều phép tính, thay bằng tầng Global Average Pooling 2D và tích chập phân tách theo chiều sâu, giúp cắt giảm tối đa số lượng phép tính nhân cộng ma trận.

3. Cơ chế chú ý CBAM giúp cải thiện độ chính xác nhận diện cảm xúc như thế nào?
CBAM kết hợp mô-đun chú ý theo kênh (CAM) để gán trọng số cho các kênh đặc trưng quan trọng và mô-đun chú ý không gian (SAM) để tập trung vào các vùng biến đổi cục bộ như chân mày, khóe mắt, sống mũi và khóe miệng, giúp mô hình đạt 98,98% độ chính xác trên CK+.

4. Mô hình xử lý thách thức mất cân bằng dữ liệu trên tập FER2013 như thế nào?
Nghiên cứu áp dụng hàm mất mát Cross-Entropy kết hợp bộ tối ưu AdamW với tốc độ học 0,001 và lịch biểu ReduceLROnPlateau trong 300 epochs. Nhờ đó, mô hình đạt độ chính xác 69,38% trên tập kiểm tra FER2013, vượt qua nhiều mô hình có tham số tương đương.

5. Mô hình có thể triển khai thực tế trên các thiết bị di động không cần kết nối mạng không?
Với dung lượng lưu trữ cực nhỏ chỉ 0,32 MB và lượng tham số 64.176, mô hình hoàn toàn có thể nhúng trực tiếp vào bộ nhớ cục bộ của chip xử lý trên smartphone hoặc vi điều khiển AI mà không cần gửi dữ liệu về máy chủ đám mây, đảm bảo tính riêng tư và thời gian thực.

Kết luận

Nghiên cứu "Xác định trạng thái biểu cảm khuôn mặt sử dụng học sâu" đã mang lại những đóng góp khoa học và ứng dụng thực tiễn nổi bật:

• Xây dựng thành công kiến trúc mạng nơ-ron học sâu siêu nhẹ với chỉ 64.176 tham số và dung lượng bộ nhớ tối thiểu 0,32 MB.
• Tích hợp hiệu quả bộ ba kỹ thuật: Tích chập phân tách theo chiều sâu, Khối phần dư và Mô-đun chú ý không gian - kênh CBAM.
• Đạt độ chính xác nhận diện ấn tượng 98,98% trên bộ dữ liệu CK+, 80,75% trên RAF-DB, 79,36% trên FER-Plus và 69,38% trên FER2013.
• Đảm bảo tốc độ xử lý vượt trội đạt 0,004 giây/ảnh (250 FPS), sẵn sàng đáp ứng yêu cầu suy luận thời gian thực trên các thiết bị biên.
• Làm sáng tỏ cơ chế trích xuất đặc trưng cảm xúc thông qua trực quan hóa bản đồ chú ý, nâng cao độ tin cậy và tính giải thích của hệ thống AI.

Trong giai đoạn 2024 – 2025, hướng phát triển tiếp theo sẽ tập trung vào kỹ thuật lượng tử hóa trọng số (Quantization) và mở rộng nhận diện cảm xúc đa góc mặt trong môi trường thực tế. Các cá nhân và đơn vị nghiên cứu quan tâm có thể khai thác trực tiếp cấu trúc mô hình này để ứng dụng vào các hệ thống tương tác người - máy thông minh và chuyển đổi số quản trị trải nghiệm khách hàng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN XÁC ĐỊNH TRẠNG THÁI BIỂU CẢM KHUÔN MẶT Trạng thái biểu cảm khuôn mặt là một khía cạnh quan trọng của giao tiếp. Khi con người giao tiếp với nhau, thường sử dụng biểu cảm khuôn mặt để truyền đạt cảm xúc, ý kiến và thông điệp. Bài toán xác định trạng thái biểu cảm khuôn mặt yêu cầu phân loại và nhận dạng các trạng thái biểu cảm từ hình ảnh khuôn mặt. Đây là một trong những nhiệm vụ quan trọng có nhiều ứng dụng rộng rãi như tư vấn chăm sóc khách hàng, giáo dục thông minh, hay đánh giá mức độ hài lòng của người dân trong các dịch vụ công.

Trong chương này, học viên sẽ giới thiệu chung về bài toán xác định trạng thái biểu cảm khuôn mặt, nguyên tắc chung xử lý bài toán, và lược khảo các nghiên cứu liên quan. Bài toán xác định trạng thái biểu cảm khuôn mặt Biểu cảm đóng vai trò quan trọng trong mọi khía cạnh của cuộc sống, từ cách con người tương tác, làm việc, và thậm chí khi đưa ra quyết định. Vào năm 1872, Charles Darwin đã xuất bản cuốn sách “The Expression of the Emotions in Man and Animals" (Sự thể hiện biểu cảm ở người và động vật), trong đó ông lập luận rằng tất cả con người và thậm chí các loài động vật khác đều thể hiện biểu cảm thông qua các hành vi tương tự nhau. Darwin xem xét biểu cảm như là các thực thể hoặc mô-đun riêng biệt, như sự tức giận, sợ hãi, kinh tởm và nhiều biểu cảm khác.

Nhiều nghiên cứu về khoa học thần kinh, nhận thức và bằng chứng đa văn hóa đã chứng minh rằng quan điểm của Darwin về biểu cảm như các thực thể riêng biệt là chính xác. Paul Ekman, một nhà tâm lý học nổi tiếng, tiếp tục nghiên cứu về biểu cảm và vào năm 1992, ông đã đưa ra một phân loại cụ thể về 7 biểu cảm khuôn mặt cơ bản [10] - như được minh họa trong Hình 2, cụ thể như sau. 6 ▪ Giận dữ (Angry): Biểu cảm của sự tức giận thường được thể hiện qua khuôn mặt sưng húp, lông mày dựng cao và mắt sáng hơn. Các cử chỉ cơ thể cũng thể hiện sự căng thẳng và thể hiện mong muốn thể hiện mình mạnh mẽ.

▪ Kinh tởm (Disgust): Sự kinh tởm thường được biểu thị bằng biểu cảm mặt trở nên biến dạng, mày nhíu chặt lại và mũi nhăn lại. Đây là phản ứng tự nhiên trước những thứ không mong muốn hoặc đáng ghét. ▪ Sợ hãi (Fear): Biểu cảm sợ hãi thường bao gồm mắt to tròn, mày cao, miệng mở hơi, và cơ thể có thể rút lại. Đây là phản ứng tự nhiên trước mối nguy hiểm hoặc rủi ro.

▪ Hạnh phúc (Happiness): Biểu cảm hạnh phúc thường hiện ra qua mắt sáng, nụ cười và các biểu hiện tích cực khác trên khuôn mặt. Đây là dấu hiệu của tâm trạng thoải mái và vui vẻ. ▪ Trạng thái bình thường (Neutral): Trạng thái bình thường không biểu thị bất kỳ cảm xúc cụ thể nào, là một trạng thái trung lập trong biểu cảm. ▪ Buồn bã (Sadness): Biểu cảm buồn bã thường thể hiện qua miệng khép lại, mắt mờ đi và khuôn mặt trở nên uể oải.

Đây là dấu hiệu của tâm trạng không vui và chán nản. ▪ Ngạc nhiên (Surprise): Sự ngạc nhiên thường được biểu thị bằng mắt to tròn, miệng mở lớn và khuôn mặt tỏ ra kinh ngạc. Đây là phản ứng tự nhiên trước những sự kiện bất ngờ. Các biểu cảm này được gọi là 7 biểu cảm cơ bản và đã được sử dụng rộng rãi trong nghiên cứu để hiểu sâu hơn về cách con người thể hiện và nhận diện cảm xúc thông qua biểu cảm khuôn mặt.

Việc hiểu và áp dụng các kiến thức về biểu cảm này có thể cải thiện khả năng giao tiếp, xây dựng mối quan hệ, và thúc đẩy sự thấu hiểu giữa con người. Bảy biểu cảm cơ bản - ảnh lấy từ tập dữ liệu FER-Plus [2]. Xác định hay nhận dạng trạng thái biểu cảm khuôn mặt (Facial Expression Reconigtion - FER) là bài toán có tiềm năng ứng dụng cao trong nhiều lĩnh vực khác nhau, đóng góp quan trọng vào sự phát triển của xã hội thông minh và tương tác con người - máy móc. Các ứng dụng của FER có thể bao gồm tư vấn chăm sóc khách hàng, giáo dục thông minh và đánh giá mức độ hài lòng của đối tượng trong các dịch vụ công.

Trong tư vấn chăm sóc khách hàng, FER giúp tăng cường khả năng tương tác và đáp ứng khách hàng một cách tốt hơn, cải thiện trải nghiệm dịch vụ và tạo sự hài lòng cao hơn. Trong giáo dục thông minh, FER có thể giúp giáo viên và nhà quản lý hiểu được mức độ tham gia và sự tương tác của học sinh, từ đó tạo điều kiện tốt nhất để tăng cường quá trình học tập và đáp ứng nhu cầu của từng học sinh. FER cũng có thể được áp dụng trong đánh giá mức độ hài lòng của người dân trong các dịch vụ công, như dịch vụ khách hàng, dịch vụ y tế hoặc dịch vụ công cộng. Thông qua việc hiểu được cảm xúc của người dùng, các cơ quan và tổ chức có thể điều chỉnh và cải thiện dịch vụ để đáp ứng tốt hơn nhu cầu và mong muốn của người dùng.

Bài toán thuộc lớp các bài toán khai phá dữ liệu từ ảnh và video. Nhận đầu vào là dữ liệu ảnh hoặc video, bài toán đầu tiên sẽ phát hiện các khuôn mặt có trong hình/video, và sau đó xác định/phân loại trạng thái khuôn mặt thành 7 loại cảm xúc cơ bản kể trên. Trong phạm vi nghiên cứu của đề án, học viên tập trung vào bước 2 – học viên đề xuất xây dựng mô hình học sâu nhỏ gọn để tiến hành xác định trạng thái biểu cảm khuôn mặt. Điều này đồng nghĩa với việc đầu vào đã có sẵn dữ liệu ảnh khuôn mặt được trích xuất từ ảnh hoặc video.

Nguyên tắc chung xử lý bài toán FER Trong những thập kỷ qua, bài toán xác định trạng thái biểu cảm khuôn mặt đã trở thành một nhánh nghiên cứu tích cực với nhiều thuật toán đã được đề xuất để giải quyết vấn đề này [11] [12]. Quá trình giải quyết bài toán FER thường bao gồm hai bước chính sau. ▪ Bước 1: Phát hiện khuôn mặt trong ảnh hoặc video: Bước này tập trung vào việc xác định vị trí và định dạng của các khuôn mặt có trong hình ảnh hoặc video. Có nhiều phương pháp khác nhau để thực hiện việc phát hiện khuôn mặt, bao gồm cả phương pháp truyền thống và học sâu.

Ví dụ, phương pháp Viola-Jones sử dụng các tính năng đặc trưng để nhận dạng khuôn mặt [13], trong khi các mô hình như YOLO (You Only Look Once) dựa trên học sâu để xác định vị trí của các đối tượng [14]. ▪ Bước 2: Xác định/Phân loại trạng thái biểu cảm của khuôn mặt: Sau khi đã xác định được vị trí và định dạng khuôn mặt, bước tiếp theo là xác định hay phân loại trạng thái biểu cảm của khuôn mặt. Đây là bước quan trọng để hiểu cảm xúc của con người dựa trên biểu cảm khuôn mặt. Phương pháp xác định có thể sử dụng học máy truyền thống (machine learning) hoặc học sâu (deep learning).

Trong bước 2, theo cách tiếp cận học máy truyền thống, các đặc trưng thủ công có thể được trích xuất từ khuôn mặt để sử dụng trong việc huấn luyện các mô hình phân loại như SVM (Support Vector Machine) hoặc Random Forest. Việc trích xuất đặc trưng như vậy cần kiến thức chuyên gia và gặp nhiều khó khăn khi đối phó với sự sai lệch của dữ liệu trong thế giới thực. Không giống như phương pháp tiếp cận máy học và thị giác máy tính truyền thống, phương pháp học sâu làm giảm đáng kể sự phụ thuộc vào tiền xử lý hình ảnh và trích xuất đặc trưng (Hình 3). Học sâu thuộc lớp bài toán học dựa trên mô tả, nghĩa là quá trình học từ dữ liệu có nhãn cho phép thuật toán tự tìm cách điều chỉnh các tham số sao cho lựa chọn được các đặc trưng phù hợp nhất, mang tới kết quả tốt cho mô hình.

Việc học các đặc trưng này được thực hiện qua việc tự điều chỉnh các hệ số 9 của hàng loạt lớp trong mạng học sâu bằng cách sử dụng các thuật toán lặp lại như thuật toán giảm gradient. Kể từ đầu thế kỷ 21, học sâu ngày càng trở nên phổ biến vì nó có thể làm giảm đáng kể sự phụ thuộc vào tiền xử lý hình ảnh và trích xuất đặc trưng. Để đạt được kết quả tốt trong cách xử lý bằng học sâu, việc có một tập dữ liệu đủ lớn và đa dạng là rất quan trọng. Tập dữ liệu phong phú gồm các ảnh và video chứa nhiều trạng thái biểu cảm khác nhau từ nhiều nguồn và đối tượng khác nhau sẽ giúp mô hình học sâu hiểu được tốt hơn.

Các mạng học sâu đã thể hiện kết quả ấn tượng khi có bộ dữ liệu đào tạo lớn và tài nguyên tính toán đủ lớn, chẳng hạn như nhiều lõi CPU và / hoặc GPU. Khác biệt chính giữa các thuật toán học máy truyền thống và mạng học sâu nằm ở bước trích chọn đặc trưng [11]. Hình 4 minh họa sơ đồ khối của một hệ thống FER dựa trên học sâu, gồm các bước thực hiện chính là: (1) phát hiện khuôn mặt trong ảnh hoặc video, (2) chuẩn hóa cường độ, kích thước và hình dạng đồng nhất, (3) Đào tạo mạng học sâu. Trong học sâu, mạng nơ-ron tích chập (convolutional neural networks - CNNs) thường được sử dụng để học tự động các đặc trưng từ dữ liệu ảnh và thực hiện việc phân loại.

Khái niệm về mạng nơ-ron tích chập được giới thiệu ban đầu vào cuối những năm 1980, vì chúng rất phù hợp cho việc xử lý dữ liệu có hình dạng ma trận như hình ảnh hoặc vector. Các thành tựu ấn tượng của mạng nơ-ron tích chập (CNN) hoặc mạng nơ-ron tích chập sâu (DCNN) [15] trong các nhiệm vụ như phân loại hình ảnh [3] đã nhanh 10 chóng được mở rộng để áp dụng vào việc nhận diện biểu hiện khuôn mặt. Một kiến trúc điển hình của mô hình DCNN bao gồm nhiều lớp tích chập, lớp gộp và lớp kết nối đầy đủ. Trong suốt những năm qua, nhiều kiến trúc DCNN mới đã được phát triển và tinh chỉnh, một vài trong số đó đã được áp dụng để giải quyết các thách thức trong nhận diện biểu hiện khuôn mặt.

Ví dụ, mô hình CNN truyền thống được phát triển bởi Khorrami và đồng nghiệp vào năm 2015 [16] đã đạt được mức độ chính xác cao trong nhận diện cảm xúc, cụ thể 95,1% trên tập dữ liệu Cohn-Kanade mở rộng (CK+) và 88,6% trên tập dữ liệu Toronto Face (TFD).