Bối cảnh và vấn đề nghiên cứu

Trong tiến trình phát triển của Trí tuệ Nhân tạo (AI) và cuộc Cách mạng Công nghiệp lần thứ tư, Thị giác Máy tính (Computer Vision) đóng vai trò then chốt trong việc hỗ trợ máy tính tiếp nhận và xử lý thông tin hình ảnh tương tự cơ chế thị giác của con người. Trong các bài toán thị giác máy tính, nhận diện cảm xúc khuôn mặt người (Facial Emotion Recognition - FER) là một hướng nghiên cứu quan trọng với phạm vi ứng dụng rộng rãi. Dựa trên khảo sát thị trường từ Mordor Intelligence được trích dẫn trong công trình, giá trị thị trường của công nghệ nhận diện cảm xúc đạt quy mô 19,87 tỉ USD với tốc độ tăng trưởng 18%, phản ánh nhu cầu triển khai thực tế ngày càng tăng trong các ngành dịch vụ, bán lẻ, phân tích phản hồi khách hàng và hệ thống camera hành trình nhằm giám sát trạng thái của tài xế.

Các bài toán phân tích cảm xúc khuôn mặt thường tiếp cận qua hai dạng dữ liệu đầu vào:

  • Ảnh tĩnh: Tập trung trích xuất đặc trưng hình thái khuôn mặt trên từng khung hình độc lập để phân loại.
  • Chuỗi ảnh động (video): Khai thác sự biến thiên và nhịp độ tương quan giữa các khung hình liên tiếp để xác định nhãn cảm xúc.

Vấn đề cốt lõi được đặt ra trong khóa luận là sự mất cân đối giữa chất lượng mô hình và chi phí tính toán. Phần lớn các mô hình học sâu hiện đại đạt độ chính xác cao thường sở hữu lượng tham số lớn và cấu trúc tính toán phức tạp, đòi hỏi cấu hình phần cứng chuyên dụng (GPU cao cấp). Khi triển khai vào các hệ thống dịch vụ thực tế hoặc thiết bị đầu cuối với tài nguyên hạn chế, những mô hình này gặp trở ngại lớn về tốc độ phản hồi, không đáp ứng được yêu cầu xử lý trong thời gian thực (real-time). Từ thực tiễn đó, tác giả lựa chọn nghiên cứu giải pháp tối ưu hóa nhằm dung hòa giữa độ chính xác và tốc độ thực thi cho bài toán nhận diện cảm xúc khuôn mặt từ ảnh tĩnh trích xuất qua camera.

Mục tiêu nghiên cứu cụ thể của khóa luận bao gồm 5 nhiệm vụ:

  1. Phân tích và đánh giá một số phương pháp nhận diện cảm xúc khuôn mặt hiện đại sử dụng học sâu (Deep Learning).
  2. So sánh các phương pháp tiêu biểu, qua đó đề xuất phương pháp phù hợp cho bài toán xử lý thời gian thực.
  3. Cài đặt, hiện thực và đánh giá kết quả của các phương pháp trên tập dữ liệu chuẩn dựa trên các độ đo tiêu chuẩn của bài toán nhận diện, phân loại cảm xúc.
  4. Huấn luyện mô hình có khả năng thực thi tiệm cận thời gian thực với độ chính xác ở mức chấp nhận được.
  5. Xây dựng ứng dụng minh họa cho bài toán nhận diện cảm xúc khuôn mặt.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Khuôn mặt người và các biểu hiện cảm xúc trên ảnh tĩnh trích xuất từ camera.
  • Phạm vi dữ liệu: Khóa luận tập trung vào nhóm bộ dữ liệu không ràng buộc (unconstrained database), cụ thể là tập dữ liệu chuẩn FER2013. Tác giả không sử dụng các bộ dữ liệu ràng buộc trong phòng thí nghiệm (như CK+, JAFFE, MMI) do mục tiêu hướng tới môi trường thực tế với điều kiện chiếu sáng và góc nghiêng phức tạp.
  • Phạm vi không gian và thời gian: Khóa luận được thực hiện tại Khoa Khoa học Máy tính, Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh, hoàn thành và bảo vệ vào tháng 12 năm 2021.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống nhận diện cảm xúc hoàn chỉnh gồm hai module độc lập: module phát hiện vùng khuôn mặt (Face Detection) và module phân loại cảm xúc khuôn mặt (Facial Emotion Classification).

Cơ sở lý thuyết phân loại cảm xúc

Cơ sở lý luận về biểu hiện cảm xúc dựa trên công trình của Paul Ekman và cộng sự về Hệ thống mã hóa hành động trên khuôn mặt (Facial Action Coding System - FACS). FACS phân rã các biểu cảm khuôn mặt thành các chuyển động cơ học quan sát được bằng mắt thường, gọi là các Đơn vị Hành động (Action Units - AU). Dựa trên sự kết hợp của các AU, cảm xúc con người được phân định thành 7 nhóm nhãn cơ bản:

Cảm xúc Đơn vị Hành động (Action Units - AU) kết hợp
Hạnh phúc (Happy) AU6 + AU12
Buồn bã (Sad) AU1 + AU4 + AU15
Bất ngờ (Surprise) AU1 + AU2 + AU5B hoặc AU1 + AU26
Sợ hãi (Fear) AU1 + AU4 + AU5 + AU7 + AU20 + AU26
Tức giận (Angry) AU4 + AU5 + AU7 + AU23
Kinh tởm (Disgust) AU9 + AU15 + AU17
Khinh thường (Contempt) R12A + R14A

Trong khuôn khổ khóa luận, bài toán phân loại tập trung vào 7 nhãn cảm xúc phổ biến: Tức giận, Kinh tởm, Sợ hãi, Hạnh phúc, Buồn, Bất ngờ và Tự nhiên (Neutral).

Phương pháp phát hiện khuôn mặt

Ba phương pháp tiếp cận được phân tích và đưa vào thực nghiệm:

  1. Thuật toán Viola & Jones (Haar Cascade): Sử dụng các đặc trưng dạng Haar (Two-Rectangle, Three-Rectangle, Four-Rectangle), tính toán nhanh thông qua ma trận ảnh tích hợp (Integral Image), kết hợp thuật toán tăng cường thích ứng AdaBoost để chọn lọc đặc trưng tối ưu và kiến trúc phân lớp tầng (Cascaded Classifier) nhằm loại bỏ nhanh các vùng không chứa khuôn mặt.
  2. Phương pháp Face-SSD: Ứng dụng kiến trúc mạng nơ-ron phát hiện đối tượng Single Shot MultiBox Detector (SSD) kết hợp kỹ thuật trích xuất khối hình dáng (blob) được triển khai qua thư viện OpenCV.
  3. Phương pháp BlazeFace: Kiến trúc mạng nơ-ron tích chập nhẹ được phát triển tối ưu cho thiết bị di động và xử lý GPU. BlazeFace sử dụng khối Blaze cấu thành từ tích chập tách rời theo chiều sâu (Depthwise Convolution 5x5 kết hợp Pointwise Convolution 1x1 lấy cảm hứng từ MobileNetV1), áp dụng mạng kim tự tháp gộp (feature map nhỏ nhất ở mức 8x8) và tăng số lượng hộp neo (anchor boxes) từ 690 lên 896 hộp để nâng cao độ chính xác định vị.

Phương pháp phân loại cảm xúc

Khóa luận so sánh hai trường phái:

  • Phương pháp truyền thống: Sử dụng các thuật toán trích xuất đặc trưng thủ công như biểu đồ hướng dải màu (HOG) kết hợp máy véc-tơ hỗ trợ (SVM), hoặc phép biến đổi Radon kết hợp phân tích phân biệt tổng quát (GDA) và mô hình Markov ẩn (HMM).
  • Phương pháp học sâu (Deep Learning): Khảo sát các kiến trúc mạng nơ-ron tích chập (CNN) tiêu chuẩn gồm VGG16, ResNet34, ResNet50, Xception, MobileNetV1 và Residual Masking Network (tích hợp lớp Masking lấy cảm hứng từ UNet trên nền tảng ResNet).
  • Kỹ thuật tối ưu hóa đề xuất:
    • Đề xuất kiến trúc CNN tùy chỉnh và phiên bản rút gọn CNN_minimum có dung lượng tham số thấp.
    • Áp dụng phương pháp Chắt lọc kiến thức (Knowledge Distillation) nhằm truyền tải tri thức từ mô hình giáo viên có dung lượng lớn sang mô hình học sinh có kích thước nhỏ, sử dụng phân phối xác suất làm mượt (Soft Targets) kết hợp nhãn gốc (Hard Labels).
    • Áp dụng phương pháp học kết hợp (Ensemble Learning) theo kỹ thuật Stacking để dung hòa dự đoán từ nhiều mô hình thành phần.

Hàm mục tiêu và giải thuật tối ưu

  • Hàm mất mát: Khóa luận sử dụng hàm mất mát Entropy chéo phân loại (Categorical Cross Entropy Loss) cho bài toán phân loại đa lớp.
  • Hàm tối ưu: So sánh giữa nhánh tăng tốc Stochastic Gradient Descent (SGD) có động lượng (Momentum), nhánh thích nghi hệ số học tập Adam và thuật toán AdaBelief.

Hệ thống độ đo đánh giá

  • Module phát hiện khuôn mặt: Độ đo diện tích giao trên diện tích hợp (IoU - Intersection over Union), độ đo độ chính xác trung bình (AP - Average Precision) và độ chính xác trung bình trung bình (mAP) tại dải ngưỡng IoU từ 0,5 đến 0,95 với bước nhảy 0,05.
  • Module phân loại cảm xúc: Độ đo độ chính xác toàn cục (Accuracy), độ chuẩn xác (Precision), độ thu hồi (Recall) và ma trận hỗn loạn (Confusion Matrix) dạng chuẩn hóa trên 7 lớp cảm xúc.

Thiết kế và triển khai

Hệ thống nhận diện cảm xúc hoàn chỉnh được thiết kế theo một đường ống xử lý (pipeline) tuần tự gồm 6 bước thực thi:

[Hình ảnh đầu vào]
(Bước 1) Tiếp nhận ảnh đầu vào từ tệp tin hoặc luồng camera
(Bước 2) Phát hiện và định vị vùng chứa khuôn mặt (Bounding Box)
(Bước 3) Trích xuất vùng khuôn mặt và chuẩn hóa kích thước về 96 x 96 pixel
(Bước 4) Tiền xử lý dữ liệu và chuẩn hóa giá trị điểm ảnh
(Bước 5) Phân loại cảm xúc qua mạng nơ-ron (tính toán phân phối xác suất 7 lớp)
(Bước 6) Ánh xạ nhãn cảm xúc và vẽ khung bao lên hình ảnh gốc
[Hình ảnh kết quả hiển thị]

Kiến trúc công nghệ và thành phần phần mềm

Khóa luận xây dựng một ứng dụng web minh họa nhằm cung cấp giao diện tương tác và kiểm thử thực nghiệm:

  • Công nghệ nền tảng: Hệ thống sử dụng ngôn ngữ lập trình Python, tích hợp các thư viện xử lý thị giác máy tính OpenCV, các framework học sâu phục vụ suy luận mô hình và framework giao diện web.
  • Cấu trúc hệ thống minh họa:
    • Giao diện tải ảnh: Cho phép người dùng tải lên hình ảnh từ thiết bị lưu trữ cục bộ.
    • Giao diện cấu hình module phát hiện: Tích hợp công tắc lựa chọn linh hoạt giữa 3 thuật toán (Viola & Jones, Face-SSD, BlazeFace).
    • Giao diện cấu hình module phân loại: Cho phép lựa chọn giữa các mô hình huấn luyện lại (VGG16, ResNet34, ResNet50, MobileNetV1, Xception, CNN đề xuất, CNN_minimum, mô hình học kết hợp).
    • Giao diện hiển thị trực quan: Trả về hình ảnh gốc kèm khung bao nhận diện vị trí khuôn mặt, tên nhãn cảm xúc dự đoán và xác suất tương ứng.
    • Phân tích trực quan lớp ẩn: Ứng dụng trích xuất và hiển thị trực quan các ma trận đặc trưng (feature maps) sau từng lớp mạng bao gồm: lớp Tích chập (Convolution), lớp kích hoạt Leaky ReLU, lớp Chuẩn hóa (Batch Normalization), lớp Gộp trung bình (Average Pooling) và lớp Dropout.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 mở đầu bằng việc giới thiệu bức tranh toàn cảnh về sự phát triển của Trí tuệ Nhân tạo và vị trí của Thị giác Máy tính trong công cuộc chuyển đổi số. Tác giả phân định rõ ràng giữa bài toán nhận diện cảm xúc trên ảnh tĩnh và chuỗi ảnh động, nêu bật tính cấp thiết của việc tối ưu hóa tốc độ phản hồi trong thời gian thực tại các hệ thống dịch vụ khách hàng. Nội dung chương phân loại hai nhánh dữ liệu chính (ràng buộc và không ràng buộc), xác định trọng tâm nghiên cứu trên tập dữ liệu tự nhiên FER2013. Tác giả xác lập rõ ràng 5 mục tiêu nghiên cứu, phạm vi giới hạn của đề tài, 5 đóng góp chính của khóa luận và phác thảo cấu trúc tổng thể 5 chương của văn bản.

Chương 2: Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan

Chương 2 trình bày chi tiết cơ sở lý luận của hệ thống FACS do Paul Ekman thiết lập, diễn giải mối tương quan giữa các Đơn vị Hành động (AU) và 7 trạng thái cảm xúc. Tiếp đó, tác giả phân tích sâu về bài toán phát hiện khuôn mặt qua 3 giải thuật: giải thuật Viola & Jones (với 4 thành phần: đặc trưng Haar-like, ảnh tích hợp, AdaBoost, bộ phân lớp tầng), phương pháp Face-SSD (cơ chế Single Shot Detector trên blob ảnh) và phương pháp BlazeFace (cấu trúc khối Blaze dùng tích chập sâu Depthwise tách rời và cơ chế neo cải tiến).

Về module phân loại cảm xúc, chương 2 tổng hợp các công trình tiêu biểu:

  • Nghiên cứu truyền thống: Chen và cộng sự (kết hợp HOG và SVM), Uddin và cộng sự (chuyển đổi Radon, GDA và HMM).
  • Nghiên cứu học sâu: Pramerdorfer và cộng sự (kết hợp 8 mô hình mạng CNN), Khaireddin và cộng sự (dựa trên kiến trúc VGG), Zhang và cộng sự (mạng DCN dự đoán quan hệ xã hội và cảm xúc), Phạm Quí Luân và cộng sự (Residual Masking Network lấy cảm hứng từ UNet kết hợp ResNet). Chương kết thúc bằng việc phân tích ưu nhược điểm của từng trường phái, làm cơ sở lựa chọn phương pháp học sâu gọn nhẹ cho các chương thực nghiệm tiếp theo.

Chương 3: Phương pháp tối ưu thời gian thực thi cho bài toán nhận diện cảm xúc khuôn mặt

Chương 3 là phần trọng tâm về mặt thực nghiệm và giải pháp kỹ thuật của khóa luận. Tác giả trình bày hệ thống lý thuyết về các độ đo đánh giá mô hình: IoU, AP, mAP cho phát hiện khuôn mặt; ma trận hỗn loạn, Accuracy, Precision, Recall cho phân loại cảm xúc. Phân tích toán học về hàm mất mát Categorical Cross Entropy và so sánh ba thuật toán tối ưu (SGD with momentum, Adam, AdaBelief).

Quy trình thực nghiệm được tiến hành trên tập dữ liệu FER2013 với các phân đoạn:

  1. Đánh giá thực nghiệm module phát hiện khuôn mặt: Tác giả so sánh khả năng phát hiện của Viola & Jones, Face-SSD và BlazeFace trên 6 kịch bản môi trường thực tế:
    • Ảnh trong điều kiện bình thường.
    • Ảnh chứa nhiều người trong một khung hình.
    • Ảnh chụp cận mặt.
    • Ảnh khuôn mặt có góc nghiêng.
    • Ảnh chụp trong điều kiện thiếu sáng.
    • Ảnh khuôn mặt ở khoảng cách xa camera.
  2. Đánh giá thực nghiệm module phân loại cảm xúc: Tiến hành tiền xử lý, huấn luyện lại các mô hình đường cơ sở (VGG16, ResNet34, ResNet50, MobileNetV1, Xception) và đánh giá các mô hình đề xuất:
    • Đề xuất kiến trúc CNN tiêu chuẩn và kiến trúc rút gọn CNN_minimum.
    • Áp dụng kỹ thuật Chắt lọc kiến thức (Knowledge Distillation) với cấu trúc giáo viên - học sinh.
    • Áp dụng kỹ thuật học kết hợp (Stacking Ensemble).
  3. Đánh giá hiệu suất kết hợp: Đo lường tốc độ thực thi tổng thể và độ chính xác của đường ống kết hợp hai module hoàn chỉnh.

Chương 4: Ứng dụng minh họa

Chương 4 mô tả quá trình thiết kế, kiến trúc phần mềm và triển khai thực tế của ứng dụng web minh họa. Tác giả làm rõ các thư viện, framework được sử dụng để tích hợp mô hình vào giao diện người dùng. Nội dung chương trình bày chi tiết luồng tương tác: tiếp nhận ảnh, cho phép chuyển đổi linh hoạt giữa 3 thuật toán phát hiện và các mô hình phân loại cảm xúc khác nhau, hiển thị kết quả phân loại trực quan kèm bounding box và phân tích các ma trận đặc trưng qua từng tầng mạng nơ-ron (Convolution, Leaky ReLU, Normalization, Average Pooling, Dropout).

Chương 5: Kết luận và hướng phát triển

Chương 5 đúc kết toàn bộ kết quả đạt được của khóa luận so với các mục tiêu đề ra ban đầu. Tác giả khẳng định tính khả thi của giải pháp mô hình mạng gọn nhẹ trong việc duy trì độ chính xác chấp nhận được trên tập dữ liệu FER2013 song song với tốc độ xử lý đáp ứng thời gian thực. Đồng thời, chương chỉ rõ các điểm còn hạn chế của nghiên cứu và đề xuất các hướng mở rộng tiếp theo cho bài toán nhận diện cảm xúc.

Kết quả và đóng góp

Kết quả thực nghiệm chính

Khóa luận đã ghi nhận và tổng hợp các số liệu thực nghiệm cụ thể trên tập dữ liệu FER2013 và các điều kiện thử nghiệm thực tế:

So sánh các phương pháp phát hiện khuôn mặt qua 6 điều kiện thực tế:

Phương pháp Ảnh bình thường Ảnh đông người Ảnh cận mặt Mặt nghiêng Thiếu sáng Mặt ở xa camera
Viola & Jones Tốt Trung bình Tốt Kém Kém (nhiều nhiễu) Kém
Face-SSD Tốt Tốt Kém (dễ nhận sai) Tốt Tốt Tốt
BlazeFace Tốt Hạn chế Tốt Tốt Tốt Hạn chế

Kết quả phân loại cảm xúc và thông số mô hình trên tập dữ liệu FER2013:

Mô hình / Phương pháp Số lượng tham số Độ chính xác (Accuracy) Ghi chú từ văn bản
Đánh giá của con người (Human Performance) - ~65,00% Mức chuẩn đánh giá trên FER2013
Christopher Pramerdorfer và cs. Lớn (8 mô hình) 75,20% Phương pháp học kết hợp
Zhanpeng Zhang và cs. Lớn 75,00% Mạng tích chập sâu DCN đa mạng
Phạm Quí Luân và cs. (Residual Masking) Lớn 74,14% Mô hình đơn lẻ
Phạm Quí Luân và cs. (Kết hợp 6 mô hình) Lớn 76,82% Phương pháp kết hợp đa mô hình
Mô hình CNN đề xuất của tác giả Gọn nhẹ 72,40% Mô hình học sâu đề xuất
Mô hình kết hợp của tác giả Trung bình ~73,00% Áp dụng phương pháp học kết hợp
Mô hình CNN_minimum (Thời gian thực) 1,3 triệu tham số 70,14% Tối ưu hóa cho thời gian thực

Đóng góp của khóa luận

  1. Hệ thống hóa toàn diện cơ sở lý thuyết: Tổng hợp có hệ thống cơ sở giải phẫu học FACS của Paul Ekman và các hướng tiếp cận kỹ thuật cho bài toán nhận diện cảm xúc trên khuôn mặt từ phương pháp máy học truyền thống đến học sâu.
  2. Khảo sát thực nghiệm đa điều kiện: Thực hiện kiểm thử và chỉ ra ưu nhược điểm cụ thể của 3 thuật toán phát hiện khuôn mặt (Viola & Jones, Face-SSD, BlazeFace) trên 6 kịch bản môi trường chụp ảnh thực tế.
  3. Đề xuất mô hình tối ưu cho thời gian thực: Thiết kế thành công kiến trúc mô hình CNN_minimum với lượng tham số thu gọn xuống chỉ còn 1,3 triệu tham số, đạt độ chính xác 70,14% trên tập FER2013 (vượt mức đánh giá trung bình của con người khoảng 65%), giảm tải đáng kể yêu cầu phần cứng và đáp ứng yêu cầu xử lý thời gian thực.
  4. Ứng dụng kỹ thuật tối ưu hóa hiện đại: Thử nghiệm và áp dụng thành công kỹ thuật Chắt lọc kiến thức (Knowledge Distillation) và Học kết hợp (Stacking Ensemble) để cải thiện hiệu năng của các mô hình nơ-ron quy mô nhỏ.
  5. Hiện thực hóa ứng dụng minh họa: Xây dựng thành công ứng dụng web demo tích hợp quy trình 6 bước, cung cấp khả năng chuyển đổi module linh hoạt và trực quan hóa các ma trận đặc trưng bên trong mạng tích chập.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được xác định trong văn bản

  • Phạm vi dữ liệu: Đề tài chỉ tập trung thử nghiệm trên ảnh tĩnh từ tập dữ liệu FER2013; tập dữ liệu này vốn tồn tại các nhãn bị gán sai lệch hoặc có sự phân bố không hoàn toàn đồng đều giữa các lớp cảm xúc.
  • Hạn chế của các module phát hiện khuôn mặt:
    • Thuật toán Viola & Jones phụ thuộc chặt chẽ vào đặc trưng Haar-like định sẵn, hoạt động kém hiệu quả trong môi trường thiếu sáng hoặc khi khuôn mặt quay nghiêng.
    • Phương pháp Face-SSD yêu cầu kích thước đầu vào trên 300 x 300 pixel, hoạt động kém khi khuôn mặt chụp quá cận cảnh hoặc kích thước khuôn mặt quá nhỏ.
    • Phương pháp BlazeFace bộc lộ hạn chế rõ rệt khi xử lý các khung hình chứa nhiều khuôn mặt đồng thời hoặc khuôn mặt nằm ở vị trí quá xa camera.
  • Hạn chế của mô hình phân loại: Mô hình CNN_minimum dù đạt tốc độ thực thi nhanh nhưng mức độ chính xác tổng thể (70,14%) vẫn có sự suy giảm nhất định so với các mô hình mạng nơ-ron quy mô lớn hoặc các mô hình học kết hợp phức tạp (đạt từ 74% đến 76%).

Hướng nghiên cứu tiếp theo

  • Mở rộng sang chuỗi video thời gian thực: Mở rộng bài toán từ xử lý ảnh tĩnh sang phân tích chuỗi ảnh động (video stream) liên tục từ camera, tích hợp các cơ chế theo dõi mối tương quan nhịp độ giữa các khung hình liên tiếp.
  • Tối ưu hóa sâu trên phần cứng biên: Tiếp tục nghiên cứu các giải pháp lượng tử hóa mô hình (quantization), cắt tỉa trọng số (pruning) để triển khai trực tiếp trên các thiết bị nhúng hoặc thiết bị di động có cấu hình phần cứng yếu.
  • Nâng cao khả năng phân loại các biểu cảm tương đồng: Cải thiện độ chính xác phân biệt đối với các nhóm cảm xúc có biểu hiện đơn vị hành động (AU) gần giống nhau và dễ nhầm lẫn như Sợ hãi (Fear) với Bất ngờ (Surprise), hoặc Buồn bã (Sad) với Tự nhiên (Neutral).

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị học thuật và thực tiễn đối với:

  • Sinh viên và học viên chuyên ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo: Cung cấp tài liệu tổng hợp đầy đủ từ nền tảng lý thuyết biểu cảm FACS đến quy trình xây dựng mạng CNN trong thị giác máy tính.
  • Người nghiên cứu về Thị giác máy tính thời gian thực (Real-time Computer Vision): Phần thực nghiệm đối chiếu 3 thuật toán phát hiện khuôn mặt trên 6 điều kiện môi trường chụp ảnh thực tế cung cấp các dữ liệu định tính và định lượng rõ ràng cho việc lựa chọn giải pháp tiền xử lý.
  • Người phát triển ứng dụng AI trên thiết bị biên (Edge AI): Kỹ thuật xây dựng mô hình thu gọn CNN_minimum (1,3 triệu tham số) kết hợp phương pháp Chắt lọc kiến thức (Knowledge Distillation) là tài liệu tham khảo trực tiếp cho các bài toán cân bằng giữa độ trễ (latency) và độ chính xác (accuracy).

Câu hỏi thường gặp

1. Khóa luận tiếp cận bài toán nhận diện cảm xúc trên dạng dữ liệu nào và phân loại những nhóm cảm xúc nào?
Khóa luận tập trung nghiên cứu trên dữ liệu ảnh tĩnh trích xuất từ camera, sử dụng bộ dữ liệu chuẩn không ràng buộc FER2013. Dựa trên cơ sở hệ thống FACS của Paul Ekman, bài toán thực hiện phân loại 7 nhóm cảm xúc cơ bản: Tức giận (Angry), Kinh tởm (Disgust), Sợ hãi (Fear), Hạnh phúc (Happy), Buồn bã (Sad), Bất ngờ (Surprise) và Tự nhiên (Neutral).

2. Điểm cải tiến kiến trúc cốt lõi của phương pháp BlazeFace so với mạng Single Shot Detector (SSD) tiêu chuẩn là gì?
BlazeFace sử dụng khối Blaze gồm tích chập sâu Depthwise 5x5 kết hợp Pointwise 1x1 để giảm lượng tham số tính toán. Về kiến trúc mạng kim tự tháp gộp, BlazeFace lược bỏ các bản đồ đặc trưng quá nhỏ (dừng ở kích thước 8x8 thay vì 2x2 như SSD) và tăng số lượng hộp neo (anchor boxes) từ 690 lên 896 hộp, qua đó cải thiện độ chính xác định vị và tốc độ xử lý trên GPU thiết bị di động.

3. Mô hình CNN_minimum được tác giả đề xuất cho bài toán thời gian thực đạt độ chính xác bao nhiêu và dung lượng tham số là bao nhiêu?
Mô hình CNN_minimum được thiết kế tinh gọn với dung lượng chỉ 1,3 triệu tham số và đạt độ chính xác 70,14% trên tập kiểm thử FER2013, cao hơn mức độ nhận biết trung bình của con người trên cùng tập dữ liệu (xấp xỉ 65%).

4. Khóa luận đã thử nghiệm các phương pháp phát hiện khuôn mặt trên những điều kiện môi trường thực tế nào?
Tác giả đã tiến hành thử nghiệm so sánh 3 phương pháp (Viola & Jones, Face-SSD, BlazeFace) trên 6 kịch bản thực tế: ảnh điều kiện bình thường, ảnh chứa nhiều người, ảnh chụp cận mặt, ảnh khuôn mặt nghiêng, ảnh thiếu sáng và ảnh khuôn mặt ở khoảng cách xa so với camera.

5. Vì sao tác giả lựa chọn tập dữ liệu FER2013 thay vì các tập dữ liệu như CK+ hay JAFFE?
Tập dữ liệu CK+ và JAFFE thuộc nhóm dữ liệu ràng buộc (thu thập trong điều kiện phòng thí nghiệm với ánh sáng và góc chụp chuẩn). Trong khi đó, FER2013 là tập dữ liệu không ràng buộc với độ phức tạp cao về ánh sáng, biểu cảm và góc nghiêng thực tế, phù hợp với mục tiêu triển khai hệ thống nhận diện từ camera giám sát thực tế trong thời gian thực.

Kết luận

Khóa luận tốt nghiệp của tác giả Lã Trường Hải đã giải quyết bài toán nhận diện cảm xúc khuôn mặt trong thời gian thực thông qua việc kết hợp có hệ thống giữa module phát hiện khuôn mặt và module phân loại cảm xúc học sâu. Bằng việc đề xuất kiến trúc CNN_minimum có dung lượng thu gọn chỉ 1,3 triệu tham số, nghiên cứu đã đạt độ chính xác 70,14% trên tập dữ liệu FER2013, chứng minh tính khả thi trong việc dung hòa giữa chất lượng phân loại và chi phí tính toán phần cứng. Công trình đồng thời hoàn thiện một ứng dụng web minh họa trực quan, tạo cơ sở thực tiễn vững chắc cho việc ứng dụng công nghệ thị giác máy tính vào các hệ thống dịch vụ tương tác và giám sát tự động.