Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh của cuộc cách mạng công nghiệp lần thứ tư, trí tuệ nhân tạo (AI) và thị giác máy tính (Computer Vision) đã trở thành các lĩnh vực công nghệ then chốt, đóng vai trò nền tảng trong tự động hóa và phát triển các hệ thống tương tác giữa người và máy. Trong đó, công nghệ sinh trắc học dựa trên hình ảnh khuôn mặt và nhận dạng cảm xúc người đóng vai trò quan trọng trong các lĩnh vực an ninh, robot tương tác, thiết bị trợ giúp người khuyết tật, cũng như đánh giá phản ứng tâm lý và mức độ hài lòng của người tiêu dùng đối với sản phẩm trong môi trường số.

Tuy nhiên, các hệ thống nhận dạng khuôn mặt truyền thống thường gặp khó khăn khi triển khai trong môi trường thực tế do các biến đổi về cường độ ánh sáng, góc nghiêng khuôn mặt, sự che khuất hoặc các đặc điểm lão hóa. Đối với bài toán nhận dạng cảm xúc, các phương pháp trích xuất đặc trưng hình học cố định dựa trên khoảng cách giữa các thành phần cơ mặt chỉ đạt độ chính xác khi đối tượng có cấu trúc khuôn mặt tiêu chuẩn. Việc áp dụng mạng nơ-ron tích chập (Convolutional Neural Network - CNN) cùng các kỹ thuật học sâu cho phép tự động trích xuất các đặc trưng phi tuyến tính phức tạp, mở ra khả năng cải thiện độ chính xác và tính thích nghi của hệ thống.

Đồ án tốt nghiệp "Xây dựng hệ thống nhận diện khuôn mặt và cảm xúc dùng mạng nơ-ron tích chập" do sinh viên Nguyễn Văn Phúc thực hiện dưới sự hướng dẫn của GVC-ThS. Nguyễn Ngô Lâm (ngành Công nghệ Kỹ thuật Điện tử - Truyền thông, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, 2020) được triển khai nhằm giải quyết các nhiệm vụ và mục tiêu cụ thể sau:

  1. Nghiên cứu cơ sở lý thuyết về mạng nơ-ron nhân tạo (ANN), kiến trúc mạng nơ-ron tích chập (CNN), mô hình mạng phần dư ResNet, kỹ thuật trích xuất đặc trưng và các phương pháp giải quyết hiện tượng quá khớp (Overfitting).
  2. Xây dựng và tối ưu hóa hệ thống nhận diện khuôn mặt người dựa trên việc kết hợp thuật toán phát hiện khuôn mặt (Haar-Cascade, HOG) và mô hình mã hóa vector đặc trưng 128 chiều.
  3. Thiết kế và huấn luyện mô hình mạng CNN chuyên biệt để phân loại 7 trạng thái cảm xúc cơ bản của con người gồm: "vui vẻ", "buồn", "sợ hãi", "giận dữ", "ngạc nhiên", "khó chịu" và "bình thường".
  4. Triển khai, kiểm thử và đánh giá hiệu năng của toàn bộ hệ thống xử lý thời gian thực trên môi trường máy tính cá nhân và kit máy tính nhúng Raspberry Pi 4 kết nối camera.

Đối tượng nghiên cứu:

  • Kiến trúc mạng nơ-ron tích chập (CNN) và mô hình ResNet ứng dụng trong nhận dạng cảm xúc và trích xuất véc-tơ đặc trưng 128 chiều của khuôn mặt.
  • Bảy trạng thái biểu cảm cơ bản trên khuôn mặt người.
  • Kit máy tính nhúng Raspberry Pi 4, ngôn ngữ lập trình Python và thư viện thị giác máy tính OpenCV.
  • Thuật toán phát hiện khuôn mặt từ ảnh tĩnh và luồng video thời gian thực.
  • Các tập cơ sở dữ liệu mẫu chuẩn (FERC-2013, LFW) và tập dữ liệu ảnh thực nghiệm tự thu thập.

Phạm vi nghiên cứu:

  • Hệ thống nhận dạng khuôn mặt được thực nghiệm trên tập dữ liệu chuẩn và tập dữ liệu thu thập thực tế từ camera điện thoại với 4 đối tượng nam (2.000 ảnh) trong không gian phòng thử nghiệm.
  • Hệ thống nhận dạng cảm xúc tập trung vào xử lý luồng video trực tuyến từ camera trong điều kiện đủ ánh sáng, khuôn mặt hướng chính diện và khoảng cách thu nhận hình ảnh trong phạm vi khoảng 1 mét.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng nghiên cứu dựa trên các khái niệm xử lý ảnh số, lý thuyết nhận dạng mẫu sinh trắc học và các mô hình học sâu:

  • Quy trình xử lý ảnh số: Hệ thống tuân thủ chu trình chuẩn gồm 5 giai đoạn: Thu nhận ảnh (Image Acquisition) qua cảm biến camera; Tiền xử lý (Preprocessing) nhằm khử nhiễu, cân bằng sáng và lọc biến dạng; Phân đoạn ảnh (Segmentation) để cô lập vùng khuôn mặt; Tách các đặc tính (Feature Extraction); Nhận dạng và phân lớp (Recognition & Interpretation).
  • Đặc trưng khuôn mặt và giải phẫu biểu cảm: Biểu cảm cảm xúc được xác định thông qua sự biến đổi cục bộ của các nhóm cơ mặt (nếp nhăn đuôi mắt, sự nâng gò má ở trạng thái vui vẻ; lông mày hạ và kéo sát nhau khi giận dữ; mắt mở to, há miệng khi ngạc nhiên; nhăn mũi và nâng môi trên khi khó chịu; mắt mất tập trung và mi sụp khi buồn).
  • Mạng nơ-ron tích chập (CNN): Khắc phục nhược điểm bùng nổ số lượng trọng số của mạng nơ-ron truyền thẳng (ANN) khi xử lý ảnh kích thước lớn bằng cơ chế liên kết cục bộ và chia sẻ trọng số. Kiến trúc CNN gồm:
    • Lớp tích chập (Convolutional Layer): Sử dụng các bộ lọc (filter kernel $3 \times 3$ hoặc $5 \times 5$) trượt trên ma trận ảnh để tính tích chập, tạo ra các bản đồ đặc trưng (feature maps).
    • Lớp kích hoạt ReLU (Rectified Linear Unit): Áp dụng hàm phi tuyến $f(x) = \max(0, x)$ nhằm chuyển các giá trị âm về 0, đảm bảo tính phi tuyến mà vẫn tối ưu tốc độ tính toán.
    • Lớp gộp (Pooling Layer): Sử dụng phương pháp MaxPooling với cửa sổ $2 \times 2$ và bước trượt (stride) bằng 2 để giảm chiều dữ liệu không gian, giảm chi phí tính toán mà vẫn giữ lại các thông tin nổi bật nhất.
    • Lớp kết nối đầy đủ (Fully-Connected Layer): Tổng hợp các đặc trưng bậc cao từ các lớp trước để thực hiện nhiệm vụ phân loại.
    • Kỹ thuật Dropout: Ngắt kết nối ngẫu nhiên một tỷ lệ nơ-ron với xác suất $p$ trong quá trình huấn luyện nhằm ngăn chặn hiện tượng quá khớp (Overfitting), nâng cao khả năng tổng quát hóa mô hình.
  • Mô hình mã hóa khuôn mặt ResNet: Sử dụng mạng tích chập sâu ResNet để ánh xạ mỗi hình ảnh khuôn mặt thành một véc-tơ đặc trưng trong không gian Euclide 128 chiều. Khoảng cách Euclide giữa hai véc-tơ đại diện cho mức độ tương đồng giữa hai khuôn mặt.

Phương pháp nghiên cứu thực tế:

  • Phương pháp phát hiện khuôn mặt: Sử dụng bộ phân lớp tầng Haar-Cascade và phương pháp trích xuất đặc trưng HOG (Histogram of Oriented Gradients) thông qua thư viện OpenCV để xác định tọa độ vùng chứa khuôn mặt trong khung hình.
  • Phương pháp phân loại: Đối với nhận dạng khuôn mặt, hệ thống đo khoảng cách Euclide giữa véc-tơ 128D trích xuất được với cơ sở dữ liệu mẫu; đối với nhận dạng cảm xúc, hệ thống sử dụng mạng CNN phân loại đa lớp đưa ra phân phối xác suất qua hàm Softmax cho 7 nhóm cảm xúc.

Nguồn dữ liệu:

  • Tập dữ liệu nhận dạng khuôn mặt LFW (Labeled Faces in the Wild): Tập dữ liệu ảnh khuôn mặt chuẩn được gán nhãn trong điều kiện không ràng buộc.
  • Tập dữ liệu nhận dạng khuôn mặt riêng: Thu thập từ 4 đối tượng nam thông qua camera điện thoại, gồm 2.000 bức ảnh chụp dưới nhiều góc độ và điều kiện ánh sáng khác nhau.
  • Tập dữ liệu cảm xúc FERC-2013 (Facial Expression Recognition Challenge 2013): Tập dữ liệu chuẩn chứa hàng chục nghìn ảnh xám kích thước $48 \times 48$ pixel chia thành 7 nhóm cảm xúc.
  • Tập dữ liệu cảm xúc riêng: Thu thập phục vụ việc kiểm thử bổ sung.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo mô hình tích hợp phần cứng - phần mềm nhúng hoàn chỉnh:

[Khối Thu nhận Ảnh: Camera USB] 
[Khối Xử lý Trung tâm: Kit Raspberry Pi 4]
[Khối Hiển thị: Màn hình GUI (Bounding Box, Tên đối tượng, Nhãn cảm xúc)]

Kiến trúc phần cứng

  • Khối xử lý trung tâm: Kit máy tính nhúng Raspberry Pi 4 trang bị vi xử lý Broadcom BCM2837 (quad-core ARM Cortex-A53 xung nhịp 1.2 GHz, 64-bit), bộ nhớ RAM 1GB LPDDR2, tích hợp cổng kết nối USB, cổng HDMI, khe thẻ nhớ microSD và giao tiếp mạng LAN không dây.
  • Khối thu nhận: Camera kết nối qua giao tiếp USB hoặc cổng CSI, chịu trách nhiệm thu luồng video thời gian thực.
  • Khối hiển thị: Màn hình kết nối qua cổng HDMI/DSI hiển thị giao diện người dùng đồ họa (GUI).

Kiến trúc phần mềm và quy trình xử lý

  • Quy trình nhận diện khuôn mặt:
    1. Camera thu nhận khung hình đầu vào liên tục.
    2. Áp dụng Haar-like cascade / HOG để phát hiện tọa độ khuôn mặt.
    3. Tiền xử lý: Cắt vùng ảnh khuôn mặt, chuẩn hóa kích thước, cân bằng ánh sáng.
    4. Trích xuất đặc trưng: Đưa ảnh qua mạng ResNet đã huấn luyện trước để sinh ra vector đặc trưng 128 chiều.
    5. So khớp: Tính khoảng cách Euclide giữa véc-tơ này với các véc-tơ trong cơ sở dữ liệu khuôn mặt đã lưu. Nếu khoảng cách nhỏ hơn ngưỡng cho phép, gán nhãn tên đối tượng tương ứng; ngược lại gán nhãn chưa xác định.
  • Quy trình nhận diện cảm xúc:
    1. Khuôn mặt sau khi phát hiện được chuyển sang ảnh mức xám và chuẩn hóa kích thước phù hợp với đầu vào mô hình CNN ($48 \times 48$ pixels).
    2. Đưa tensor ảnh qua các khối Convolutional, ReLU, MaxPooling và Dropout để rút trích đặc trưng cảm xúc.
    3. Lớp kết nối đầy đủ (Fully-Connected) tính toán và xuất ra xác suất tương ứng với 7 nhãn cảm xúc ("vui vẻ", "buồn", "sợ hãi", "giận dữ", "ngạc nhiên", "khó chịu", "bình thường").
    4. Vẽ khung bao (Bounding box), hiển thị tên định danh và nhãn cảm xúc lên giao diện trực tiếp theo thời gian thực.

Nội dung chính theo từng chương

CHƯƠNG 1 : TỔNG QUAN

Chương 1 trình bày tổng quan về tình hình nghiên cứu thị giác máy tính, công nghệ sinh trắc học và các mô hình học máy ứng dụng trong nhận dạng khuôn mặt và cảm xúc. Tác giả phân tích các hạn chế của các nghiên cứu trước đây (như phương pháp PCA, Fisherfaces hay trích xuất đặc trưng khoảng cách cơ mặt thủ công của Young Hoon Jo năm 2015) khi hoạt động ngoài môi trường chuẩn. Từ đó, chương xác định mục tiêu nghiên cứu, đối tượng nghiên cứu, phạm vi giới hạn thực nghiệm trên máy tính và kit Raspberry Pi 4, cùng cấu trúc 5 chương của đồ án tốt nghiệp.

CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT

Chương 2 hệ thống hóa toàn bộ lý thuyết nền tảng phục vụ cho đồ án:

  • Phân tích quy trình xử lý ảnh kỹ thuật số (thu nhận ảnh, tiền xử lý, phân đoạn ảnh, tách đặc tính, nén ảnh, nhận dạng ảnh), các khái niệm về điểm ảnh (pixel), độ phân giải và các kỹ thuật tăng cường/khôi phục ảnh.
  • Phân tích cấu trúc giải phẫu khuôn mặt người và các biến đổi cơ học trên khuôn mặt khi thể hiện 7 loại cảm xúc cơ bản.
  • Phân tích chi tiết kiến trúc mạng nơ-ron nhân tạo (ANN) và mạng nơ-ron tích chập (CNN). Làm rõ nguyên lý hoạt động của các lớp Convolutional 2D/3D, hàm kích hoạt phi tuyến ReLU, cơ chế giảm chiều dữ liệu của lớp MaxPooling ($2 \times 2$, bước trượt 2) và lớp Fully-Connected.
  • Phân tích hiện tượng quá khớp (Overfitting) trong học sâu và cơ chế điều chuẩn bằng kỹ thuật Dropout.
  • Giới thiệu cấu tạo, thông số kỹ thuật, sơ đồ chân của kit máy tính nhúng Raspberry Pi 4 và các đặc tính của ngôn ngữ lập trình Python kết hợp thư viện OpenCV trong xử lý ảnh số.

CHƯƠNG 3 : XÂY DỰNG HỆ THỐNG NHẬN DIỆN KHUÔN MẶT VÀ CẢM XÚC DÙNG MẠNG NƠ-RON TÍCH CHẬP TRÊN KIT RASPBERRY PI 4

Chương 3 trình bày chi tiết về mặt thiết kế kỹ thuật và thuật toán của hệ thống:

  • Thiết lập yêu cầu, đặc tả kỹ thuật và xây dựng sơ đồ khối tổng quát gồm: Khối Camera, Khối xử lý trung tâm Raspberry Pi 4 và Khối hiển thị kết quả.
  • Thiết kế hệ thống nhận dạng khuôn mặt: Xây dựng lưu đồ giải thuật từ khâu tạo cơ sở dữ liệu ảnh, tiền xử lý ảnh, phát hiện khuôn mặt bằng Haar-like / HOG, trích chọn đặc trưng bằng mạng ResNet tạo vector 128 chiều và phân loại bằng khoảng cách không gian Euclide.
  • Thiết kế hệ thống nhận dạng cảm xúc: Xây dựng kiến trúc mạng CNN chuyên biệt, thiết lập các tham số siêu phẳng và lớp mạng để huấn luyện phân loại 7 cảm xúc.
  • Mô tả chi tiết cấu trúc các tập dữ liệu sử dụng: Tập dữ liệu mẫu chuẩn LFW, FERC-2013 và hai tập dữ liệu tự tạo (tập ảnh khuôn mặt 4 người gồm 2.000 ảnh và tập ảnh cảm xúc riêng).
  • Xây dựng các lưu đồ thuật toán cho quá trình huấn luyện (Training Phase) và quá trình nhận dạng thời gian thực (Inference Phase).

CHƯƠNG 4 : KẾT QUẢ

Chương 4 công bố toàn bộ dữ liệu thực nghiệm và đánh giá hệ thống:

  • Trình bày mô hình phần cứng hoàn chỉnh và giao diện đồ họa người dùng (GUI) hiển thị kết quả nhận dạng.
  • Phân tích ma trận tương quan và độ chính xác của hệ thống nhận diện khuôn mặt trên cả hai tập dữ liệu (tập mẫu 1 và tập dữ liệu riêng 2). Hệ thống kiểm thử thành công trên ảnh đơn, ảnh chứa nhiều khuôn mặt đồng thời và nhận diện chính xác đối tượng không có trong cơ sở dữ liệu.
  • Đánh giá kết quả huấn luyện mô hình CNN nhận diện cảm xúc: Trình bày biểu đồ độ chính xác theo chu kỳ huấn luyện và ma trận tương quan trên tập kiểm tra FERC-2013 và tập kiểm tra riêng.
  • Phân tích chi tiết các ca kiểm thử thực tế đối với từng loại cảm xúc ("vui vẻ", "buồn", "sợ hãi", "giận dữ", "ngạc nhiên", "khó chịu", "bình thường").
  • Phân loại và chỉ ra các trường hợp nhận dạng sai lệch do tác động của môi trường: góc nghiêng khuôn mặt lớn làm mất đặc trưng hình học, điều kiện ngược sáng hoặc cường độ sáng quá mạnh dẫn đến nhầm lẫn cảm xúc "bình thường" thành "sợ hãi", cường độ sáng yếu hoặc góc mặt không chính diện dẫn đến nhầm lẫn thành "buồn".

CHƯƠNG 5 : KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Chương 5 tổng kết các kết quả kỹ thuật đã đạt được của đồ án tốt nghiệp, khẳng định tính khả thi của việc nhúng các mô hình mạng nơ-ron tích chập lên kit phần cứng Raspberry Pi 4 để xử lý thời gian thực. Đồng thời, chương đề xuất các phương hướng mở rộng nhằm cải tiến độ chính xác và tính ổn định của hệ thống trong các điều kiện môi trường phức tạp hơn.

Kết quả và đóng góp

Kết quả định lượng và thực nghiệm

Hệ thống đã được thử nghiệm thực tế trên cả hai bài toán nhận diện khuôn mặt và nhận dạng cảm xúc với các thông số cụ thể:

Phân hệ chức năng Thuật toán / Mô hình sử dụng Tập dữ liệu thực nghiệm Kết quả thực nghiệm chính
Nhận diện khuôn mặt Haar-Cascade / HOG kết hợp ResNet (Mã hóa véc-tơ 128 chiều) Tập dữ liệu LFW (Tập 1) & Tập dữ liệu riêng 4 đối tượng (Tập 2, 2.000 ảnh) - Phân loại chính xác các khuôn mặt đã đăng ký.
- Nhận diện đồng thời nhiều khuôn mặt trong một khung hình.
- Phát hiện chính xác đối tượng lạ không có trong cơ sở dữ liệu.
Nhận diện cảm xúc Mạng nơ-ron tích chập (CNN) kết hợp hàm kích hoạt ReLU, MaxPooling và Dropout Tập dữ liệu FERC-2013 & Tập dữ liệu kiểm tra riêng - Phân loại thành công 7 nhóm cảm xúc: vui vẻ, buồn, sợ hãi, giận dữ, ngạc nhiên, khó chịu, bình thường.
- Độ chính xác huấn luyện và kiểm thử của mô hình đề xuất cao hơn kết quả đối sánh từ nghiên cứu tham khảo [1].
Triển khai phần cứng Python, OpenCV chạy trên hệ điều hành Linux của Raspberry Pi 4 Luồng video trực tiếp từ camera - Tốc độ xử lý nhanh, đáp ứng yêu cầu nhận dạng theo thời gian thực (Real-time).
- Tích hợp hiển thị bounding box và nhãn trạng thái trực tiếp trên màn hình GUI.

Đóng góp của đề tài

  1. Tích hợp mô hình học sâu lên thiết bị nhúng: Triển khai thành công pipeline kết hợp phát hiện khuôn mặt, trích xuất đặc trưng 128 chiều (ResNet) và phân loại cảm xúc bằng mạng CNN trên kit phần cứng có tài nguyên giới hạn như Raspberry Pi 4.
  2. Cải thiện độ chính xác nhận dạng cảm xúc: Xây dựng và tối ưu kiến trúc mạng nơ-ron tích chập chuyên biệt cho bài toán nhận dạng 7 trạng thái cảm xúc, đạt tỷ lệ chính xác cao hơn so với kết quả đã công bố trong tài liệu tham khảo [1].
  3. Xây dựng tập dữ liệu thực tế: Tác giả đã tự thu thập và gán nhãn tập dữ liệu chân dung 2.000 ảnh từ 4 đối tượng dưới các góc nhìn và điều kiện khác nhau để đánh giá khả năng tổng quát hóa của hệ thống.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được chỉ ra từ thực nghiệm

  • Độ nhạy cảm với điều kiện chiếu sáng: Cường độ sáng quá cao hoặc ngược sáng làm biến dạng các vùng bóng trên khuôn mặt, dẫn đến việc nhận dạng sai cảm xúc "bình thường" thành "sợ hãi". Ngược lại, cường độ sáng quá yếu làm mất chi tiết vùng mắt và miệng, dễ gây nhầm lẫn thành cảm xúc "buồn".
  • Hạn chế về góc nhìn và tư thế khuôn mặt: Khi khuôn mặt bị xoay nghiêng góc lớn hoặc không nhìn chính diện vào camera, các đặc trưng cơ mặt bị che khuất khiến thuật toán không thể phát hiện vùng mặt hoặc trích xuất sai vector đặc trưng.
  • Biểu cảm tinh tế (Micro-expressions): Trong trường hợp người dùng thể hiện biểu cảm không rõ ràng, biên độ co giãn của cơ mặt thấp, hệ thống gặp khó khăn trong việc phân biệt giữa trạng thái "bình thường" và các cảm xúc khác.
  • Quy mô tập dữ liệu nhận diện khuôn mặt: Tập dữ liệu tự tạo chỉ mới dừng lại ở quy mô nhỏ (4 đối tượng nam trong không gian hẹp).

Hướng nghiên cứu tiếp

  • Mở rộng quy mô cơ sở dữ liệu mẫu đa dạng hơn về lứa tuổi, giới tính, chủng tộc và nhiều kịch bản môi trường phức tạp.
  • Bổ sung các thuật toán tiền xử lý thích nghi ánh sáng tự động (như cân bằng sáng cục bộ, chuẩn hóa histogram nâng cao) nhằm giảm thiểu ảnh hưởng của hiện tượng ngược sáng và thiếu sáng.
  • Nghiên cứu tối ưu hóa cấu trúc mạng nơ-ron (nén mô hình, lượng tử hóa trọng số) để gia tăng tốc độ khung hình xử lý trên giây (FPS) trên các dòng máy tính nhúng thế hệ mới.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo thực nghiệm hữu ích cho các nhóm đối tượng sau:

  • Sinh viên ngành Kỹ thuật Điện tử - Truyền thông, Công nghệ Thông tin, Kỹ thuật Máy tính và Cơ điện tử: Cung cấp phương pháp luận và quy trình từng bước để chuyển giao mô hình học máy (Machine Learning/Deep Learning) từ môi trường máy tính cá nhân sang môi trường phần cứng nhúng (Raspberry Pi).
  • Người nghiên cứu các hệ thống Thị giác máy tính ứng dụng: Phần tài liệu mô tả chi tiết quy trình xử lý Haar-Cascade, HOG, kiến trúc ResNet trích xuất véc-tơ 128 chiều và thiết lập các lớp trong mạng CNN (Conv, ReLU, MaxPooling, Dropout) là tài liệu mẫu rõ ràng để xây dựng các bài toán nhận dạng đối tượng sinh trắc học.
  • Nhà phát triển hệ thống nhúng thông minh: Cung cấp giải pháp kết nối phần cứng camera, màn hình, cấu hình kit Raspberry Pi 4 với ngôn ngữ Python và thư viện OpenCV để xây dựng các sản phẩm thực tế có khả năng tương tác người - máy.

Câu hỏi thường gặp

1. Hệ thống thực hiện mã hóa và nhận dạng khuôn mặt của từng cá nhân theo cơ chế nào?
Hệ thống sử dụng mô hình mạng nơ-ron tích chập sâu ResNet để mã hóa hình ảnh khuôn mặt thành một véc-tơ đặc trưng 128 chiều (128-dimensional embedding). Quá trình phân loại và nhận diện danh tính được thực hiện bằng cách tính toán khoảng cách trong không gian Euclide giữa véc-tơ của khuôn mặt đầu vào với các véc-tơ mẫu đã lưu trữ trong cơ sở dữ liệu.

2. Bảy trạng thái cảm xúc cơ bản mà hệ thống có khả năng nhận dạng là gì?
Mô hình mạng nơ-ron tích chập trong đề tài được thiết kế để phân loại chính xác 7 trạng thái cảm xúc cơ bản bao gồm: "vui vẻ", "buồn", "sợ hãi", "giận dữ", "ngạc nhiên", "khó chịu" và "bình thường".

3. Những yếu tố nào trong thực nghiệm dẫn đến việc hệ thống nhận dạng sai lệch cảm xúc?
Dựa trên kết quả phân tích tại Chương 4, các nguyên nhân chính gây sai lệch gồm: cường độ ánh sáng quá cao hoặc ngược sáng làm hệ thống nhận nhầm trạng thái "bình thường" thành "sợ hãi"; cường độ ánh sáng quá yếu hoặc khuôn mặt thay đổi góc nghiêng (không chính diện với camera) làm hệ thống nhận nhầm thành "buồn"; và các trường hợp biểu cảm khuôn mặt không rõ ràng.

4. Cấu hình phần cứng chính của kit máy tính nhúng Raspberry Pi 4 được sử dụng trong đồ án như thế nào?
Kit Raspberry Pi 4 sử dụng vi xử lý Broadcom BCM2837 chạy ở xung nhịp 1.2 GHz (lõi tứ ARM Cortex-A53 64-bit), bộ nhớ RAM 1GB LPDDR2, tích hợp 4 cổng USB 2.0, cổng kết nối HDMI, khe cắm thẻ nhớ microSD, hỗ trợ kết nối mạng không dây LAN và chạy trên hệ điều hành nền tảng Linux.

5. Tập dữ liệu chuẩn nào được tác giả sử dụng làm cơ sở huấn luyện mô hình mạng nhận dạng cảm xúc?
Tác giả sử dụng tập dữ liệu ảnh cảm xúc FERC-2013 (Facial Expression Recognition Challenge 2013) làm cơ sở dữ liệu chính để huấn luyện và đánh giá mô hình mạng nơ-ron tích chập.

Kết luận

Đồ án tốt nghiệp của tác giả Nguyễn Văn Phúc đã xây dựng thành công một hệ thống hoàn chỉnh có khả năng nhận diện khuôn mặt và phân loại 7 trạng thái cảm xúc theo thời gian thực trên kit máy tính nhúng Raspberry Pi 4. Bằng việc kết hợp hiệu quả giữa các thuật toán phát hiện khuôn mặt truyền thống (Haar-Cascade, HOG), mô hình mạng ResNet trích xuất véc-tơ đặc trưng 128 chiều và mạng nơ-ron tích chập (CNN) chống quá khớp bằng Dropout, hệ thống đạt độ chính xác cao và vượt trội hơn nghiên cứu tham chiếu. Công trình đã chứng minh tính khả thi của việc ứng dụng các giải pháp học sâu phức tạp vào các thiết bị phần cứng nhúng chi phí thấp phục vụ cho các hệ thống an ninh và tương tác người - máy trong thực tiễn.