Tổng quan nghiên cứu

Nhận dạng cảm xúc mặt người (Facial Expression Recognition – FER) là lĩnh vực nghiên cứu quan trọng trong tương tác người-máy, an ninh, tâm lý học hành vi và chăm sóc khách hàng. Với sự phổ biến của camera an ninh tại sân bay, ngân hàng, trường học, việc nhận dạng chính xác cảm xúc trên khuôn mặt giúp nâng cao hiệu quả các hệ thống này. Theo Paul Ekman, sáu cảm xúc phổ biến gồm buồn, hạnh phúc, tức giận, sợ hãi, ghê tởm và ngạc nhiên. Bài toán FER gồm ba bước chính: phát hiện khuôn mặt, trích xuất đặc trưng và phân loại cảm xúc.

Nhiều phương pháp trích xuất đặc trưng đã được nghiên cứu như Gabor Wavelet, PCA, LDA, HOG, trong đó Local Binary Pattern (LBP) nổi bật với ưu điểm ít chịu ảnh hưởng bởi ánh sáng, góc quay, chi phí tính toán thấp và tốc độ xử lý nhanh. Ở giai đoạn phân loại, các thuật toán như Hidden Markov Model, SVM, KNN và đặc biệt là mạng nơ-ron tích chập (CNN) được ứng dụng rộng rãi. CNN thể hiện ưu thế vượt trội trong xử lý tập dữ liệu lớn và nhận dạng hình ảnh.

Luận văn tập trung nghiên cứu mô hình kết hợp đặc trưng LBP làm đầu vào cho CNN (LBP-CNN) nhằm nâng cao độ chính xác nhận dạng 7 loại cảm xúc trên khuôn mặt người. Nghiên cứu sử dụng hai cơ sở dữ liệu lớn là CK+ và FER2013, với phạm vi thời gian thực nghiệm đến năm 2019 tại Việt Nam. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc phát triển các hệ thống nhận dạng cảm xúc mặt người ứng dụng trong an ninh, chăm sóc khách hàng và tương tác người-máy.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

  1. Local Binary Pattern (LBP): Là phương pháp trích xuất đặc trưng dựa trên mô hình nhị phân cục bộ, đo độ tương phản cục bộ của ảnh. LBP có khả năng bất biến với thay đổi về độ sáng, góc quay và kích thước, giúp trích xuất đặc trưng hiệu quả từ ảnh khuôn mặt. Phiên bản cải tiến của LBP sử dụng các điểm ảnh láng giềng trên đường tròn với bán kính xác định, tạo ra các mẫu nhị phân đồng dạng (uniform LBP) giúp giảm số lượng nhãn đặc trưng.

  2. Mạng nơ-ron tích chập (Convolutional Neural Network – CNN): Mạng CNN gồm các lớp tích chập, pooling và fully connected, có khả năng học đặc trưng tự động từ dữ liệu ảnh. CNN tận dụng các trường tiếp nhận cục bộ, trọng số chia sẻ và tổng hợp để giảm số lượng tham số và tăng hiệu quả học. Các lớp pooling như max-pooling giúp mạng có tính bất biến với dịch chuyển, xoay và co giãn ảnh.

Các khái niệm chính bao gồm: phát hiện khuôn mặt (Viola-Jones với đặc trưng Haar), trích xuất đặc trưng LBP, kiến trúc CNN với các lớp tích chập và pooling, kỹ thuật ReLU, dropout để giảm overfitting, và thuật toán tối ưu Adam.

Phương pháp nghiên cứu

Nghiên cứu sử dụng hai cơ sở dữ liệu chuẩn:

  • CK+ (The Extended Cohn-Kanade AU-Coded Expression Database): Gồm 617 ảnh khuôn mặt với 7 loại cảm xúc, ảnh chụp thẳng, độ phân giải chuẩn hóa 48x48 pixel.
  • FER2013: Gồm 35,887 ảnh xám kích thước 48x48 pixel, ảnh có nhiều điều kiện phức tạp như nền không thuần, khuôn mặt không luôn ở chính giữa, có ngoại vật che khuất.

Phương pháp nghiên cứu gồm các bước:

  1. Phát hiện khuôn mặt: Sử dụng thuật toán Viola-Jones để xác định vùng khuôn mặt trong ảnh đầu vào, chuẩn hóa kích thước về 48x48 pixel.
  2. Trích xuất đặc trưng LBP: Áp dụng thuật toán LBP trên vùng khuôn mặt để tạo ảnh đặc trưng đầu vào cho CNN.
  3. Xây dựng mô hình CNN: Thiết kế mạng CNN gồm 2 tầng tích chập với kích thước bộ lọc 5x5, số lượng bộ lọc lần lượt 64 và 128, kết hợp max-pooling 2x2, sử dụng ReLU và dropout giữa các tầng để giảm overfitting. Lớp đầu ra gồm 7 nơ-ron tương ứng 7 loại cảm xúc, sử dụng softmax để phân loại.

Phân tích kết quả thực nghiệm trên hai tập dữ liệu với hai mô hình: TN1 (CNN với ảnh gốc) và TN2 (CNN với đặc trưng LBP). Cỡ mẫu lớn, phương pháp chọn mẫu ngẫu nhiên, sử dụng thuật toán Adam với learning rate 0.0001 để tối ưu mạng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu suất trên cơ sở dữ liệu CK+:

    • TN2 (CNN với đặc trưng LBP) đạt độ chính xác trung bình 52%, cao hơn TN1 (CNN với ảnh gốc) là 45%.
    • Cảm xúc khó phân biệt như tức giận và ghê tởm được TN2 nhận dạng chính xác hơn đáng kể (tức giận 77% so với 55%, ghê tởm 75% so với 58%).
    • Cảm xúc hạnh phúc TN1 cho kết quả tốt hơn (100% so với 71%).
    • Các cảm xúc sợ hãi và bình thường có độ chính xác tương đương giữa hai mô hình.

  2. Hiệu suất trên cơ sở dữ liệu FER2013:

    • TN2 đạt độ chính xác trung bình 50%, vượt TN1 39% (tăng 11%).
    • TN2 cải thiện rõ rệt ở các cảm xúc tức giận (64% so với 43%), ghê tởm (28% so với 0%), sợ hãi (38% so với 19%), hạnh phúc (80% so với 75%), buồn (22% so với 14%) và ngạc nhiên (68% so với 64%).
    • Cảm xúc bình thường TN1 cho kết quả tốt hơn TN2 (62% so với 51%).
    • Với tập dữ liệu lớn và phức tạp, mô hình kết hợp LBP và CNN thể hiện ưu thế vượt trội.

  3. Khó khăn và thách thức:

    • Nhận dạng cảm xúc bị ảnh hưởng bởi các yếu tố như ánh sáng, góc nghiêng, che khuất khuôn mặt, và sự tương đồng giữa các cảm xúc (ví dụ tức giận và ghê tởm).
    • Các tập dữ liệu thực tế có nền phức tạp, ngoại vật xen kẽ gây khó khăn cho việc phát hiện và phân loại.

  4. So sánh với các nghiên cứu khác:

    • LBP kết hợp SVM trước đây đạt 88.9% trên CK+, trong khi CNN kết hợp LBP trong nghiên cứu này đạt hiệu quả cao hơn trong môi trường phức tạp và dữ liệu lớn.
    • Các mô hình học sâu như CNN có ưu thế khi dữ liệu lớn, phù hợp với xu hướng phát triển hiện nay.

Thảo luận kết quả

Kết quả cho thấy việc trích xuất đặc trưng LBP trước khi đưa vào CNN giúp mô hình tập trung vào các đặc điểm cục bộ quan trọng của khuôn mặt, giảm ảnh hưởng của nhiễu và biến đổi ánh sáng. Điều này làm tăng độ chính xác nhận dạng cảm xúc, đặc biệt với các cảm xúc khó phân biệt. Mô hình TN2 đạt hiệu quả cao hơn TN1 ngay từ các bước huấn luyện đầu tiên, thể hiện qua biểu đồ so sánh hiệu suất trên cả hai cơ sở dữ liệu.

Việc sử dụng hai cơ sở dữ liệu với đặc điểm khác nhau (CK+ kiểm soát tốt, FER2013 đa dạng và phức tạp) giúp đánh giá toàn diện khả năng tổng quát của mô hình. Kết quả cho thấy mô hình LBP-CNN có tính ổn định và khả năng ứng dụng thực tế cao hơn.

Các biểu đồ phân bố cảm xúc và hiệu suất phân loại minh họa rõ sự cải thiện của mô hình TN2, đặc biệt ở các cảm xúc tức giận và ghê tởm. Bảng kết quả chi tiết cũng cho thấy sự khác biệt rõ ràng về độ chính xác giữa hai mô hình.

Tuy nhiên, một số cảm xúc như hạnh phúc và bình thường có kết quả không đồng nhất, cho thấy cần tiếp tục nghiên cứu để cải thiện khả năng phân biệt các cảm xúc này trong các điều kiện thực tế đa dạng.

Đề xuất và khuyến nghị

  1. Tăng cường dữ liệu huấn luyện:

    • Thu thập thêm dữ liệu đa dạng về độ tuổi, giới tính, điều kiện ánh sáng và tư thế khuôn mặt để cải thiện khả năng tổng quát của mô hình.
    • Thời gian thực hiện: 6-12 tháng.
    • Chủ thể thực hiện: Các trung tâm nghiên cứu và doanh nghiệp công nghệ.

  2. Phát triển mô hình học sâu đa tầng:

    • Nâng cấp kiến trúc CNN với nhiều tầng tích chập hơn, kết hợp các kỹ thuật học sâu mới như Residual Networks (ResNet) hoặc Attention Mechanisms để tăng khả năng trích xuất đặc trưng.
    • Thời gian thực hiện: 12 tháng.
    • Chủ thể thực hiện: Nhóm nghiên cứu chuyên sâu về AI.

  3. Tích hợp đa cảm biến và dữ liệu đa phương thức:

    • Kết hợp dữ liệu video, âm thanh và cảm biến sinh trắc để tăng độ chính xác nhận dạng cảm xúc trong môi trường thực tế.
    • Thời gian thực hiện: 18 tháng.
    • Chủ thể thực hiện: Các tổ chức phát triển hệ thống tương tác người-máy.

  4. Ứng dụng trong các hệ thống thực tế:

    • Triển khai mô hình vào các hệ thống an ninh, chăm sóc khách hàng, giáo dục để đánh giá hiệu quả và thu thập phản hồi cải tiến.
    • Thời gian thực hiện: 6-9 tháng.
    • Chủ thể thực hiện: Doanh nghiệp công nghệ, tổ chức giáo dục, an ninh.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Trí tuệ nhân tạo:

    • Lợi ích: Hiểu sâu về ứng dụng LBP và CNN trong nhận dạng cảm xúc, phương pháp trích xuất đặc trưng và thiết kế mô hình học sâu.
    • Use case: Phát triển các đề tài nghiên cứu, luận văn thạc sĩ, tiến sĩ.

  2. Chuyên gia phát triển hệ thống nhận dạng khuôn mặt và cảm xúc:

    • Lợi ích: Áp dụng kiến thức về thuật toán phát hiện khuôn mặt, trích xuất đặc trưng và phân loại cảm xúc vào sản phẩm thực tế.
    • Use case: Xây dựng hệ thống an ninh, chăm sóc khách hàng tự động.

  3. Doanh nghiệp công nghệ và startup trong lĩnh vực AI và thị giác máy tính:

    • Lợi ích: Nắm bắt xu hướng công nghệ, cải tiến sản phẩm nhận dạng cảm xúc, nâng cao trải nghiệm người dùng.
    • Use case: Phát triển ứng dụng tương tác người-máy, phân tích hành vi khách hàng.

  4. Người làm trong lĩnh vực tâm lý học và nghiên cứu hành vi:

    • Lợi ích: Sử dụng công nghệ nhận dạng cảm xúc để phân tích tâm trạng, hành vi trong nghiên cứu và ứng dụng thực tế.
    • Use case: Nghiên cứu tâm lý, phát triển công cụ hỗ trợ chăm sóc sức khỏe tâm thần.

Câu hỏi thường gặp

  1. LBP là gì và tại sao được chọn làm đặc trưng?
    LBP (Local Binary Pattern) là phương pháp trích xuất đặc trưng dựa trên mô hình nhị phân cục bộ, giúp đo độ tương phản cục bộ của ảnh. LBP được chọn vì ít bị ảnh hưởng bởi ánh sáng, góc quay và có tốc độ xử lý nhanh, phù hợp cho nhận dạng cảm xúc mặt người.

  2. Mạng nơ-ron tích chập (CNN) có ưu điểm gì trong bài toán này?
    CNN có khả năng học đặc trưng tự động từ dữ liệu ảnh, tận dụng các trường tiếp nhận cục bộ và trọng số chia sẻ để giảm số lượng tham số, giúp mô hình học hiệu quả và chính xác hơn trong nhận dạng cảm xúc.

  3. Tại sao kết hợp LBP với CNN lại hiệu quả hơn dùng CNN trực tiếp?
    LBP giúp trích xuất các đặc trưng cục bộ quan trọng, giảm nhiễu và biến đổi ánh sáng, làm đầu vào cho CNN giúp mạng tập trung vào các đặc điểm quan trọng, từ đó nâng cao độ chính xác nhận dạng, đặc biệt với các cảm xúc khó phân biệt.

  4. Cơ sở dữ liệu CK+ và FER2013 có điểm khác biệt gì?
    CK+ là tập dữ liệu kiểm soát tốt, ảnh chụp thẳng, ít nhiễu, trong khi FER2013 đa dạng hơn với nhiều điều kiện phức tạp như nền không thuần, khuôn mặt không luôn ở chính giữa, có ngoại vật che khuất, làm bài toán nhận dạng khó khăn hơn.

  5. Mô hình có thể áp dụng trong thực tế như thế nào?
    Mô hình LBP-CNN có thể tích hợp vào các hệ thống an ninh, chăm sóc khách hàng, giáo dục để nhận dạng cảm xúc người dùng, từ đó cải thiện tương tác và dịch vụ. Ví dụ, camera an ninh có thể phát hiện hành vi bất thường dựa trên cảm xúc tức giận hoặc sợ hãi.

Kết luận

  • Luận văn đã xây dựng thành công mô hình LBP-CNN nhận dạng 7 loại cảm xúc trên khuôn mặt người với độ chính xác cải thiện rõ rệt so với CNN truyền thống.
  • Kết quả thực nghiệm trên hai cơ sở dữ liệu CK+ và FER2013 cho thấy mô hình kết hợp LBP và CNN có hiệu suất cao hơn, đặc biệt với dữ liệu lớn và phức tạp.
  • Nghiên cứu góp phần nâng cao hiệu quả nhận dạng cảm xúc trong các ứng dụng an ninh, chăm sóc khách hàng và tương tác người-máy.
  • Đề xuất phát triển thêm dữ liệu, nâng cấp mô hình học sâu và tích hợp đa phương thức để tăng cường khả năng nhận dạng trong môi trường thực tế.
  • Khuyến khích các nhà nghiên cứu và doanh nghiệp ứng dụng mô hình vào các hệ thống thực tế nhằm nâng cao trải nghiệm người dùng và hiệu quả công việc.

Hành động tiếp theo: Khởi động dự án mở rộng dữ liệu và phát triển mô hình CNN đa tầng, đồng thời triển khai thử nghiệm thực tế tại các đơn vị an ninh và chăm sóc khách hàng.