Luận Văn Thạc Sĩ: Ứng Dụng Mạng CNN Giải Quyết Bài Toán Nhận Dạng Cảm Xúc Khuôn Mặt

Luận văn thạc sĩ nghiên cứu ứng dụng mô hình CNN trong bài toán nhận dạng cảm xúc khuôn mặt, mang lại hiệu quả cao trong lĩnh vực AI.

• Tác giả: Nguyễn Sơn Hóa
• Người hướng dẫn: PGS.TS Phạm Thế Bảo
• Trường học: Trường Đại Học Ngoại Ngữ - Tin Học Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Ứng Dụng CNN Trong Nhận Dạng Cảm Xúc Khuôn Mặt Người
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: TP.Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC SƠ ĐỒ, HÌNH VẼ, BẢNG BIỂU
• 1. Chương 1: Tổng quan
• 1.1. Giới thiệu
• 1.2. Các hướng tiếp cận
• 1.3. Khó khăn và thách thức
• 1.4. Đề xuất hướng giải quyết
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Các phương pháp phát hiện khuôn mặt người
• 2.1.1. Hướng tiếp cận dựa trên tri thức
• 2.1.2. Hướng tiếp cận dựa trên so khớp mẫu
• 2.1.3. Hướng tiếp cận dựa trên diện mạo
• 2.2. Mạng nơ-ron tích chập
• 2.2.1. Tổng quan mạng nơ-ron nhân tạo
• 2.2.2. Mạng nơ-ron tích chập
• 3. Chương 3: Xây dựng thuật giải
• 3.1. Xác định vị trí khuôn mặt
• 3.2. Trích đặc trưng LBP
• 3.3. Mô hình CNN với đặc trưng LBP
• 4. Chương 4: Kết quả và hướng phát triển
• 4.1. Cơ sở dữ liệu
• 4.1.1. Cơ sở dữ liệu CK+
• 4.1.2. Cơ sở dữ liệu FER2013
• 4.2. Môi trường thực nghiệm
• 4.3. Thiết kế thực nghiệm
• 4.3.1. Cơ sở dữ liệu CK+
• 4.3.2. Cơ sở dữ liệu FER2013
• 4.4. Hướng phát triển
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu về ứng dụng CNN trong nhận dạng cảm xúc khuôn mặt người

Nhận dạng cảm xúc khuôn mặt người (FER) là một lĩnh vực quan trọng trong trí tuệ nhân tạo (AI) và computer vision. FER đóng vai trò thiết yếu trong các hệ thống tương tác giữa người và máy, an ninh, và nghiên cứu tâm lý học. CNN (Mạng nơ-ron tích chập) đã chứng minh hiệu quả vượt trội trong việc xử lý dữ liệu hình ảnh, đặc biệt là trong bài toán FER. Luận văn này tập trung vào việc ứng dụng LBP-CNN (Local Binary Pattern Convolutional Neural Networks) để nâng cao độ chính xác trong nhận dạng cảm xúc khuôn mặt người. LBP là phương pháp trích xuất đặc trưng hiệu quả, ít bị ảnh hưởng bởi ánh sáng và góc quay, kết hợp với CNN tạo thành một mô hình mạnh mẽ cho bài toán này.

1.1. Tầm quan trọng của FER trong AI

FER không chỉ giúp nhận biết cảm xúc mà còn ứng dụng trong nhiều lĩnh vực như an ninh, chăm sóc khách hàng, và hệ thống khuyến nghị. Paul Ekman đã xác định sáu cảm xúc cơ bản: buồn, hạnh phúc, tức giận, sợ hãi, ghê tởm, và ngạc nhiên. Việc nhận dạng chính xác các cảm xúc này đòi hỏi sự kết hợp giữa xử lý ảnh và học sâu (deep learning). CNN đã trở thành công cụ chính trong việc xử lý dữ liệu hình ảnh lớn, giúp cải thiện độ chính xác của FER.

1.2. Ưu điểm của LBP CNN

LBP là phương pháp trích xuất đặc trưng hiệu quả với chi phí tính toán thấp và tốc độ xử lý nhanh. Khi kết hợp với CNN, mô hình LBP-CNN tận dụng được ưu điểm của cả hai phương pháp: LBP giúp giảm thiểu ảnh hưởng của môi trường, trong khi CNN xử lý hiệu quả dữ liệu lớn và phức tạp. Điều này làm cho LBP-CNN trở thành một giải pháp mạnh mẽ cho bài toán FER.

II. Các phương pháp tiếp cận trong FER

Có hai hướng tiếp cận chính trong nhận dạng cảm xúc khuôn mặt người (FER): dựa trên diện mạo (appearance) và dựa trên hình học (geometric). Phương pháp dựa trên diện mạo tập trung vào giá trị cường độ điểm ảnh, trong khi phương pháp dựa trên hình học xem xét các đặc điểm hình học như khoảng cách và vị trí của các thành phần khuôn mặt. FACS (Face Action Coding System) là một hệ thống mã hóa hành động khuôn mặt dựa trên tâm lý học, giúp phân tích các biểu hiện cảm xúc thông qua các đơn vị hành động (AU).

2.1. Phương pháp dựa trên diện mạo

Phương pháp này sử dụng các phép biến đổi và bộ lọc để trích xuất thông tin từ giá trị cường độ điểm ảnh. LBP và Gabor Wavelet là hai phương pháp phổ biến. LBP được ưa chuộng do tốc độ xử lý nhanh và khả năng chống nhiễu tốt. Kết hợp LBP với các thuật toán phân lớp như SVM đã cho kết quả ấn tượng trong các thử nghiệm.

2.2. Phương pháp dựa trên hình học

Phương pháp này tập trung vào các đặc điểm hình học như khoảng cách giữa các điểm trên khuôn mặt. FACS là một ví dụ điển hình, sử dụng các đơn vị hành động (AU) để mô tả sự thay đổi biểu hiện khuôn mặt. Mặc dù có tính mô tả cao, phương pháp này đòi hỏi dữ liệu đầu vào chính xác và thường gặp khó khăn trong môi trường thực tế.

III. Khó khăn và thách thức trong FER

Mặc dù đạt được nhiều tiến bộ, nhận dạng cảm xúc khuôn mặt người (FER) vẫn đối mặt với nhiều thách thức. Việc phát hiện khuôn mặt trong ảnh có nhiều vật cản, góc nghiêng, hoặc độ phân giải thấp là một vấn đề lớn. Ngoài ra, sự tương đồng giữa các cảm xúc như ghê tởm và tức giận cũng gây khó khăn trong việc phân loại. Môi trường ánh sáng không ổn định cũng ảnh hưởng đến độ chính xác của hệ thống.

3.1. Thách thức trong phát hiện khuôn mặt

Việc phát hiện khuôn mặt trong ảnh có nhiều vật cản hoặc góc nghiêng là một thách thức lớn. Các thuật toán như Viola-Jones được sử dụng để xác định khuôn mặt, nhưng vẫn gặp khó khăn trong các tình huống phức tạp. Độ phân giải thấp của ảnh cũng làm giảm hiệu quả của các bước trích xuất đặc trưng.

3.2. Khó khăn trong phân loại cảm xúc

Sự tương đồng giữa các cảm xúc như ghê tởm và tức giận gây khó khăn trong việc phân loại. Các mô hình CNN cần được huấn luyện trên dữ liệu đa dạng để cải thiện độ chính xác. Ngoài ra, môi trường ánh sáng không ổn định cũng ảnh hưởng đến kết quả nhận dạng.

IV. Đề xuất giải pháp và hướng phát triển

Để giải quyết các thách thức trong FER, luận văn đề xuất sử dụng LBP-CNN kết hợp với thuật toán Viola-Jones để phát hiện khuôn mặt. LBP được sử dụng để trích xuất đặc trưng, trong khi CNN được dùng để phân loại cảm xúc. Hướng phát triển tương lai bao gồm cải thiện độ chính xác của mô hình và ứng dụng trong các môi trường thực tế phức tạp.

4.1. Giải pháp sử dụng LBP CNN

Luận văn đề xuất sử dụng LBP-CNN để nâng cao độ chính xác trong FER. LBP giúp trích xuất đặc trưng hiệu quả, trong khi CNN xử lý dữ liệu lớn và phức tạp. Kết hợp với thuật toán Viola-Jones, mô hình này có thể phát hiện khuôn mặt với độ chính xác cao và tốc độ nhanh.

4.2. Hướng phát triển tương lai

Hướng phát triển tương lai bao gồm cải thiện độ chính xác của mô hình LBP-CNN và ứng dụng trong các môi trường thực tế phức tạp. Ngoài ra, việc tích hợp thêm các phương pháp trích xuất đặc trưng và phân loại tiên tiến cũng là một hướng nghiên cứu tiềm năng.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng cảm xúc khuôn mặt người (Facial Expression Recognition - FER) đóng vai trò then chốt trong quá trình tối ưu hóa tương tác giữa người và máy, nâng cao hiệu quả vận hành của hệ thống an ninh giám sát tại sân bay, trạm ATM, cũng như hỗ trợ nghiên cứu tâm lý học hành vi và hệ thống khuyến nghị thương mại. Dựa trên lý thuyết cảm xúc nền tảng của Paul Ekman, con người có 6 trạng thái cảm xúc cơ bản bao gồm buồn, hạnh phúc, tức giận, sợ hãi, ghê tởm, ngạc nhiên cùng 1 trạng thái trung tính. Mặc dù các kỹ thuật thị giác máy tính đã đạt được nhiều bước tiến, bài toán FER vẫn đối mặt với các thách thức lớn như sự thay đổi phức tạp của điều kiện chiếu sáng, góc nghiêng khuôn mặt, sự che khuất bởi vật cản và độ phân giải hạn chế khi cắt vùng mặt. Đặc biệt, sự tương đồng biểu cảm giữa các cặp cảm xúc như tức giận và ghê tởm thường dẫn đến tỷ lệ phân loại nhầm lẫn cao.

Luận văn thạc sĩ ngành Công nghệ thông tin (mã số 60480201) của tác giả Nguyễn Sơn Hóa, được thực hiện dưới sự hướng dẫn khoa học của PGS.TS Phạm Thế Bảo tại Trường Đại học Ngoại ngữ - Tin học Thành phố Hồ Chí Minh vào tháng 05 năm 2019, đã tập trung giải quyết bài toán này. Mục tiêu nghiên cứu là xây dựng và đánh giá mô hình tích hợp giữa thuật toán trích xuất đặc trưng cục bộ LBP (Local Binary Pattern) và mạng nơ-ron tích chập (Convolutional Neural Networks - CNN), gọi tắt là LBP-CNN. Nghiên cứu tiến hành thực nghiệm trên 2 bộ cơ sở dữ liệu chuẩn gồm CK+ với 617 mẫu ảnh và FER2013 với 35.887 ảnh. Kết quả cho thấy mô hình LBP-CNN nâng cao độ chính xác tổng thể thêm từ 7% đến 11% so với việc chỉ sử dụng CNN trên ảnh gốc, đồng thời cải thiện vượt bậc khả năng phân biệt các biểu cảm khó.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của 3 nền tảng lý thuyết cốt lõi trong thị giác máy tính và học sâu:

Hệ thống mã hóa hành động khuôn mặt (FACS - Face Action Coding System) do Ekman giới thiệu năm 1978 phân rã chuyển động cơ mặt thành 46 đơn vị hành động (Action Units - AU) ở vùng mặt trên và mặt dưới. FACS cung cấp cơ sở sinh học và hình thái học vững chắc để định lượng các trạng thái biểu cảm.

Lý thuyết mẫu nhị phân cục bộ (Local Binary Pattern - LBP) do Ojala phát triển năm 1996 và chuẩn hóa năm 2002. LBP mô tả cấu trúc kết cấu bề mặt cục bộ bằng cách so sánh cường độ xám của điểm ảnh trung tâm với $P$ điểm láng giềng trên đường tròn bán kính $R$. Cấu trúc LBP đồng dạng (Uniform LBP) với 59 mẫu đặc trưng mang tính chất bất biến với các phép biến đổi đơn điệu về cường độ sáng, góc quay và có chi phí tính toán rất thấp.

Mạng nơ-ron tích chập (CNN) với các cơ chế trường tiếp nhận cục bộ (Local Receptive Fields), trọng số chia sẻ (Shared Weights) và lớp gộp (Pooling Layer). Kiến trúc này mang lại khả năng bất biến với phép tịnh tiến, co giãn và trích xuất đặc trưng phân cấp từ thô đến mịn.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm từ 2 cơ sở dữ liệu ảnh khuôn mặt:

• Cơ sở dữ liệu CK+ (The Extended Cohn-Kanade Database): Gồm dãy hành vi khuôn mặt của 210 người trưởng thành (độ tuổi từ 18 đến 50, trong đó 69% là nữ, 81% người Mỹ gốc Âu, 13% người Mỹ gốc Phi), được ghi hình trong điều kiện chuẩn hóa. Tác giả trích xuất 617 ảnh đỉnh điểm cảm xúc để thực nghiệm.
• Cơ sở dữ liệu FER2013 từ cuộc thi Kaggle: Tổng cộng 35.887 ảnh xám kích thước 48x48 pixel với độ phức tạp cao, gồm tập Training (28.709 ảnh), tập PublicTest (3.589 ảnh) và tập PrivateTest (3.589 ảnh).

Phương pháp chọn mẫu áp dụng theo phương thức phân tầng (Stratified Sampling) định sẵn từ tập chuẩn quốc tế nhằm đảm bảo tính khách quan. Quy trình nghiên cứu gồm 3 bước:

1. Phát hiện khuôn mặt bằng thuật toán Viola-Jones sử dụng bộ phân loại tầng Cascade và đặc trưng Haar-like, sau đó chuẩn hóa kích thước vùng mặt về 48x48 pixel.
2. Trích xuất đặc trưng LBP trên ảnh xám để tạo ra bản đồ đặc trưng kết cấu 256 chiều. Lý do lựa chọn LBP là nhằm loại bỏ triệt để nhiễu ánh sáng trước khi đưa vào mạng học sâu.
3. Huấn luyện phân lớp bằng mạng CNN được thiết kế gồm 2 tầng tích chập (kích thước bộ lọc lần lượt là 64 và 128 với mặt nạ 5x5), 2 tầng gộp Max-Pooling (kích thước 2x2), 2 tầng kết nối đầy đủ (Fully Connected) với 4096 và 1024 nơ-ron, sử dụng hàm kích hoạt ReLU, kỹ thuật Dropout chống quá khớp (Overfitting) và hàm Softmax tại tầng ra gồm 7 nơ-ron.

Mô hình được tối ưu bằng thuật toán Adam với tốc độ học (Learning Rate) 0.0001, triển khai trên môi trường Python, thư viện TensorFlow và hệ điều hành CentOS 7 sử dụng card đồ họa GPU rời.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đối chứng giữa Thực nghiệm 1 (TN1 - CNN thuần túy trên ảnh mặt gốc) và Thực nghiệm 2 (TN2 - LBP-CNN) trên 2 cơ sở dữ liệu đem lại các phát hiện thực nghiệm quan trọng:

Độ chính xác nhận diện trung bình của LBP-CNN vượt trội hoàn toàn so với mô hình gốc. Trên tập dữ liệu CK+, độ chính xác phân loại của TN2 đạt 52%, cao hơn 7% so với mức 45% của TN1. Trên tập dữ liệu FER2013 quy mô lớn, TN2 đạt độ chính xác trung bình 50%, vượt trội 11% so với mức 39% của TN1.

Mô hình LBP-CNN thể hiện bước đột phá trong việc nhận diện các cảm xúc có độ tương đồng cao và các lớp dữ liệu mất cân bằng. Đối với cảm xúc tức giận (Angry) trên tập CK+, TN2 đạt độ chính xác 77%, tăng 22% so với 55% của TN1. Cảm xúc ghê tởm (Disgust) tăng từ 58% lên 75% (tăng 17%). Cảm xúc buồn (Sad) từ 0% ở TN1 đã tăng lên 33% ở TN2. Trên tập dữ liệu FER2013, cảm xúc ghê tởm từ mức 0% ở TN1 đã đạt 28% ở TN2; cảm xúc sợ hãi (Fear) tăng từ 19% lên 38% (tăng gấp đôi); cảm xúc tức giận tăng từ 43% lên 64% (tăng 21%).

Tốc độ hội tụ của mô hình tăng đáng kể. Dữ liệu trích xuất đặc trưng LBP giúp mạng CNN đạt hiệu suất phân loại cao ngay từ các bước lặp (step) đầu tiên (từ step 100 đến step 400), chứng minh không gian đặc trưng LBP giúp mạng nơ-ron tối ưu hóa trọng số nhanh hơn so với dữ liệu pixel thô.

Thảo luận kết quả

Hiệu quả vượt trội của mô hình LBP-CNN bắt nguồn từ việc đặc trưng LBP đã thực hiện tiền xử lý và trừu tượng hóa các thông tin kết cấu vi mô (nếp nhăn trán, khóe mắt, khóe miệng) một cách độc lập với cường độ sáng tổng thể. Khi các nơ-ron tích chập tiếp nhận bản đồ đặc trưng LBP, chúng không bị phân tán bởi các vùng sáng/tối không đồng đều của môi trường mà tập trung trực tiếp vào các biến dạng hình học của cơ mặt.

Khi so sánh với các nghiên cứu tiền nhiệm, một nghiên cứu của Shan và cộng sự cho thấy việc trích xuất LBP chỉ mất 0.03 giây với số chiều đặc trưng là 2.478, trong khi Gabor Wavelet mất tới 30 giây với 42.650 chiều. Điều này lý giải vì sao sự kết hợp LBP với CNN vừa đảm bảo tốc độ tính toán nhanh, vừa tối ưu hóa hiệu suất bộ nhớ. Mặc dù Al-Shabi và cộng sự từng kết hợp SIFT-CNN đạt 73.4% trên FER2013, giải pháp LBP-CNN trong luận văn này có cấu trúc mạng tinh gọn hơn, phù hợp cho việc triển khai thực tế trên các phần cứng có năng lực tính toán hạn chế.

Dữ liệu kết quả nghiên cứu có thể được trực quan hóa thông qua biểu đồ cột kép so sánh hiệu suất giữa TN1 và TN2 trên 7 nhóm cảm xúc, kết hợp với ma trận nhầm lẫn (Confusion Matrix). Biểu đồ phân phối thực nghiệm thể hiện rõ lớp cảm xúc hạnh phúc chiếm tỷ lệ nhận diện cao nhất (80% trên FER2013 và 71% trên CK+), trong khi lớp ghê tởm và sợ hãi chịu ảnh hưởng từ hiện tượng mất cân bằng mẫu trong tập huấn luyện ban đầu.

Đề xuất và khuyến nghị

Dựa trên các kết quả và hạn chế đã chỉ ra, luận văn đưa ra 4 khuyến nghị và giải pháp kỹ thuật cụ thể:

Thứ nhất, nâng cấp kiến trúc mạng tích chập sâu (Deep Feature Extraction). Bộ phận nghiên cứu và phát triển (R&D) tại các viện nghiên cứu và doanh nghiệp công nghệ cần áp dụng các kiến trúc mạng hiện đại như ResNet, MobileNet hoặc DenseNet kết hợp với biến thể LBP đa tỷ lệ (Multi-scale LBP). Mục tiêu là nâng độ chính xác trung bình trên tập FER2013 từ 50% lên trên 75% trong lộ trình 12 tháng tới.

Thứ hai, cân bằng dữ liệu huấn luyện bằng kỹ thuật tăng cường dữ liệu (Data Augmentation). Các kỹ sư thị giác máy tính cần triển khai các thuật toán sinh mẫu như GAN (Generative Adversarial Networks) hoặc biến đổi hình học (xoay, lật, thay đổi độ tương phản) nhằm bổ sung tối thiểu 3.000 mẫu ảnh chất lượng cao cho các lớp cảm xúc thiểu số như ghê tởm và sợ hãi, hoàn thành trong vòng 3 đến 6 tháng.

Thứ ba, tối ưu hóa thuật toán để triển khai trên thiết bị biên (Edge Computing Deployment). Nhóm kỹ thuật phần mềm cần thực hiện lượng tử hóa trọng số mô hình (Model Quantization) và rút gọn mạng (Network Pruning) nhằm giảm độ trễ xử lý xuống dưới 30ms trên mỗi khung hình, phục vụ tích hợp trực tiếp vào hệ thống camera giám sát thông minh tại ngân hàng và cây ATM trong quý tới.

Thứ tư, mở rộng thuật toán xử lý đa góc nhìn và chống che khuất. Nhóm phát triển thuật toán cần tích hợp các mạng căn chỉnh khuôn mặt không gian 3 chiều (3D Facial Landmark Alignment) nhằm duy trì độ chính xác nhận diện trên 65% ngay cả khi khuôn mặt người dùng quay nghiêng góc trên 45 độ hoặc bị che khuất một phần bởi khẩu trang và kính mắt.

Đối tượng nên tham khảo luận văn

1. Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo: Luận văn là tài liệu tham khảo giá trị về phương pháp luận kết hợp giữa kỹ thuật trích xuất đặc trưng truyền thống (LBP) và mô hình học sâu (CNN), cung cấp kinh nghiệm thiết kế thực nghiệm trên các bộ dữ liệu benchmark quốc tế.
2. Kỹ sư phát triển hệ thống Thị giác Máy tính (Computer Vision Engineers): Cung cấp mã nguồn thuật toán, cấu hình siêu tham số và quy trình tiền xử lý ảnh khuôn mặt 48x48 pixel với chi phí tính toán thấp, dễ dàng ứng dụng vào các dự án nhúng.
3. Doanh nghiệp phát triển giải pháp EdTech, Chăm sóc khách hàng và An ninh số: Nắm bắt giải pháp phân loại 7 trạng thái cảm xúc tự động để tích hợp vào camera lớp học thông minh, hệ thống đánh giá mức độ hài lòng của khách hàng và trạm kiểm soát an ninh tự động.
4. Chuyên gia nghiên cứu Tâm lý học Hành vi và Tương tác Người - Máy (HCI): Sử dụng các cơ sở lý thuyết về hệ thống FACS và các số liệu phân loại cảm xúc để xây dựng công cụ đo lường phản ứng tâm lý khách quan của người dùng.

Câu hỏi thường gặp

Mô hình LBP-CNN mang lại ưu điểm vượt trội gì so với mô hình CNN truyền thống?
Mô hình LBP-CNN chuyển đổi ảnh xám thành bản đồ kết cấu vi mô 256 chiều trước khi đưa vào mạng tích chập. Việc này triệt tiêu hoàn toàn sự biến thiên ánh sáng môi trường, giúp độ chính xác tổng thể tăng từ 39% lên 50% trên tập FER2013 và tăng từ 45% lên 52% trên tập CK+.

Tại sao mô hình LBP-CNN nhận diện cảm xúc tức giận và ghê tởm tốt hơn?
Biểu cảm tức giận và ghê tởm có sự co cơ rất tinh tế quanh vùng lông mày và cánh mũi. Đặc trưng LBP làm nổi bật độ tương phản cục bộ của các nếp nhăn này, giúp độ chính xác nhận diện cảm xúc tức giận tăng 22% trên CK+ (đạt 77%) và ghê tởm tăng 28% trên FER2013.

Bộ dữ liệu FER2013 đặt ra thách thức gì cho thuật toán nhận diện?
Tập dữ liệu FER2013 gồm 35.887 ảnh thu thập từ môi trường tự nhiên, có độ phân giải thấp (48x48 pixel), khuôn mặt bị nghiêng, che khuất hoặc gán nhãn nhiễu. Phân bố cảm xúc cũng bị mất cân bằng nghiêm trọng khi cảm xúc hạnh phúc chiếm tỷ lệ áp đảo so với cảm xúc ghê tởm.

Kiến trúc mạng CNN trong nghiên cứu được thiết kế với các thông số nào?
Mạng gồm 2 tầng tích chập với bộ lọc 64 và 128 (kích thước mặt nạ 5x5), 2 tầng Max-Pooling kích thước 2x2, 2 tầng Fully Connected với 4096 và 1024 nơ-ron, hàm kích hoạt ReLU, kỹ thuật Dropout chống quá khớp, tốc độ học 0.0001 và hàm Softmax phân loại 7 cảm xúc.

Phương pháp phát hiện khuôn mặt Viola-Jones đạt hiệu quả như thế nào trong luận văn?
Thuật toán Viola-Jones với bộ phân loại Cascade đạt độ chính xác phát hiện 100% đối với các ảnh chụp thẳng và góc nghiêng dưới 30 độ trên cả hai tập dữ liệu CK+ và FER2013, tạo tiền đề chuẩn hóa ảnh mặt về kích thước 48x48 pixel một cách đồng nhất.

Kết luận

• Luận văn đã chứng minh tính hiệu quả vượt trội của kiến trúc kết hợp LBP-CNN trong bài toán nhận dạng cảm xúc khuôn mặt, giúp tăng độ chính xác tổng thể từ 7% đến 11% so với CNN thuần túy.
• Đặc trưng LBP 256 chiều đóng vai trò bộ lọc bất biến ánh sáng mạnh mẽ, giúp giảm thiểu độ phức tạp dữ liệu đầu vào và tăng tốc độ hội tụ của mạng nơ-ron tích chập.
• Nghiên cứu giải quyết thành công bài toán phân biệt các biểu cảm khó và mất cân bằng mẫu, nâng độ chính xác của cảm xúc tức giận lên 77% (tăng 22%) và ghê tởm lên 75% (tăng 17%) trên tập CK+.
• Xây dựng hoàn chỉnh quy trình xử lý thị giác máy tính từ phát hiện khuôn mặt bằng Viola-Jones, chuẩn hóa kích thước 48x48 pixel, trích xuất LBP đến phân loại đa lớp bằng CNN với hàm Softmax 7 trạng thái.
• Đóng góp giải pháp kỹ thuật tối ưu về mặt tài nguyên tính toán, mở ra tiềm năng lớn cho việc ứng dụng thị giác máy tính thời gian thực trên các hệ thống camera an ninh và thiết bị thông minh.

Trong giai đoạn 12 tháng tới, hướng phát triển trọng tâm là mở rộng mô hình nhận diện cảm xúc trên luồng video thời gian thực và tích hợp mạng nơ-ron hồi quy (RNN/LSTM) để phân tích chuỗi biểu cảm động. Bạn có thể áp dụng ngay mô hình LBP-CNN này để nâng cấp hệ thống thị giác máy tính của mình hoặc tải toàn văn công trình nghiên cứu để khám phá chi tiết các tham số thực nghiệm.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan 1.1 Giới thiệu Nhận dạng cảm xúc mặt người (Facial Expression Recognition – FER) giữ vai trò quan trọng trong tương tác giữa người và máy, trong các hệ thống an ninh với sự phổ biến của các camera an ninh ở các sân bay, văn phòng, trường đại học, máy ATM, ngân hàng… FER còn có thể được sử dụng trong nghiên cứu tâm lý học hành vi, chăm sóc khách hàng hay trong các hệ thống khuyến nghị dựa trên hình ảnh. Biểu hiện trên khuôn mặt thể hiện tâm trạng hoặc trạng thái cảm xúc của một cá nhân ở một thời điểm cụ thể như buồn, hạnh phúc, tức giận… Paul Ekman [1] cho thấy sáu cảm xúc phổ biến là buồn (sad), hạnh phúc (happy), tức giận (angry), sợ hãi (fear), ghê tởm (disgust) và ngạc nhiên (surprise). Phát hiện khuôn mặt là bước đầu tiên của nhận dạng cảm xúc khuôn mặt, trong đó khuôn mặt được xác định từ ảnh đầu vào và loại bỏ các đối tượng khác (nếu có). Sau khi đã xác định được khuôn mặt người, bước tiếp theo thực hiện trích xuất đặc trưng và biểu diễn các đặc trưng đó.

Với đặc trưng thu được, công việc cuối cùng là phân loại các đặc trưng vào một trong 6 loại cảm xúc phổ biến ở trên, sơ đồ 1. Nhiều công trình nghiên cứu đã được thực hiện nhằm nâng cao độ chính xác cho bài toán FER. Tiếp cận ở giai đoạn trích xuất và biểu diễn đặc trưng có các phương pháp như Gabor Wavelet, LBP (Local Binary Pattern), PCA (Principal Component Analysis), LDA (Linear Discriminant Analysis), LDP (Local Directional Pattern), HOG (Histogram of Oriented Gradients). Mỗi phương pháp đều có ưu khuyết điểm riêng, LBP với ưu điểm chính là ít chịu ảnh hưởng của những thay đổi về độ sáng, góc quay, độ co giãn, chi phí tính toán thấp, tốc độ xử lý nhanh nên được ứng dụng nhiều trong bài toán phát hiện và nhận diện khuôn mặt.

Ở giai đoạn phân loại, rất nhiều thuật toán cũng đã được nghiên cứu và công bố như Mô hình Markov ẩn (Hidden Markov Model), Naïve Bayesian, KNN (K-nearset Neighbours), SVM (Suport Vector Machine), Mạng nơ ron tích chập (Convolutaion Neural Networks – CNN)… [1][2][3]. Trong đó, CNN thể hiện ưu thế vượt trội với khả năng xử lý tập dữ liệu lớn cũng như rất nhiều kiến trúc mạng được nghiên cứu và công bố… Với những ưu điểm đó của LBP và CNN, luận văn tập trung tìm hiểu, nghiên cứu kiến trúc mà dữ liệu đầu vào của CNN là đặc trưng LBP hay còn gọi là mạng nơ ron tích chập mẫu nhị phân cục bộ (LBP-CNN – Local Trang 6/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Binary Pattern Convolutional Neural Networks) cho bài toán nhận dạng cảm xúc mặt người. Sơ đồ 1 - Các bước căn bản trong FER 1.2 Các hướng tiếp cận Nhận dạng cảm xúc mặt người (FER) là quá trình giúp nhận biết tâm trạng và cảm xúc của mỗi cá nhân. Rất nhiều công trình đã được thực hiện.

FER có hai hướng tiếp cận chính [2][3] đó là: • Dựa theo diện mạo (appearance); cách tiếp cận dựa theo diện mạo sẽ xem xét các thông tin có được từ giá trị cường độ của các điểm ảnh hay toàn bộ ảnh bằng cách áp dụng các phép biến đổi, bộ lọc hoặc phương pháp máy học, thống kê… • Dựa theo hình học (geometric); trong cách tiếp cận dựa theo hình học, hình dạng, khoảng cách, vị trí của sự thay đổi của các thành phần mặt như: cơ mặt, mắt, miệng, trán… sẽ được xem xét. Năm 1978, Ekman giới thiệu một hệ thống để đo biểu hiện khuôn mặt được gọi là FACS (Face Action Coding System - Hệ thống mã hoá hành động mặt) dựa trên tâm lý học [4]. FACS được phát triển bằng cách phân tích các mối quan hệ giữa sự co giãn cơ và sự thay đổi diện mạo khuôn mặt do chúng gây ra. Sự co giãn của các cơ chịu trách nhiệm cho cùng một hành động được đánh dấu như là một đơn vị hành động (Action Unit - AU).

Mặt có thể được chia thành các đơn vị hành động mặt trên (Upper Face AU) và các đơn Trang 7/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN vị hành động mặt dưới (Lower Face AU). Có 46 AU đại diện cho sự thay đổi biểu hiện trên khuôn mặt và 12 AU liên quan đến hướng nhìn mắt và hướng đầu. AU có tính mô tả cao về cử động khuôn mặt, tuy nhiên chúng không cung cấp bất kỳ thông tin đại diện nào. Các AU được gán nhãn với sự mô tả của các hành động.

Nhiệm vụ phân tích cảm xúc bằng cách sử dụng FACS là dựa trên sự phân rã các biểu hiện quan sát được vào tập các AU, sau đó cảm xúc được xác định. Caifeng Shan, Shaogang Gong, Peter W. McOwan [5] đã thực hiện kiểm tra, so sánh đặc trưng LBP với đặc trưng Gabor Wavelet kết hợp với các thuật toán phân lớp như LDA, KNN, SVM trên một số cơ sở dữ liệu như JAFFE, CK+. Cụ thể, LBP kết hợp với SVM đạt 88.9% trong khi Gabor và SVM chỉ đạt 86.

LBP và SVM đạt 80.2% chiếm ưu thế hơn hẵn với 73.4% của LBP và LDA+NN (Table 8). Ưu điểm tốc độ của LBP cũng được nhóm tác giả kiểm chứng trên Matlab, 0.03s là thời gian xử lý của LBP trong khi Gabor cần 30s để hoàn thành công việc trích xuất đặc trưng. Điều này dễ hiểu bởi Gabor xử lý số chiều đặc trưng là 42,650 trong khi đó LBP chỉ phải xử lý 2478. Hầu hết các tiếp cận FER đều hoạt động tốt với các cơ sở dữ liệu được kiểm soát nhưng lại thất bại trong môi trường thực tế.

Lý do là vì các tập dữ liệu này có các ảnh nền khác nhau, đôi khi phức tạp với nhiều ngoại vật xen kẻ với ảnh người… vì thế không thể đưa ra được các cảm xúc chung. Shan và cộng sự thực nghiệm với các tập dữ liệu khác nhau. Nhóm thực thiện huấn luyện phân loại với thuật toán SVM bằng việc trích xuất đặc trưng LBP (Local Binary Pattern) trên tập dữ liệu Cohn-Kanade. Sau đó kiểm tra bộ phân lớp đã được huấn luyện trên tập dữ liệu MMI và JAFFE.

Họ quan sát thấy, hiệu suất tổng quát trên các tập dữ liệu là thấp hơn nhiều, chẳng hạn như khoảng 50% trên cơ sở dữ liệu MMI và khoảng 40% trên cơ sở dữ liệu JAFFE (Table 18). Nhóm của Littlewort và cộng sự huấn luyện các đặc trưng Gabor Wavelet theo SVM trên tập dữ liệu Cohn-Kanade và kiểm tra chúng trên cơ sở dữ liệu khác, tỷ lệ công nhận đạt được cũng chỉ là 56% -60%. [6] Gần đây, một số thuật toán học sâu đã được đề xuất trong học máy và áp dụng cho phát hiện và nhận dạng các đối tượng thị giác, phân loại hình ảnh, xác minh khuôn mặt và nhiều vấn đề nghiên cứu khác. Các nền tảng học sâu như CNN, Stacked AutoEncoders (SAE) và Deep Belief Network (DBN) đã được trình bày, nhiều phương Trang 8/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN pháp tiếp cận theo hướng học sâu cũng được phát triển dựa trên các nền tảng này.

Những tiếp cận học sâu sử dụng một số lượng lớn các hình ảnh để học và đạt được hiệu suất cao. Shiam và Aza [7] đã ứng dụng CNN để thực hiện nhận diện cảm xúc mặt người. Họ thực hiện huấn luyện CNN với nhiều mức sâu khác nhau và sử dụng tập ảnh xám từ trang web Kaggle với kết quả đạt được là 65%. Nhóm tác giả cũng thực nghiệm kết hợp đặc trưng HOG với CNN và kết quả đạt được không thay đổi nhiều so với CNN thuần túy.

Mundher Al-Shabi, Wooi Ping Cheah, Tee Connie [8] đã nghiên cứu đặc trưng SIFT kết hợp với CNN và đạt 73.4% trên FER2013 và 99.3 Khó khăn và thách thức Tuy đạt được những kết quả tương đối khả quan do sự phát triển của nhiều phương pháp như trí tuệ nhân tạo, mạng nơ ron… nhưng bài toán nhận dạng cảm xúc mặt người vẫn còn tồn tại nhiều khó khăn và thách thức. Khó khăn trong việc phát hiện mặt người khi ảnh đầu vào có nhiều ngoại vật khác, hướng nghiêng của mặt hay mặt bị che khuất một phần cũng là một thách thức lớn. Ngoài ra khi xác định được khuôn mặt người, kích thước ảnh mặt được cắt ra thường nhỏ nên độ phân giải tương đối thấp, chưa kể một số ảnh đầu vào có độ phân giải thấp gây khó khăn cho bước tiếp theo là trích xuất và biểu diễn đặc trưng. Nhầm lẫn giữa các cảm xúc như ghê tởm (disgust), tức giận (angry) khi phân loại cũng là thách thức cho bài toán FER vì mức độ tương đồng.

Hay môi trường sẽ tác động đến việc nhận biết các cảm xúc, như ánh sáng quá chói làm hệ thống không phân biệt sự khác biệt này.4 Đề xuất hướng giải quyết Với những khó khăn và thách thức trên, luận văn giới hạn với tập ảnh đầu vào có mặt người nhìn thẳng, ít hoặc không có các vật cản che khuất như kính râm, nón… Chúng tôi tập trung vào bài toán nhận dạng cảm xúc nên áp dụng thuật toán phát hiện khuôn mặt người trong ảnh do Viola & John công bố để xác định vùng khuôn mặt trong ảnh, phương pháp này cho phép xác định khuôn mặt được chụp thẳng với độ chính xác rất cao và xử lý với thời gian nhanh [3][6]. Đặc trưng LBP có những ưu điểm giúp hệ thống ít bị tác động từ môi trường trường xung quanh như ánh sáng, kích thước, góc quay, và tốc độ Trang 9/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN xử lý nhanh [5] nên chúng tôi sẽ trích đặc trưng trên khuôn mặt bằng phương pháp LBP. Với sức mạnh của phương pháp học sâu (Deep Learning) hiện nay mà cụ thể là mạng neural tích chập (Convolution Neural Network – CNN) cho nhận dạng xử lý ảnh cũng như nhận dạng cảm xúc mặt người [7], chúng tôi đề xuất dùng CNN để nhận dạng từ đặc trưng LBP đã được trích trước đó. Trang 10/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Chương 2: Cơ sở lý thuyết 2.1 Các phương pháp phát hiện khuôn mặt người Đã có nhiều nghiên cứu tìm phương pháp xác định khuôn mặt người, từ ảnh xám đến ngày nay là ảnh màu [11][12].

Dựa vào tính chất của các phương pháp xác định khuôn mặt người trên ảnh, chúng ta có thể chia các phương pháp này thành bốn hướng tiếp cận chính sau: - Hướng tiếp cận dựa trên tri thức: Mã hóa các hiểu biết của con người về các loại khuôn mặt người thành các luật. Thông thường các luật mô tả quan hệ của các đặc trưng.