Nghiên Cứu Nhận Dạng Cảm Xúc Qua Khuôn Mặt Sử Dụng Mạng Nơ-Ron Tích Chập

• Tác giả: Nguyễn Văn Phúc
• Người hướng dẫn: ThS. Huỳnh Thái Thu Hiền
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật điện tử - truyền thông
• Đề tài: Nhận Dạng Cảm Xúc Qua Khuôn Mặt Sử Dụng Mạng Nơ-Ron Tích Chập
• Loại tài liệu: báo cáo
• Năm xuất bản: 2020
• Địa điểm: Thành phố Hồ Chí Minh

• DANH MỤC BẢNG
• DANH MỤC HÌNH
• CÁC TỪ VIẾT TẮT
• THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. TÌNH HÌNH NGHIÊN CỨU
• 1.2. LÝ DO CHỌN ĐỀ TÀI
• 1.3. MỤC TIÊU ĐỀ TÀI
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. TỔNG QUAN VÀ QUÁ TRÌNH XỬ LÝ ẢNH
• 2.1.1. Xử lý ảnh
• 2.1.2. Quy trình xử lý ảnh
• 2.2. KHUÔN MẶT VÀ CẢM XÚC
• 2.2.1. Đặc trưng của mặt người
• 2.2.2. Phương pháp tiếp cận đặc trưng khuôn mặt
• 2.2.3. Biểu cảm khuôn mặt khi bày tỏ cảm xúc
• 2.3. MẠNG NƠ-RON TÍCH CHẬP
• 2.3.1. Mạng nơ-ron nhân tạo
• 2.3.2. Mạng nơ-ron tích chập
• 2.3.2.1. Mô hình tổng quan
• 2.3.2.2. Các lớp trong mô hình
• 2.3.2.3. Những vấn đề xảy ra với mô hình CNN
• 2.4. GIỚI THIỆU MÁY TÍNH NHÚNG KIT RASPBERRY PI
• 2.4.1. Giới thiệu ngôn ngữ lập trình Python
• 2.4.2. Các thư viện sử dụng trong Python
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT DÙNG MẠNG NƠ-RON TÍCH CHẬP TRÊN KIT RASPBERRY PI 4
• 3.1. MÔ HÌNH HỆ THỐNG
• 3.1.1. Sơ đồ khối của hệ thống
• 3.1.2. Mô hình CNN sử dụng trong hệ thống
• 3.1.2.1. Tập dữ liệu mẫu có sẵn
• 3.1.2.2. Tập dữ liệu riêng
• 3.2. QUÁ TRÌNH HUẤN LUYỆN VÀ KIỂM TRA
• 3.2.1. Quá trình huấn luyện
• 3.2.2. Quá trình kiểm tra
• 4. CHƯƠNG 4: KẾT QUẢ
• 4.1. KẾT QUẢ HUẤN LUYỆN VÀ KIỂM TRA
• 4.2. ỨNG DỤNG NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT TRÊN KIT RASPBERRY PI 4
• 5. CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Nghiên Cứu Nhận Dạng Cảm Xúc Khuôn Mặt

Nghiên cứu về nhận dạng cảm xúc khuôn mặt đang trở thành một lĩnh vực trọng tâm trong trí tuệ nhân tạo (AI). Trên thế giới và tại Việt Nam, AI được xem là cốt lõi của cuộc cách mạng công nghiệp 4.0. Nhiều quốc gia đã nhận ra sự phát triển của AI, tác động lớn đến mọi mặt đời sống xã hội, từ kinh tế đến quân sự. Việt Nam cũng đang tập trung phát triển AI, đặc biệt là trong công nghệ sinh trắc học. Công nghệ này sử dụng các đặc tính vật lý và sinh học riêng của mỗi cá nhân để nhận dạng. Ngoài bảo mật, các nhà khoa học cũng nghiên cứu cảm xúc trên khuôn mặt. Nhận dạng cảm xúc giúp chế tạo robot tương tác tốt hơn với con người. Tuy nhiên, xác định cảm xúc không hề dễ dàng. Nhiều công trình, bài báo đã đề xuất các phương pháp khác nhau để nhận diện cảm xúc. Mạng nơ-ron xoắn tích chập (CNN) đang mở ra những bước tiến mới trong lĩnh vực này, mang lại độ chính xác cao hơn so với các phương pháp truyền thống.

1.1. Tầm quan trọng của công nghệ nhận diện cảm xúc

Công nghệ nhận diện cảm xúc có vai trò quan trọng trong nhiều ứng dụng thực tiễn. Từ việc đánh giá mức độ hài lòng của khách hàng sau khi mua sản phẩm đến dự đoán cảm xúc của ứng viên trong phỏng vấn xin việc. Nghiên cứu về biểu cảm khuôn mặt rất hữu ích trong nghiên cứu não người và giao tiếp xã hội. Hệ thống máy tính có thể giao tiếp tốt hơn với con người. Các hệ thống phân tích cảm xúc khách hàng có thể được phát triển để hiểu rõ hơn sở thích và phản hồi của họ về sản phẩm và dịch vụ, từ đó đưa ra các chiến dịch marketing phù hợp. Chính phủ Việt Nam xác định công nghệ AI là sự đột phá, mũi nhọn cần được triển khai nghiên cứu và ứng dụng rộng rãi trong đời sống.

1.2. Các phương pháp nhận diện cảm xúc truyền thống

Trước khi mạng nơ-ron tích chập (CNN) trở nên phổ biến, nhiều phương pháp truyền thống đã được sử dụng để nhận diện cảm xúc. Một số phương pháp dựa trên việc trích xuất các đặc điểm khuôn mặt, như khoảng cách giữa các mắt, độ cong của miệng, và vị trí của lông mày. Các đặc điểm này sau đó được so sánh với cơ sở dữ liệu các biểu cảm chuẩn để xác định cảm xúc. Các phương pháp khác sử dụng kỹ thuật xử lý ảnh để phân tích hình dạng và kết cấu của khuôn mặt. Nhược điểm của các phương pháp truyền thống là độ chính xác thường thấp và dễ bị ảnh hưởng bởi ánh sáng, góc chụp, và các yếu tố môi trường khác. Hơn nữa, chúng thường yêu cầu sự can thiệp thủ công để chọn và trích xuất các đặc điểm, làm cho quá trình trở nên tốn thời gian và công sức.

II. Vấn Đề Thách Thức Trong Nhận Dạng Cảm Xúc Khuôn Mặt

Nhận dạng cảm xúc khuôn mặt không phải là một nhiệm vụ đơn giản. Có rất nhiều thách thức cần vượt qua để đạt được độ chính xác cao và khả năng ứng dụng rộng rãi. Sự biến đổi lớn về biểu cảm khuôn mặt giữa các cá nhân là một vấn đề lớn. Cùng một cảm xúc có thể được thể hiện khác nhau bởi những người khác nhau, tùy thuộc vào văn hóa, giới tính, và tính cách. Thay đổi về ánh sáng, góc chụp, và độ phân giải của hình ảnh cũng có thể ảnh hưởng đến hiệu suất của hệ thống nhận diện cảm xúc. Ngoài ra, các biểu cảm khuôn mặt thường rất tinh tế và khó phân biệt, đặc biệt là trong các tình huống thực tế. Những biểu hiện cảm xúc giả tạo hoặc che giấu cũng tạo ra những khó khăn đáng kể. Để giải quyết những thách thức này, cần phải phát triển các mô hình học sâu mạnh mẽ, có khả năng học các đặc trưng phức tạp của khuôn mặt và ít bị ảnh hưởng bởi các yếu tố ngoại cảnh. Đồng thời, cần phải thu thập và xây dựng các bộ dữ liệu lớn và đa dạng để huấn luyện mô hình một cách hiệu quả.

2.1. Sự đa dạng trong biểu cảm khuôn mặt cá nhân

Biểu cảm khuôn mặt chịu ảnh hưởng mạnh mẽ bởi các yếu tố văn hóa, giới tính, và tính cách. Ví dụ, một người thuộc nền văn hóa phương Tây có thể thể hiện cảm xúc một cách cởi mở hơn so với một người thuộc nền văn hóa phương Đông. Phụ nữ thường có xu hướng thể hiện cảm xúc rõ ràng hơn nam giới. Những người hướng nội có thể che giấu cảm xúc của họ tốt hơn những người hướng ngoại. Để hệ thống nhận dạng cảm xúc hoạt động tốt trong nhiều ngữ cảnh khác nhau, nó cần phải được huấn luyện trên một bộ dữ liệu đa dạng, bao gồm các biểu cảm từ nhiều người thuộc các nền văn hóa, giới tính, và tính cách khác nhau.

2.2. Ảnh hưởng của điều kiện ánh sáng và góc chụp

Điều kiện ánh sáng và góc chụp có thể ảnh hưởng đáng kể đến chất lượng hình ảnh khuôn mặt và hiệu suất của hệ thống nhận dạng cảm xúc. Ánh sáng yếu có thể làm giảm độ tương phản và chi tiết của hình ảnh, khiến cho việc trích xuất các đặc trưng trở nên khó khăn hơn. Ánh sáng quá mạnh có thể gây ra hiện tượng cháy sáng, làm mất thông tin quan trọng. Góc chụp khác nhau có thể làm biến dạng hình dạng khuôn mặt, khiến cho việc nhận diện trở nên khó khăn hơn. Để giảm thiểu ảnh hưởng của các yếu tố này, cần sử dụng các kỹ thuật tiền xử lý hình ảnh, chẳng hạn như cân bằng ánh sáng, khử nhiễu, và chỉnh sửa hình học. Ngoài ra, mô hình học sâu cần được huấn luyện trên các hình ảnh với nhiều điều kiện ánh sáng và góc chụp khác nhau để có khả năng khái quát hóa tốt.

III. Mạng Nơ ron Tích Chập CNN Cho Nhận Dạng Cảm Xúc

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron sâu đặc biệt hiệu quả trong việc xử lý hình ảnh. CNN tự động học các đặc trưng quan trọng từ hình ảnh mà không cần sự can thiệp thủ công. Kiến trúc của CNN bao gồm các lớp tích chập, lớp gộp (pooling), và lớp kết nối đầy đủ. Lớp tích chập sử dụng các bộ lọc để trích xuất các đặc trưng cục bộ từ hình ảnh. Lớp gộp giảm kích thước của các đặc trưng và tăng tính bất biến đối với các biến đổi nhỏ. Lớp kết nối đầy đủ sử dụng các đặc trưng đã trích xuất để phân loại hình ảnh. CNN đã đạt được những kết quả vượt trội trong nhiều bài toán nhận dạng hình ảnh, bao gồm cả nhận dạng cảm xúc khuôn mặt. Ưu điểm lớn nhất của CNN là khả năng tự động học các đặc trưng phức tạp từ dữ liệu, giúp giảm bớt công sức thiết kế đặc trưng thủ công.

3.1. Kiến trúc cơ bản của mạng CNN

Kiến trúc cơ bản của một mạng CNN thường bao gồm các lớp sau: lớp tích chập (convolutional layer), lớp gộp (pooling layer), và lớp kết nối đầy đủ (fully connected layer). Lớp tích chập sử dụng các bộ lọc (filters) để quét qua hình ảnh đầu vào và trích xuất các đặc trưng cục bộ. Mỗi bộ lọc có một tập hợp các trọng số (weights) được học trong quá trình huấn luyện. Lớp gộp giảm kích thước của các đặc trưng đã trích xuất, giúp giảm số lượng tham số và tăng tính bất biến đối với các biến đổi nhỏ, như dịch chuyển và xoay. Lớp kết nối đầy đủ sử dụng các đặc trưng đã trích xuất để phân loại hình ảnh thành các lớp khác nhau, tương ứng với các cảm xúc khác nhau. Các lớp này thường được kết hợp với các hàm kích hoạt (activation functions), như ReLU, để giới thiệu tính phi tuyến vào mô hình.

3.2. Quá trình huấn luyện mạng CNN

Quá trình huấn luyện mạng CNN bao gồm việc điều chỉnh các trọng số của các bộ lọc và các lớp kết nối đầy đủ để mô hình có thể dự đoán chính xác các cảm xúc từ hình ảnh khuôn mặt. Quá trình này thường được thực hiện bằng cách sử dụng thuật toán lan truyền ngược (backpropagation) và một hàm mất mát (loss function), chẳng hạn như cross-entropy loss. Dữ liệu huấn luyện được chia thành các batch, và mô hình được huấn luyện trên từng batch một. Sau mỗi batch, các trọng số được cập nhật để giảm thiểu hàm mất mát. Quá trình này lặp lại nhiều lần cho đến khi mô hình đạt được độ chính xác mong muốn trên tập dữ liệu kiểm tra (validation set).

3.3. Tăng cường dữ liệu Data Augmentation trong CNN

Tăng cường dữ liệu là một kỹ thuật quan trọng để cải thiện hiệu suất của mạng CNN, đặc biệt khi dữ liệu huấn luyện có số lượng hạn chế. Kỹ thuật này bao gồm việc tạo ra các phiên bản mới của hình ảnh huấn luyện bằng cách áp dụng các phép biến đổi, chẳng hạn như xoay, lật, phóng to, thu nhỏ, và thay đổi độ sáng và độ tương phản. Mục tiêu của việc tăng cường dữ liệu là tạo ra một bộ dữ liệu huấn luyện đa dạng hơn, giúp mô hình học được các đặc trưng chung của cảm xúc và ít bị ảnh hưởng bởi các biến đổi nhỏ trong hình ảnh.

IV. Thiết Kế Triển Khai Hệ Thống Nhận Diện Cảm Xúc CNN

Thiết kế và triển khai một hệ thống nhận diện cảm xúc CNN đòi hỏi sự kết hợp của nhiều thành phần khác nhau. Đầu tiên, cần thu thập và chuẩn bị một bộ dữ liệu lớn và đa dạng các hình ảnh khuôn mặt với các nhãn cảm xúc tương ứng. Sau đó, cần thiết kế kiến trúc của mạng CNN, lựa chọn các tham số huấn luyện phù hợp, và huấn luyện mô hình. Sau khi huấn luyện xong, mô hình cần được kiểm tra và đánh giá trên một tập dữ liệu kiểm tra độc lập để đảm bảo hiệu suất tốt. Cuối cùng, mô hình có thể được triển khai trên một thiết bị nhúng, chẳng hạn như Raspberry Pi, để tạo ra một hệ thống nhận diện cảm xúc di động và tiện lợi. Việc lựa chọn phần cứng phù hợp và tối ưu hóa mô hình cho hiệu suất thời gian thực là rất quan trọng.

4.1. Lựa chọn và chuẩn bị dữ liệu huấn luyện

Dữ liệu huấn luyện đóng vai trò quan trọng trong việc xác định hiệu suất của hệ thống nhận dạng cảm xúc. Dữ liệu cần phải đủ lớn, đa dạng, và được gán nhãn chính xác. Các bộ dữ liệu công khai phổ biến cho bài toán nhận dạng cảm xúc khuôn mặt bao gồm FER2013, CK+, và JAFFE. Tuy nhiên, các bộ dữ liệu này có thể không đủ lớn hoặc không đại diện cho tất cả các tình huống thực tế. Do đó, có thể cần phải thu thập thêm dữ liệu riêng, đặc biệt nếu hệ thống được triển khai trong một môi trường cụ thể. Quá trình chuẩn bị dữ liệu bao gồm việc căn chỉnh khuôn mặt, thay đổi kích thước hình ảnh, và chuẩn hóa các giá trị pixel.

4.2. Triển khai mô hình trên Raspberry Pi

Raspberry Pi là một máy tính nhúng nhỏ gọn và giá rẻ, phù hợp cho việc triển khai các ứng dụng trí tuệ nhân tạo di động. Để triển khai mô hình CNN trên Raspberry Pi, cần phải tối ưu hóa mô hình để giảm kích thước và tăng tốc độ xử lý. Các kỹ thuật tối ưu hóa bao gồm lượng tử hóa (quantization), cắt tỉa (pruning), và sử dụng các thư viện tối ưu hóa, chẳng hạn như TensorFlow Lite. Ngoài ra, cần phải kết nối Raspberry Pi với một camera để thu thập hình ảnh khuôn mặt. Một giao diện người dùng (GUI) có thể được phát triển để hiển thị kết quả nhận diện cảm xúc.

V. Kết Quả Ứng Dụng Của Nghiên Cứu Nhận Dạng Cảm Xúc

Nghiên cứu về nhận dạng cảm xúc khuôn mặt đã đạt được nhiều tiến bộ đáng kể trong những năm gần đây. Các hệ thống nhận diện cảm xúc hiện đại có thể đạt được độ chính xác cao trên các bộ dữ liệu chuẩn. Các ứng dụng của nhận dạng cảm xúc rất đa dạng và tiềm năng. Trong lĩnh vực y tế, nhận dạng cảm xúc có thể được sử dụng để theo dõi trạng thái tinh thần của bệnh nhân và phát hiện sớm các dấu hiệu của trầm cảm hoặc lo âu. Trong lĩnh vực giáo dục, nó có thể được sử dụng để cá nhân hóa trải nghiệm học tập và cung cấp phản hồi phù hợp cho học sinh. Trong lĩnh vực marketing, nó có thể được sử dụng để đánh giá hiệu quả của quảng cáo và hiểu rõ hơn phản ứng của khách hàng đối với sản phẩm.

5.1. Ứng dụng trong lĩnh vực y tế và chăm sóc sức khỏe

Nhận dạng cảm xúc có thể đóng vai trò quan trọng trong việc hỗ trợ chẩn đoán và điều trị các bệnh tâm lý. Bằng cách phân tích biểu cảm khuôn mặt của bệnh nhân, các bác sĩ có thể đánh giá mức độ lo âu, trầm cảm, hoặc các trạng thái cảm xúc tiêu cực khác. Điều này có thể giúp phát hiện sớm các vấn đề tâm lý và đưa ra các biện pháp can thiệp kịp thời. Ngoài ra, nhận dạng cảm xúc cũng có thể được sử dụng để theo dõi hiệu quả của các phương pháp điều trị và điều chỉnh liều lượng thuốc phù hợp.

5.2. Ứng dụng trong lĩnh vực giáo dục và đào tạo

Trong lĩnh vực giáo dục, nhận dạng cảm xúc có thể được sử dụng để tạo ra môi trường học tập tương tác và cá nhân hóa hơn. Giáo viên có thể sử dụng hệ thống nhận diện cảm xúc để theo dõi mức độ tập trung và hứng thú của học sinh trong lớp. Điều này có thể giúp giáo viên điều chỉnh phương pháp giảng dạy và cung cấp hỗ trợ kịp thời cho những học sinh gặp khó khăn. Ngoài ra, nhận dạng cảm xúc cũng có thể được sử dụng trong các hệ thống học tập trực tuyến để cung cấp phản hồi cá nhân hóa cho học sinh và điều chỉnh độ khó của bài tập phù hợp.

VI. Tương Lai Hướng Phát Triển Của Nhận Dạng Cảm Xúc CNN

Tương lai của nhận dạng cảm xúc khuôn mặt rất hứa hẹn. Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và độ tin cậy của các hệ thống nhận diện cảm xúc, đặc biệt trong các điều kiện khó khăn, chẳng hạn như ánh sáng yếu hoặc khuôn mặt bị che khuất. Ngoài ra, sẽ có nhiều nỗ lực hơn để phát triển các hệ thống nhận diện cảm xúc đa phương thức, kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như biểu cảm khuôn mặt, giọng nói, và ngôn ngữ cơ thể. Điều này có thể giúp cải thiện độ chính xác và độ tin cậy của hệ thống. Cuối cùng, sẽ có nhiều nghiên cứu hơn về các khía cạnh đạo đức và xã hội của nhận dạng cảm xúc, đảm bảo rằng công nghệ này được sử dụng một cách có trách nhiệm và không gây hại cho xã hội.

6.1. Nhận dạng cảm xúc đa phương thức

Trong tương lai, các hệ thống nhận dạng cảm xúc sẽ không chỉ dựa vào biểu cảm khuôn mặt mà còn kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như giọng nói, ngôn ngữ cơ thể, và dữ liệu sinh lý (nhịp tim, độ dẫn điện của da). Điều này có thể giúp cải thiện đáng kể độ chính xác và độ tin cậy của hệ thống, đặc biệt trong các tình huống mà biểu cảm khuôn mặt không rõ ràng hoặc bị che giấu. Các kỹ thuật học sâu có thể được sử dụng để tích hợp thông tin từ các nguồn khác nhau một cách hiệu quả.

6.2. Các vấn đề đạo đức và xã hội

Việc sử dụng công nghệ nhận dạng cảm xúc đặt ra nhiều câu hỏi về đạo đức và xã hội. Liệu có nên sử dụng công nghệ này để giám sát nhân viên, theo dõi học sinh, hoặc đánh giá ứng viên xin việc? Liệu có thể xảy ra phân biệt đối xử dựa trên các đánh giá cảm xúc? Làm thế nào để bảo vệ quyền riêng tư của những người bị nhận diện cảm xúc? Cần phải có các quy định và hướng dẫn rõ ràng để đảm bảo rằng công nghệ nhận dạng cảm xúc được sử dụng một cách có trách nhiệm và không gây hại cho xã hội. Các nhà nghiên cứu và phát triển cần phải cân nhắc kỹ lưỡng các tác động tiềm năng của công nghệ này và tham gia vào các cuộc đối thoại công khai về các vấn đề đạo đức và xã hội liên quan.