Nghiên Cứu Nhận Dạng Cảm Xúc Qua Khuôn Mặt Sử Dụng Mạng Nơ-Ron Tích Chập

Tài liệu nghiên cứu Đề tài nhận dạng cảm xúc thông qua khuôn mặt dùng mạng nơ ron tích chập cnn, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Văn Phúc
• Người hướng dẫn: ThS. Huỳnh Thái Thu Hiền
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật điện tử - truyền thông
• Đề tài: Nhận Dạng Cảm Xúc Qua Khuôn Mặt Sử Dụng Mạng Nơ-Ron Tích Chập
• Loại tài liệu: báo cáo
• Năm xuất bản: 2020
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• DANH MỤC BẢNG
• DANH MỤC HÌNH
• CÁC TỪ VIẾT TẮT
• THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. TÌNH HÌNH NGHIÊN CỨU
• 1.2. LÝ DO CHỌN ĐỀ TÀI
• 1.3. MỤC TIÊU ĐỀ TÀI
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. TỔNG QUAN VÀ QUÁ TRÌNH XỬ LÝ ẢNH
• 2.1.1. Xử lý ảnh
• 2.1.2. Quy trình xử lý ảnh
• 2.2. KHUÔN MẶT VÀ CẢM XÚC
• 2.2.1. Đặc trưng của mặt người
• 2.2.2. Phương pháp tiếp cận đặc trưng khuôn mặt
• 2.2.3. Biểu cảm khuôn mặt khi bày tỏ cảm xúc
• 2.3. MẠNG NƠ-RON TÍCH CHẬP
• 2.3.1. Mạng nơ-ron nhân tạo
• 2.3.2. Mạng nơ-ron tích chập
• 2.3.2.1. Mô hình tổng quan
• 2.3.2.2. Các lớp trong mô hình
• 2.3.2.3. Những vấn đề xảy ra với mô hình CNN
• 2.4. GIỚI THIỆU MÁY TÍNH NHÚNG KIT RASPBERRY PI
• 2.4.1. Giới thiệu ngôn ngữ lập trình Python
• 2.4.2. Các thư viện sử dụng trong Python
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT DÙNG MẠNG NƠ-RON TÍCH CHẬP TRÊN KIT RASPBERRY PI 4
• 3.1. MÔ HÌNH HỆ THỐNG
• 3.1.1. Sơ đồ khối của hệ thống
• 3.1.2. Mô hình CNN sử dụng trong hệ thống
• 3.1.2.1. Tập dữ liệu mẫu có sẵn
• 3.1.2.2. Tập dữ liệu riêng
• 3.2. QUÁ TRÌNH HUẤN LUYỆN VÀ KIỂM TRA
• 3.2.1. Quá trình huấn luyện
• 3.2.2. Quá trình kiểm tra
• 4. CHƯƠNG 4: KẾT QUẢ
• 4.1. KẾT QUẢ HUẤN LUYỆN VÀ KIỂM TRA
• 4.2. ỨNG DỤNG NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT TRÊN KIT RASPBERRY PI 4
• 5. CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Nghiên Cứu Nhận Dạng Cảm Xúc Khuôn Mặt

Nghiên cứu về nhận dạng cảm xúc khuôn mặt đang trở thành một lĩnh vực trọng tâm trong trí tuệ nhân tạo (AI). Trên thế giới và tại Việt Nam, AI được xem là cốt lõi của cuộc cách mạng công nghiệp 4.0. Nhiều quốc gia đã nhận ra sự phát triển của AI, tác động lớn đến mọi mặt đời sống xã hội, từ kinh tế đến quân sự. Việt Nam cũng đang tập trung phát triển AI, đặc biệt là trong công nghệ sinh trắc học. Công nghệ này sử dụng các đặc tính vật lý và sinh học riêng của mỗi cá nhân để nhận dạng. Ngoài bảo mật, các nhà khoa học cũng nghiên cứu cảm xúc trên khuôn mặt. Nhận dạng cảm xúc giúp chế tạo robot tương tác tốt hơn với con người. Tuy nhiên, xác định cảm xúc không hề dễ dàng. Nhiều công trình, bài báo đã đề xuất các phương pháp khác nhau để nhận diện cảm xúc. Mạng nơ-ron xoắn tích chập (CNN) đang mở ra những bước tiến mới trong lĩnh vực này, mang lại độ chính xác cao hơn so với các phương pháp truyền thống.

1.1. Tầm quan trọng của công nghệ nhận diện cảm xúc

Công nghệ nhận diện cảm xúc có vai trò quan trọng trong nhiều ứng dụng thực tiễn. Từ việc đánh giá mức độ hài lòng của khách hàng sau khi mua sản phẩm đến dự đoán cảm xúc của ứng viên trong phỏng vấn xin việc. Nghiên cứu về biểu cảm khuôn mặt rất hữu ích trong nghiên cứu não người và giao tiếp xã hội. Hệ thống máy tính có thể giao tiếp tốt hơn với con người. Các hệ thống phân tích cảm xúc khách hàng có thể được phát triển để hiểu rõ hơn sở thích và phản hồi của họ về sản phẩm và dịch vụ, từ đó đưa ra các chiến dịch marketing phù hợp. Chính phủ Việt Nam xác định công nghệ AI là sự đột phá, mũi nhọn cần được triển khai nghiên cứu và ứng dụng rộng rãi trong đời sống.

1.2. Các phương pháp nhận diện cảm xúc truyền thống

Trước khi mạng nơ-ron tích chập (CNN) trở nên phổ biến, nhiều phương pháp truyền thống đã được sử dụng để nhận diện cảm xúc. Một số phương pháp dựa trên việc trích xuất các đặc điểm khuôn mặt, như khoảng cách giữa các mắt, độ cong của miệng, và vị trí của lông mày. Các đặc điểm này sau đó được so sánh với cơ sở dữ liệu các biểu cảm chuẩn để xác định cảm xúc. Các phương pháp khác sử dụng kỹ thuật xử lý ảnh để phân tích hình dạng và kết cấu của khuôn mặt. Nhược điểm của các phương pháp truyền thống là độ chính xác thường thấp và dễ bị ảnh hưởng bởi ánh sáng, góc chụp, và các yếu tố môi trường khác. Hơn nữa, chúng thường yêu cầu sự can thiệp thủ công để chọn và trích xuất các đặc điểm, làm cho quá trình trở nên tốn thời gian và công sức.

II. Vấn Đề Thách Thức Trong Nhận Dạng Cảm Xúc Khuôn Mặt

Nhận dạng cảm xúc khuôn mặt không phải là một nhiệm vụ đơn giản. Có rất nhiều thách thức cần vượt qua để đạt được độ chính xác cao và khả năng ứng dụng rộng rãi. Sự biến đổi lớn về biểu cảm khuôn mặt giữa các cá nhân là một vấn đề lớn. Cùng một cảm xúc có thể được thể hiện khác nhau bởi những người khác nhau, tùy thuộc vào văn hóa, giới tính, và tính cách. Thay đổi về ánh sáng, góc chụp, và độ phân giải của hình ảnh cũng có thể ảnh hưởng đến hiệu suất của hệ thống nhận diện cảm xúc. Ngoài ra, các biểu cảm khuôn mặt thường rất tinh tế và khó phân biệt, đặc biệt là trong các tình huống thực tế. Những biểu hiện cảm xúc giả tạo hoặc che giấu cũng tạo ra những khó khăn đáng kể. Để giải quyết những thách thức này, cần phải phát triển các mô hình học sâu mạnh mẽ, có khả năng học các đặc trưng phức tạp của khuôn mặt và ít bị ảnh hưởng bởi các yếu tố ngoại cảnh. Đồng thời, cần phải thu thập và xây dựng các bộ dữ liệu lớn và đa dạng để huấn luyện mô hình một cách hiệu quả.

2.1. Sự đa dạng trong biểu cảm khuôn mặt cá nhân

Biểu cảm khuôn mặt chịu ảnh hưởng mạnh mẽ bởi các yếu tố văn hóa, giới tính, và tính cách. Ví dụ, một người thuộc nền văn hóa phương Tây có thể thể hiện cảm xúc một cách cởi mở hơn so với một người thuộc nền văn hóa phương Đông. Phụ nữ thường có xu hướng thể hiện cảm xúc rõ ràng hơn nam giới. Những người hướng nội có thể che giấu cảm xúc của họ tốt hơn những người hướng ngoại. Để hệ thống nhận dạng cảm xúc hoạt động tốt trong nhiều ngữ cảnh khác nhau, nó cần phải được huấn luyện trên một bộ dữ liệu đa dạng, bao gồm các biểu cảm từ nhiều người thuộc các nền văn hóa, giới tính, và tính cách khác nhau.

2.2. Ảnh hưởng của điều kiện ánh sáng và góc chụp

Điều kiện ánh sáng và góc chụp có thể ảnh hưởng đáng kể đến chất lượng hình ảnh khuôn mặt và hiệu suất của hệ thống nhận dạng cảm xúc. Ánh sáng yếu có thể làm giảm độ tương phản và chi tiết của hình ảnh, khiến cho việc trích xuất các đặc trưng trở nên khó khăn hơn. Ánh sáng quá mạnh có thể gây ra hiện tượng cháy sáng, làm mất thông tin quan trọng. Góc chụp khác nhau có thể làm biến dạng hình dạng khuôn mặt, khiến cho việc nhận diện trở nên khó khăn hơn. Để giảm thiểu ảnh hưởng của các yếu tố này, cần sử dụng các kỹ thuật tiền xử lý hình ảnh, chẳng hạn như cân bằng ánh sáng, khử nhiễu, và chỉnh sửa hình học. Ngoài ra, mô hình học sâu cần được huấn luyện trên các hình ảnh với nhiều điều kiện ánh sáng và góc chụp khác nhau để có khả năng khái quát hóa tốt.

III. Mạng Nơ ron Tích Chập CNN Cho Nhận Dạng Cảm Xúc

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron sâu đặc biệt hiệu quả trong việc xử lý hình ảnh. CNN tự động học các đặc trưng quan trọng từ hình ảnh mà không cần sự can thiệp thủ công. Kiến trúc của CNN bao gồm các lớp tích chập, lớp gộp (pooling), và lớp kết nối đầy đủ. Lớp tích chập sử dụng các bộ lọc để trích xuất các đặc trưng cục bộ từ hình ảnh. Lớp gộp giảm kích thước của các đặc trưng và tăng tính bất biến đối với các biến đổi nhỏ. Lớp kết nối đầy đủ sử dụng các đặc trưng đã trích xuất để phân loại hình ảnh. CNN đã đạt được những kết quả vượt trội trong nhiều bài toán nhận dạng hình ảnh, bao gồm cả nhận dạng cảm xúc khuôn mặt. Ưu điểm lớn nhất của CNN là khả năng tự động học các đặc trưng phức tạp từ dữ liệu, giúp giảm bớt công sức thiết kế đặc trưng thủ công.

3.1. Kiến trúc cơ bản của mạng CNN

Kiến trúc cơ bản của một mạng CNN thường bao gồm các lớp sau: lớp tích chập (convolutional layer), lớp gộp (pooling layer), và lớp kết nối đầy đủ (fully connected layer). Lớp tích chập sử dụng các bộ lọc (filters) để quét qua hình ảnh đầu vào và trích xuất các đặc trưng cục bộ. Mỗi bộ lọc có một tập hợp các trọng số (weights) được học trong quá trình huấn luyện. Lớp gộp giảm kích thước của các đặc trưng đã trích xuất, giúp giảm số lượng tham số và tăng tính bất biến đối với các biến đổi nhỏ, như dịch chuyển và xoay. Lớp kết nối đầy đủ sử dụng các đặc trưng đã trích xuất để phân loại hình ảnh thành các lớp khác nhau, tương ứng với các cảm xúc khác nhau. Các lớp này thường được kết hợp với các hàm kích hoạt (activation functions), như ReLU, để giới thiệu tính phi tuyến vào mô hình.

3.2. Quá trình huấn luyện mạng CNN

Quá trình huấn luyện mạng CNN bao gồm việc điều chỉnh các trọng số của các bộ lọc và các lớp kết nối đầy đủ để mô hình có thể dự đoán chính xác các cảm xúc từ hình ảnh khuôn mặt. Quá trình này thường được thực hiện bằng cách sử dụng thuật toán lan truyền ngược (backpropagation) và một hàm mất mát (loss function), chẳng hạn như cross-entropy loss. Dữ liệu huấn luyện được chia thành các batch, và mô hình được huấn luyện trên từng batch một. Sau mỗi batch, các trọng số được cập nhật để giảm thiểu hàm mất mát. Quá trình này lặp lại nhiều lần cho đến khi mô hình đạt được độ chính xác mong muốn trên tập dữ liệu kiểm tra (validation set).

3.3. Tăng cường dữ liệu Data Augmentation trong CNN

Tăng cường dữ liệu là một kỹ thuật quan trọng để cải thiện hiệu suất của mạng CNN, đặc biệt khi dữ liệu huấn luyện có số lượng hạn chế. Kỹ thuật này bao gồm việc tạo ra các phiên bản mới của hình ảnh huấn luyện bằng cách áp dụng các phép biến đổi, chẳng hạn như xoay, lật, phóng to, thu nhỏ, và thay đổi độ sáng và độ tương phản. Mục tiêu của việc tăng cường dữ liệu là tạo ra một bộ dữ liệu huấn luyện đa dạng hơn, giúp mô hình học được các đặc trưng chung của cảm xúc và ít bị ảnh hưởng bởi các biến đổi nhỏ trong hình ảnh.

IV. Thiết Kế Triển Khai Hệ Thống Nhận Diện Cảm Xúc CNN

Thiết kế và triển khai một hệ thống nhận diện cảm xúc CNN đòi hỏi sự kết hợp của nhiều thành phần khác nhau. Đầu tiên, cần thu thập và chuẩn bị một bộ dữ liệu lớn và đa dạng các hình ảnh khuôn mặt với các nhãn cảm xúc tương ứng. Sau đó, cần thiết kế kiến trúc của mạng CNN, lựa chọn các tham số huấn luyện phù hợp, và huấn luyện mô hình. Sau khi huấn luyện xong, mô hình cần được kiểm tra và đánh giá trên một tập dữ liệu kiểm tra độc lập để đảm bảo hiệu suất tốt. Cuối cùng, mô hình có thể được triển khai trên một thiết bị nhúng, chẳng hạn như Raspberry Pi, để tạo ra một hệ thống nhận diện cảm xúc di động và tiện lợi. Việc lựa chọn phần cứng phù hợp và tối ưu hóa mô hình cho hiệu suất thời gian thực là rất quan trọng.

4.1. Lựa chọn và chuẩn bị dữ liệu huấn luyện

Dữ liệu huấn luyện đóng vai trò quan trọng trong việc xác định hiệu suất của hệ thống nhận dạng cảm xúc. Dữ liệu cần phải đủ lớn, đa dạng, và được gán nhãn chính xác. Các bộ dữ liệu công khai phổ biến cho bài toán nhận dạng cảm xúc khuôn mặt bao gồm FER2013, CK+, và JAFFE. Tuy nhiên, các bộ dữ liệu này có thể không đủ lớn hoặc không đại diện cho tất cả các tình huống thực tế. Do đó, có thể cần phải thu thập thêm dữ liệu riêng, đặc biệt nếu hệ thống được triển khai trong một môi trường cụ thể. Quá trình chuẩn bị dữ liệu bao gồm việc căn chỉnh khuôn mặt, thay đổi kích thước hình ảnh, và chuẩn hóa các giá trị pixel.

4.2. Triển khai mô hình trên Raspberry Pi

Raspberry Pi là một máy tính nhúng nhỏ gọn và giá rẻ, phù hợp cho việc triển khai các ứng dụng trí tuệ nhân tạo di động. Để triển khai mô hình CNN trên Raspberry Pi, cần phải tối ưu hóa mô hình để giảm kích thước và tăng tốc độ xử lý. Các kỹ thuật tối ưu hóa bao gồm lượng tử hóa (quantization), cắt tỉa (pruning), và sử dụng các thư viện tối ưu hóa, chẳng hạn như TensorFlow Lite. Ngoài ra, cần phải kết nối Raspberry Pi với một camera để thu thập hình ảnh khuôn mặt. Một giao diện người dùng (GUI) có thể được phát triển để hiển thị kết quả nhận diện cảm xúc.

V. Kết Quả Ứng Dụng Của Nghiên Cứu Nhận Dạng Cảm Xúc

Nghiên cứu về nhận dạng cảm xúc khuôn mặt đã đạt được nhiều tiến bộ đáng kể trong những năm gần đây. Các hệ thống nhận diện cảm xúc hiện đại có thể đạt được độ chính xác cao trên các bộ dữ liệu chuẩn. Các ứng dụng của nhận dạng cảm xúc rất đa dạng và tiềm năng. Trong lĩnh vực y tế, nhận dạng cảm xúc có thể được sử dụng để theo dõi trạng thái tinh thần của bệnh nhân và phát hiện sớm các dấu hiệu của trầm cảm hoặc lo âu. Trong lĩnh vực giáo dục, nó có thể được sử dụng để cá nhân hóa trải nghiệm học tập và cung cấp phản hồi phù hợp cho học sinh. Trong lĩnh vực marketing, nó có thể được sử dụng để đánh giá hiệu quả của quảng cáo và hiểu rõ hơn phản ứng của khách hàng đối với sản phẩm.

5.1. Ứng dụng trong lĩnh vực y tế và chăm sóc sức khỏe

Nhận dạng cảm xúc có thể đóng vai trò quan trọng trong việc hỗ trợ chẩn đoán và điều trị các bệnh tâm lý. Bằng cách phân tích biểu cảm khuôn mặt của bệnh nhân, các bác sĩ có thể đánh giá mức độ lo âu, trầm cảm, hoặc các trạng thái cảm xúc tiêu cực khác. Điều này có thể giúp phát hiện sớm các vấn đề tâm lý và đưa ra các biện pháp can thiệp kịp thời. Ngoài ra, nhận dạng cảm xúc cũng có thể được sử dụng để theo dõi hiệu quả của các phương pháp điều trị và điều chỉnh liều lượng thuốc phù hợp.

5.2. Ứng dụng trong lĩnh vực giáo dục và đào tạo

Trong lĩnh vực giáo dục, nhận dạng cảm xúc có thể được sử dụng để tạo ra môi trường học tập tương tác và cá nhân hóa hơn. Giáo viên có thể sử dụng hệ thống nhận diện cảm xúc để theo dõi mức độ tập trung và hứng thú của học sinh trong lớp. Điều này có thể giúp giáo viên điều chỉnh phương pháp giảng dạy và cung cấp hỗ trợ kịp thời cho những học sinh gặp khó khăn. Ngoài ra, nhận dạng cảm xúc cũng có thể được sử dụng trong các hệ thống học tập trực tuyến để cung cấp phản hồi cá nhân hóa cho học sinh và điều chỉnh độ khó của bài tập phù hợp.

VI. Tương Lai Hướng Phát Triển Của Nhận Dạng Cảm Xúc CNN

Tương lai của nhận dạng cảm xúc khuôn mặt rất hứa hẹn. Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và độ tin cậy của các hệ thống nhận diện cảm xúc, đặc biệt trong các điều kiện khó khăn, chẳng hạn như ánh sáng yếu hoặc khuôn mặt bị che khuất. Ngoài ra, sẽ có nhiều nỗ lực hơn để phát triển các hệ thống nhận diện cảm xúc đa phương thức, kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như biểu cảm khuôn mặt, giọng nói, và ngôn ngữ cơ thể. Điều này có thể giúp cải thiện độ chính xác và độ tin cậy của hệ thống. Cuối cùng, sẽ có nhiều nghiên cứu hơn về các khía cạnh đạo đức và xã hội của nhận dạng cảm xúc, đảm bảo rằng công nghệ này được sử dụng một cách có trách nhiệm và không gây hại cho xã hội.

6.1. Nhận dạng cảm xúc đa phương thức

Trong tương lai, các hệ thống nhận dạng cảm xúc sẽ không chỉ dựa vào biểu cảm khuôn mặt mà còn kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như giọng nói, ngôn ngữ cơ thể, và dữ liệu sinh lý (nhịp tim, độ dẫn điện của da). Điều này có thể giúp cải thiện đáng kể độ chính xác và độ tin cậy của hệ thống, đặc biệt trong các tình huống mà biểu cảm khuôn mặt không rõ ràng hoặc bị che giấu. Các kỹ thuật học sâu có thể được sử dụng để tích hợp thông tin từ các nguồn khác nhau một cách hiệu quả.

6.2. Các vấn đề đạo đức và xã hội

Việc sử dụng công nghệ nhận dạng cảm xúc đặt ra nhiều câu hỏi về đạo đức và xã hội. Liệu có nên sử dụng công nghệ này để giám sát nhân viên, theo dõi học sinh, hoặc đánh giá ứng viên xin việc? Liệu có thể xảy ra phân biệt đối xử dựa trên các đánh giá cảm xúc? Làm thế nào để bảo vệ quyền riêng tư của những người bị nhận diện cảm xúc? Cần phải có các quy định và hướng dẫn rõ ràng để đảm bảo rằng công nghệ nhận dạng cảm xúc được sử dụng một cách có trách nhiệm và không gây hại cho xã hội. Các nhà nghiên cứu và phát triển cần phải cân nhắc kỹ lưỡng các tác động tiềm năng của công nghệ này và tham gia vào các cuộc đối thoại công khai về các vấn đề đạo đức và xã hội liên quan.

Nội dung chính

Báo Cáo Nghiên Cứu Khoa Học: Nhận Dạng Cảm Xúc Qua Khuôn Mặt Dùng Mạng Nơ-ron Tích Chập (CNN) Triển Khai Trên Kit Nhúng Raspberry Pi 4

---

Tóm tắt nghiên cứu

Nghiên cứu "Nhận dạng cảm xúc thông qua khuôn mặt dùng mạng nơ-ron tích chập CNN" (Mã số đề tài: SV2020-133, thực hiện bởi sinh viên Nguyễn Văn Phúc dưới sự hướng dẫn của ThS. Huỳnh Thị Thu Hiền tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh) tập trung giải quyết câu hỏi cốt lõi: Làm thế nào để xây dựng một mô hình học sâu (Deep Learning) gọn nhẹ, có khả năng nhận dạng chính xác 7 trạng thái cảm xúc cơ bản của con người theo thời gian thực và vận hành độc lập trên thiết bị máy tính nhúng có tài nguyên giới hạn như Raspberry Pi 4?

Về phương pháp, tác giả phát triển một cấu trúc mạng nơ-ron tích chập (Convolutional Neural Network - CNN) cải tiến, loại bỏ các lớp kết nối đầy đủ (Fully Connected) truyền thống nhằm triệt tiêu hiện tượng quá khớp (overfitting) và giảm thiểu tối đa khối lượng tham số tính toán. Mô hình tích hợp các lớp tích chập tách biệt (Separable Conv2D), chuẩn hóa theo lô (Batch Normalization), hàm kích hoạt ReLU và gom cụm trung bình toàn cục (Global Average Pooling). Hệ thống được huấn luyện trên tập dữ liệu chuẩn quốc tế FER-2013 (~35.000 ảnh) và đánh giá độc lập trên tập CK+ kết hợp tập dữ liệu thực nghiệm thu nhận trực tiếp qua webcam.

Kết quả thực nghiệm chứng minh hệ thống phân loại hiệu quả 7 trạng thái cảm xúc: Vui vẻ (Happy), Buồn bã (Sad), Sợ hãi (Scared), Giận dữ (Angry), Ngạc nhiên (Surprised), Khó chịu (Disgust) và Bình thường (Neutral). Điểm đột phá của công trình là việc triển khai thành công toàn bộ đường ống xử lý (từ thu nhận video, phát hiện khuôn mặt Haar-Cascade đến suy luận CNN) trên kit Raspberry Pi 4 nhỏ gọn, hoạt động hoàn toàn độc lập với máy tính cá nhân. Công trình mở ra tiềm năng ứng dụng thực tế to lớn trong lĩnh vực trí tuệ nhân tạo biên (Edge AI), tương tác Người - Máy (HRI) và phân tích hành vi khách hàng.

---

Bối cảnh và tầm quan trọng

1. Hiện trạng tri thức và xu thế công nghệ

Trong kỷ nguyên Cách mạng Công nghiệp 4.0, Trí tuệ nhân tạo (AI) và Thị giác máy tính (Computer Vision) đã trở thành các công nghệ đột phá mũi nhọn. Trong số các nhánh phát triển sinh trắc học, nhận diện cảm xúc khuôn mặt (Facial Emotion Recognition - FER) đóng vai trò nền tảng trong giao tiếp phi ngôn ngữ của con người, giúp máy tính hiểu được trạng thái tâm lý, phản ứng hành vi và nâng cao mức độ tự nhiên trong tương tác.

2. Khoảng trống nghiên cứu được xác định (Research Gap)

Trước đây, các nghiên cứu nhận dạng cảm xúc thường tiếp cận theo hai hướng:

• Phương pháp truyền thống: Trích xuất đặc trưng thủ công (khoảng cách hình học giữa mắt, mũi, miệng, biến đổi ảnh màu sang ảnh xám) kết hợp bộ phân lớp chuẩn. Cách tiếp cận này có độ chính xác hạn chế, phụ thuộc nặng nề vào các chuẩn khuôn mặt lý tưởng và dễ gãy đổ khi gặp góc nghiêng hoặc điều kiện ánh sáng thay đổi.
• Phương pháp học sâu trên máy chủ GPU: Các mô hình CNN hiện đại đạt độ chính xác cao nhưng cấu trúc mạng quá cồng kềnh với hàng chục triệu tham số, đòi hỏi hạ tầng tính toán đắt đỏ và tiêu thụ nhiều điện năng, không thể ứng dụng trực tiếp vào các thiết bị IoT di động hoặc thiết bị biên độc lập.

3. Tính thời điểm và sự phù hợp

Nhu cầu thu nhỏ hệ thống AI xuống cấp độ phần cứng nhúng (Edge Computing) đang trở thành xu hướng tất yếu. Việc nghiên cứu một giải pháp cân bằng giữa độ chính xác nhận diện và tính tinh gọn phần cứng là nhiệm vụ cấp thiết.

4. Tác động tiềm năng

Công trình mang lại giải pháp công nghệ giá thành thấp, kích thước chỉ tương đương một chiếc thẻ ATM, sẵn sàng tích hợp vào các robot dịch vụ, hệ thống phỏng vấn tự động, quầy thanh toán thông minh hay các thiết bị giám sát an ninh mà không cần phụ thuộc vào kết nối đám mây hay máy tính để bàn cồng kềnh.

---

Methodology và approach

Nghiên cứu áp dụng quy trình thiết kế hệ thống có cấu trúc chặt chẽ từ thu thập dữ liệu, thiết kế mô hình toán học đến tích hợp phần cứng.

1. Dữ liệu nghiên cứu (Data Collection)

• Tập dữ liệu huấn luyện (FER-2013): Sử dụng bộ dữ liệu chuẩn gồm 35.887 ảnh thang độ xám kích thước $48 \times 48$ pixel, chứa 7 trạng thái biểu cảm tự nhiên được gán nhãn từ 0 đến 6.
• Tập dữ liệu kiểm chứng độc lập (Custom Datasets):
  • Tập A (Dữ liệu Webcam thực tế): 280 ảnh thu thập từ 8 cá nhân (5 nam, 3 nữ) ở nhiều góc biểu cảm và điều kiện môi trường ánh sáng khác nhau.
  • Tập B (Dữ liệu Cohn-Kanade - CK+): 700 ảnh biểu cảm khuôn mặt từ các đối tượng đa dạng giới tính và màu da để kiểm tra độ tin cậy của thuật toán.

2. Kiến trúc mô hình CNN cải tiến (Network Architecture)

Để giải quyết bài toán tài nguyên trên máy tính nhúng, tác giả đưa ra các cải tiến kiến trúc mang tính đột phá:

• Đầu vào chuẩn hóa: Ảnh đầu vào là ma trận 2 chiều kích thước $48 \times 48$.
• Khối tích chập khởi tạo: Lớp tích chập 2D với 8 bộ lọc kích thước $3 \times 3$, kết hợp Chuẩn hóa theo lô (Batch Normalization) để ổn định phân phối đầu ra và hàm kích hoạt phi tuyến ReLU ($f(x) = \max(0, x)$).
• Các khối trích xuất sâu (Khối A): Sử dụng tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution) với số bộ lọc tăng dần (16, 32, 64, 128 bộ lọc kích thước $3 \times 3$). Mỗi khối kết hợp nhánh tắt (residual connection/projection shortcut) với bộ lọc $1 \times 1$ để bảo toàn luồng đặc trưng và lớp MaxPooling kích thước $3 \times 3$, bước trượt (stride) bằng 2 để giảm số chiều không gian.
• Loại bỏ lớp Fully Connected (Dense): Thay thế toàn bộ các lớp kết nối đầy đủ nặng nề bằng lớp lấy giá trị trung bình toàn cục (Global Average Pooling) và đưa trực tiếp qua bộ phân loại Softmax 7 ngõ ra. Cải tiến này giúp cắt giảm đáng kể số lượng tham số tự do, giảm thiểu nguy cơ quá khớp (overfitting) và tăng tốc độ suy luận đáng kể.

3. Nền tảng phần cứng và môi trường triển khai

• Phần cứng: Máy tính nhúng Raspberry Pi 4 (Chipset Broadcom BCM2837/BCM2711, 4 nhân 64-bit ARM Cortex-A53 1.2 GHz, 1GB RAM LPDDR2, kết nối camera và giao diện màn hình DSI).
• Phần mềm & Thư viện: Ngôn ngữ lập trình Python, thư viện OpenCV (sử dụng bộ phân loại Haar-Cascade để phát hiện nhanh vị trí khuôn mặt), Keras framework chạy trên nền backend TensorFlow và thư viện tính toán ma trận NumPy.

---

Phát hiện chính

Nghiên cứu đã thực hiện các thử nghiệm đa chiều và rút ra 4 phát hiện quan trọng:

1. Độ chính xác vượt trội đối với các nhóm cảm xúc có đặc trưng hình học rõ rệt

Mô hình thể hiện khả năng phân loại tốt nhất đối với cảm xúc Vui vẻ (Happy) và Ngạc nhiên (Surprised):

• Cảm xúc vui vẻ có đặc trưng khóe miệng kéo rộng sang hai bên, gò má nâng cao và xuất hiện nếp nhăn đuôi mắt.
• Cảm xúc ngạc nhiên có đặc trưng mắt mở to, lông mày nhướng cao và miệng há rộng. Các đặc trưng này tạo ra độ biến thiên gradient lớn trong ma trận ảnh, giúp các bộ lọc tích chập dễ dàng trích xuất thông tin phân biệt.

2. Sự chồng lấn và nhầm lẫn ở các nhóm cảm xúc vi mô (Subtle Expressions)

Thực nghiệm trên ma trận tương quan (Confusion Matrix) chỉ ra rằng:

• Cảm xúc Bình thường (Neutral) dễ bị nhận diện nhầm sang Buồn bã (Sad) hoặc Sợ hãi (Scared) khi đối tượng có biểu cảm không dứt khoát hoặc cơ mặt ở trạng thái thả lỏng tự nhiên.
• Cảm xúc Khó chịu (Disgust) có số lượng mẫu ít và biên độ thay đổi cơ mặt tập trung cục bộ quanh vùng mũi/môi trên nên tỷ lệ nhận dạng phân tán hơn so với các lớp còn lại.

3. Hiệu quả đột phá của việc loại bỏ lớp Fully-Connected

Việc loại bỏ lớp Fully Connected và thay bằng Global Average Pooling không chỉ giúp mô hình giảm hàng triệu tham số không cần thiết mà còn ngăn chặn hiện tượng Overfitting hiệu quả (tương tự như hiệu ứng của kỹ thuật Dropout nhưng tiết kiệm bộ nhớ hơn). Nhờ đó, mô hình đạt khả năng khái quát hóa (generalization) cao khi kiểm thử trên tập dữ liệu hoàn toàn mới lạ (Tập A và Tập B).

4. Tác động của môi trường thực nghiệm và góc nhìn camera

Thử nghiệm trên luồng video thời gian thực chỉ ra các giới hạn vật lý rõ nét:

• Cường độ ánh sáng: Ánh sáng quá yếu dẫn đến mất chi tiết vùng mắt, trong khi ánh sáng quá mạnh gây lóa (ngược sáng) khiến mô hình nhận diện nhầm cảm xúc "Bình thường" thành "Sợ hãi".
• Góc nghiêng khuôn mặt: Hệ thống hoạt động tối ưu nhất ở góc nhìn chính diện trong khoảng cách 1 mét. Khi đối tượng quay góc nghiêng lớn, các đặc trưng đối xứng trên mặt bị che khuất khiến bộ dò Haar-Cascade mất dấu khuôn mặt, dẫn đến hệ thống ngưng trệ phân loại.

---

Đóng góp khoa học

Khía cạnh	Đóng góp cụ thể của đề tài
Đóng góp lý thuyết	Minh chứng tính khả thi của việc ứng dụng mạng CNN phi tuyến tích hợp tích chập tách biệt (Separable Conv2D) và Global Average Pooling trong bài toán phân loại đa lớp biểu cảm vi mô.
Cải tiến phương pháp	Xây dựng đường ống (pipeline) xử lý tối ưu: Kết hợp Haar-Cascade (OpenCV) xử lý nhanh ở tầng tiền xử lý và CNN tầng sâu để phân loại, cân bằng hoàn hảo giữa tốc độ khung hình và độ chính xác.
Ứng dụng thực tiễn	Hiện thực hóa mô hình AI trên phần cứng nhúng Raspberry Pi 4 với chi phí thấp, hoạt động độc lập không cần máy tính chủ (PC/Laptop), tạo tiền đề cho các thiết bị Edge AI thương mại.
Ý nghĩa Kinh tế - Xã hội	Mở ra giải pháp tự động hóa đo lường độ hài lòng khách hàng tại điểm bán lẻ, phân tích tâm lý ứng viên trong tuyển dụng và tạo nền tảng cho robot đồng hành xã hội.

---

Đối tượng quan tâm và Giá trị ứng dụng

1. Nhà nghiên cứu học thuật (Academic Researchers)

• Lợi ích: Cung cấp tài liệu tham khảo thực chứng về cấu trúc mạng CNN tinh giản, cách xử lý hiện tượng mất cân bằng mẫu biểu cảm khuôn mặt và kỹ thuật tiền xử lý dữ liệu ma trận ảnh nhị phân $48 \times 48$.

2. Kỹ sư IoT & Trí tuệ nhân tạo biên (Edge AI Engineers)

• Lợi ích: Nắm bắt kỹ thuật tối ưu hóa mô hình Deep Learning (Keras/TensorFlow) để biên dịch và thực thi mượt mà trên chip ARM của các Single Board Computer (SBC) như Raspberry Pi.

3. Doanh nghiệp Bán lẻ & Quản trị Trải nghiệm Khách hàng (Retailers & CX)

• Lợi ích: Tích hợp thiết bị camera nhúng tại các quầy dịch vụ để tự động đánh giá chỉ số hài lòng thực tế của khách hàng (CSAT) dựa trên biểu cảm chân thực thay vì bảng khảo sát truyền thống.

4. Chuyên gia Tuyển dụng & Đào tạo Nhân sự (HR Professionals)

• Lợi ích: Ứng dụng hệ thống hỗ trợ quan sát phản ứng tâm lý, mức độ căng thẳng hoặc tự tin của ứng viên trong các buổi phỏng vấn đánh giá năng lực.

---

Câu hỏi thường gặp (FAQ)

1. Phát hiện quan trọng nhất của nghiên cứu này là gì?

Nghiên cứu chứng minh rằng không nhất thiết phải cần các mạng nơ-ron khổng lồ hay GPU chuyên dụng mới có thể nhận dạng cảm xúc khuôn mặt. Bằng cách tái cấu trúc mạng CNN với Separable Conv2D và Global Average Pooling, một chiếc máy tính nhúng giá rẻ như Raspberry Pi 4 hoàn toàn có thể phân loại chính xác 7 trạng thái cảm xúc theo thời gian thực.

2. Phương pháp của nghiên cứu có điểm gì đặc biệt so với các mô hình CNN truyền thống?

Khác với CNN truyền thống sử dụng các lớp Fully Connected ở đầu ra tiêu tốn nhiều bộ nhớ và dễ bị quá khớp (overfitting), mô hình này loại bỏ hoàn toàn các lớp Dense, thay bằng khối gom cụm trung bình toàn cục (Global Average Pooling) kết hợp với các khối tích chập tách biệt chiều sâu (Separable Conv2D) và chuẩn hóa Batch Normalization, giúp kích thước mô hình giảm đi nhiều lần mà vẫn duy trì độ chính xác cao.

3. Kết quả của nghiên cứu có khả năng khái quát hóa (Generalize) trên thực tế không?

Có. Mô hình không chỉ được kiểm tra trên tập dữ liệu chuẩn FER-2013 mà còn được đánh giá chéo trên tập dữ liệu chuẩn CK+ (700 ảnh) và tập thực nghiệm độc lập (280 ảnh webcam từ 8 đối tượng với độ tuổi, giới tính và điều kiện ánh sáng khác nhau). Kết quả cho thấy mô hình thích ứng tốt khi đối tượng ở góc nhìn chính diện.

4. Những hạn chế và bước phát triển tiếp theo (Next Steps) của đề tài là gì?

Hạn chế hiện tại là hệ thống còn nhạy cảm với hiện tượng ngược sáng, thiếu sáng và góc quay nghiêng lớn. Các bước phát triển tiếp theo bao gồm: tích hợp thuật toán căn chỉnh khuôn mặt 3D (3D Face Alignment), bổ sung dữ liệu tăng cường (Data Augmentation) với các góc nghiêng và tích hợp thêm vi xử lý tăng tốc trí tuệ nhân tạo (Edge TPU/NPU) để tăng tốc độ khung hình (FPS).

5. Ứng dụng thực tiễn điển hình của hệ thống này là gì?

Hệ thống có thể gắn trực tiếp lên robot giao tiếp xã hội, ki-ốt thông minh tại bệnh viện/ngân hàng để nhận diện sự khó chịu hoặc hài lòng của người dân, hỗ trợ giáo dục thông minh theo dõi độ tập trung của học sinh, hoặc đặt tại quầy thu ngân để phân tích dữ liệu thị hiếu tiêu dùng.

---

Kết luận

Đề tài nghiên cứu khoa học sinh viên "Nhận dạng cảm xúc thông qua khuôn mặt dùng mạng nơ-ron tích chập CNN" (Mã số: SV2020-133) của tác giả Nguyễn Văn Phúc đã hoàn thành xuất sắc các mục tiêu đề ra. Công trình không chỉ cung cấp một giải pháp học sâu hoàn chỉnh để phân loại 7 nhóm cảm xúc cơ bản của con người mà còn chứng minh tính khả thi vượt bậc của việc đưa các mô hình thị giác máy tính phức tạp lên thiết bị nhúng Raspberry Pi 4 độc lập.

Trong tương lai, việc kết hợp mô hình thị giác này với các phương thức phân tích đa phương thái (như giọng nói, cử chỉ cơ thể) và triển khai trên các dòng vi xử lý Edge AI thế hệ mới sẽ là bước tiến quan trọng, thúc đẩy quá trình tự động hóa thông minh và nâng tầm trải nghiệm tương tác Người - Máy trong đời sống xã hội.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT DÙNG MẠNG NƠ-RON TÍCH CHẬP CNN Mà SỐ: SV2020-133 SKC 0 0 7 4 1 2 Tp. Hồ Chí Minh, tháng 07/2020 BÞ GIÁO DþC VÀ ĐÀO T¾O TR¯àNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TäNG K¾T ĐÀ TÀI NGHIÊN CĂU KHOA HàC CĀA SINH VIÊN NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP CNN SV2020-133 Chÿ nhiãm đÁ tài: NGUYÄN VN PHÚC TP Hã Chí Minh, tháng 7/2020 BÞ GIÁO DþC VÀ ĐÀO T¾O TR¯àNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TäNG K¾T ĐÀ TÀI NGHIÊN CĂU KHOA HàC CĀA SINH VIÊN NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP CNN SV2020-133 Thuác nhóm ngành khoa hãc: Kÿ thuÁt Sinh viên thực hiãn: Nguyán Vn Phúc Nam, Nữ: Nam Dân tác: Kinh Lßp: 16141CLVTA Khoa: Đào T¿o ChÃt L°āng Cao Nm thā: 4 Sß nm đào t¿o: 4 nm Ngành hãc: Công nghã kÿ thuÁt điãn tā - truyÁn thông GiÁng viên h°ßng d¿n: ThS Huÿnh Thá Thu HiÁn TP Hã Chí Minh, tháng 7/2020 MþC LþC MþC LþC. iv DANH MþC BÀNG .vii CÁC TĄ VI¾T TÂT. viii THÔNG TIN K¾T QUÀ NGHIÊN CĂU CĀA ĐÀ TÀI.

ix CH¯¡NG 1 TäNG QUAN .1 TÌNH HÌNH NGHIÊN CĂU .2 LÝ DO CHàN ĐÀ TÀI .4 PH¯¡NG PHÁP NGHIÊN CĂU .5 ĐàI T¯ỢNG VÀ PH¾M VI NGHIÊN CĂU. 3 CH¯¡NG 2 C¡ Sâ LÝ THUY¾T .1 TäNG QUAN VÀ QUÁ TRÌNH XĆ LÝ ÀNH .4 Tăng cường ảnh .5 Khôi phục ảnh .6 Phân tích ảnh .7 Nén dữ liệu ảnh .8 Nhận dạng ảnh .2 KHUÔN MÀT VÀ CÀM XÚC .1 Đặc trưng của mặt người : .2 Phương pháp tiếp cận đặc trưng khuôn mặt : .3 Biểu cảm khuôn mặt khi bày tỏ cảm xúc : .3 M¾NG N¡-RON TÍCH CHÀP .1 Mạng nơ-ron nhân tạo .2 Mạng nơ-ron tích chập .1 Mô hình tổng quan .2 Các lớp trong mô hình .3 Những vấn đề xảy ra với mô hình CNN.4 Gißi thißu máy tính nhúng kit Raspberry Pi .1 Giới thiệu ngôn ngữ lập trình Python: .2 Các thư viện sử dụng trong Python. 25 CH¯¡NG 3 THI¾T K¾ HÞ THàNG NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP TRÊN KIT RASPBERRY PI 4 .2 MÔ HÌNH HÞ THàNG .1 Sơ đồ khối của hệ thống .2 Mô hình CNN sử dụng trong hệ thống .1 Tập dữ liệu mẫu có sẵn .2 Tập dữ liệu riêng .4 QUÁ TRÌNH HUÂN LUYÞN VÀ KIÂM TRA .1 Quá trình huấn luyện .2 Quá trình kiểm tra. 35 CH¯¡NG 4 K¾T QUÀ.1 K¾T QUÀ HUÂN LUYÞN VÀ KIÂM TRA .2 ĂNG DþNG NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT TRÊN KIT RASPBERRY PI 4.

40 CH¯¡NG 5 K¾T LUÀN VÀ KI¾N NGHÞ. 53 TÀI LIÞU THAM KHÀO. 56 iii DANH MþC HÌNH Hình 2.1: Quy trình xā lý Ánh.3: Sự thay đổi đá mán cÿa hình Ánh theo kích th°ßc .4: Mát sß thông tin có thß tìm thÃy trong mát bāc Ánh khuôn mÁt .5: CÃu trúc tổng quát cÿa m¿ng n¢-ron ANN .6: Quá trình xā lý thông tin trong m¿ng .7: Hàm tổng cÿa mát và nhiÁu n¢-ron đßi vßi n input.8: Sự khác nhau giữa cÃu trúc ANN và CNN.9: Quá trình thực hiãn cÿa m¿ng CNN .10: CNN tìm những đißm t°¢ng đáng trên bāc Ánh .11: ChÁp ma trÁn Ánh vßi bá lãc 3x3.13: Maxpooling vßi bá lãc 2x2, b°ßc tr°āt bằng 2 .14: Phân lßp dữ liãu trong lßp k¿t nßi đầy đÿ .15: Ví dă minh hãa lßi quá khßp trong CNN .16: Kÿ thuÁt Drop-out giÁi quy¿t vÃn đÁ overfitting .17: Hình Ánh thực t¿ kit Raspberry Pi .18: CÃu trúc th° viãn OpenCV .1: S¢ đá khßi cÿa hã thßng.2: Ki¿n trúc m¿ng CNN đ°āc dùng trong hã thßng .3: Mát sß hình Ánh trong tÁp dữ liãu m¿u.4: Bißu đá sß l°āng cÁm xúc trong tÁp dữ liãu m¿u FERC-2013 .5: Bißu đá phân lo¿i sß l°āng cÁm xúc trong tÁp dữ liãu riêng.6: L°u đá thuÁt toán quá trình huÃn luyãn.7: L°u đá thuÁt toán quá trình kißm tra .1: Bißu đá đá chính xác qua kißm tra trong quá trình huÃn luyãn.2: Ma trÁn t°¢ng quan cÿa mô hình vßi ngõ vào là dữ liãu tÁp m¿u.3: Ma trÁn t°¢ng quan cÿa mô hình vßi ngõ vào là dữ liãu tÁp riêng .4: Camera k¿t nßi vßi kit raspberry Pi 4 .5: Giao diãn cÿa āng dăng nhÁn d¿ng cÁm xúc .6: Thông báo khi đã chãn đ°āc file.7: NhÁn d¿ng cÁm xúc < bình thường = .8: NhÁn d¿ng cÁm xúc < bình thường =tÿ mát Ánh bÃt kÿ đ°āc tÁi lên hã thßng .9: NhÁn d¿ng cÁm xúc < vui vẻ = .10: NhÁn d¿ng cÁm xúc < ngạc nhiên = .11: NhÁn d¿ng cÁm xúc < buồn = .12: NhÁn d¿ng cÁm xúc < giận dữ = .13: NhÁn d¿ng cÁm xúc < khó chịu = .14: NhÁn d¿ng cÁm xúc < sợ hãi = .15: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < buán = do bißu cÁm không rõ ràng .16: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < sợ hãi = do c°áng đá sáng quá cao và Ánh đ°āc nhÁn d¿ng bá ng°āc sáng.17: Không nhÁn d¿ng đ°āc khuôn mÁt do góc nghiêng và các đÁc tr°ng trên khuôn mÁt bá mÃt.18: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < sā hãi = do c°áng đá ánh sáng trên khuôn mÁt y¿u.19: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < buán = do khuôn mÁt bá thay đổi góc nghiêng đáng thái khuôn mÁt không ngang tầm và chính diãn vßi camera. 51 vi DANH MþC BÀNG BÁng 3.1: BÁng phân lo¿i sß l°āng cÁm xúc trong tÁp dữ liãu m¿u FERC-2013 .2: BÁng phân lo¿i sß l°āng cÁm xúc trong tÁp dữ liãu riêng .1: So sánh đá chính xác qua kißm tra giữa hai mô hình.2: Đánh giá tß lã nhÁn d¿ng cÁm xúc khi kißm tra tÁp riêng.3: So sánh đá chính xác giữa hai mô hình.

40 vii CÁC TĄ VI¾T TÂT Tą vi¿t tÃt GiÁi thích 2D 2 Dimenision Hai chiÁu ANN Artificial Neural M¿ng n¢-ron nhân t¿o Network CNN Convolution Neural M¿ng n¢-ron tích chÁp Network FERC-2013 Facial Expression Cuác thi <Thā thách nhÁn d¿ng Recognition Challenge cÁm xúc khuôn mÁt nm 2013= NN Neural Network M¿ng n¢-ron PE Processing Element Phần tā xā lý PwC PricewaterhouseCoopers Công ty kißm toán cÿa Mÿ RELU Rectified Linear Unit Hàm đ¢n vá tuy¿n tính đāng RGB Red Green Blue Ba màu c¢ bÁn: Đỏ , lăc và lam GUI Graphical User Interface Giao diãn đá hãa ng°ái dùng viii Mẫu PL03- Thông tin kết quả nghiên cứu đề tài NCKH Sinh viên Bà GIÁO DĂC VÀ ĐÀO T¾O TR¯àNG ĐH S¯ PH¾M KỸ THUÀT TPHCM THÔNG TIN K¾T QUÀ NGHIÊN CĂU CĀA ĐÀ TÀI 1. Thông tin chung: - Tên đÁ tài: NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP CNN. - Chÿ nhiãm đÁ tài: Nguyán Vn Phúc Mã sß SV: 16141071 - Lßp: 16141CLVTA Khoa: Đào T¿o ChÃt L°āng Cao - Thành viên đÁ tài: Stt Há và tên MSSV Lßp Khoa 1 Nguyán Vn Phúc 16141071 16141CLVTA Đào T¿o ChÃt L°āng Cao - Ng°ái h°ßng d¿n: ThS Huÿnh Thá Thu HiÁn 2. Mÿc tiêu đÁ tài: Dùng m¿ng n¢-ron đß xây dựng và huÃn luyãn mô hình m¿ng CNN đß kißm tra tính hiãu quÁ trong viãc nhÁn d¿ng cÁm xúc.

Thực hiãn sẽ xây dựng mát hã thßng nhÁn d¿ng 7 lo¿i cÁm xúc thông qua khuôn mÁt gám có: <vui vẻ= (happy), <buán= (sad), <sā hãi= (scared), <giÁn dữ= (angry), <ng¿c nhiên= (surprised), <khó cháu= (disgust) và <bình th°áng= (neutral). Tính mßi và sáng t¿o: Thi công và trißn khai hã thßng nhÁn d¿ng cÁm xúc thông qua khuôn mÁt dùng m¿ng n¢-ron tích chÁp CNN ch¿y thành công và đác lÁp vßi máy tính thông qua máy tính nhúng Raspberry Pi 4. Vßi kích th°ßc máy tính nhúng nhỏ, gãn đáp đāng yêu cầu dá dàng di chuyßn và lắp đÁt hã thßng. K¿t quÁ nghiên cău: Xây dựng thành công hã thßng nhÁn d¿ng 7 lo¿i cÁm xúc thông qua khuôn mÁt gám có: <vui vẻ= (happy), <buán= (sad), <sā hãi= (scared), <giÁn dữ= (angry), <ng¿c nhiên= (surprised), <khó cháu= (disgust) và <bình th°áng= (neutral) thông qua m¿ng n¢-ron tích chÁp, đáng thái trißn khai hã thßng ch¿y đác lÁp vßi phần cāng cÿa máy tính laptop hay PC.

Đóng góp vÁ mÁt giáo dÿc và đào t¿o, kinh t¿ - xã hßi, an ninh, quác phòng và khÁ nng áp dÿng cāa đÁ tài: Đóng góp vÁ mÁt kinh t¿ - xã hái: Có khÁ nng đánh giá māc đá hài lòng sau khi mua sÁn phẩm thông qua cÁm xúc cÿa khuôn mÁt cũng nh° có thß đ°āc áp dăng vào khÁ nng dự đoán cÁm xúc cÿa ng°ái khi đ¿n phỏng vÃn xin viãc thông qua mô hình m¿ng n¢- ron tích chÁp này. Bên c¿nh đó, nghiên cāu vÁ bißu cÁm, cÁm xúc cÿa g°¢ng mÁt trong đÁ tài này sẽ hữu ích trong viãc nghiên cāu não ng°ái và ho¿t đáng giao ti¿p xã hái, cũng nh° thi¿t k¿ các hã thßng máy tính đß giao ti¿p vßi con ng°ái. ĐÁ tài có khÁ nng phát trißn thêm đß áp dăng vào các hã thßng phân tích cÁm xúc cÿa khách hàng đß hißu rõ h¢n những điÁu mà khách hàng thích hay không thích tÿ sÁn phẩm cÿa ng°ái bán và dựa trên đó đß đ°a ra các chi¿n dách quÁng cáo, marketing cho phù hāp. Công bá khoa hác cāa SV tą k¿t quÁ nghiên cău cāa đÁ tài (ghi rõ tên tạp chí nếu có) hoÁc nhÁn xét, đánh giá cÿa c¢ sã đã áp dăng các k¿t quÁ nghiên cāu (nếu có): Không có Ngày tháng nm SV chßu trách nhißm chính thực hißn đÁ tài (kí, họ và tên) x NhÁn xét cāa ng°ái h°ßng d¿n vÁ nhĉng đóng góp khoa hác cāa SV thực hißn đÁ tài (phần này do người hướng dẫn ghi): Ngày tháng nm Ng°ái h°ßng d¿n (kí, họ và tên) xi CH¯¡NG 1 TäNG QUAN 1.1 TÌNH HÌNH NGHIÊN CĂU Hiãn nay trên th¿ gißi nói chung và t¿i Viãt Nam nói riêng, trí tuã nhân t¿o đ°āc xem là mát trong những công nghã cßt lõi cÿa cuác cách m¿ng công nghiãp 4.

NhiÁu qußc gia bắt đầu ghi nhÁn xu th¿ phát trißn tÃt y¿u và tác đáng chuyßn đổi to lßn cÿa trí tuã nhân t¿o trong mãi mÁt đái sßng xã hái, tÿ thay đổi cán cân quyÁn lực kinh t¿, đ¿n cÁ quân sự và chính trá. Đß đÁm bÁo ti¿p tăc phát trißn kinh t¿ - xã hái, đem l¿i thánh v°āng cho qußc gia, bên c¿nh viãc tÁn dăng hiãu quÁ những thành tựu phát trißn cÿa trí tuã nhân t¿o và tự đáng hóa, nhiÁu n°ßc đã đ°a ra nhiÁu giÁi pháp phù hāp cho ti¿n trình chuyßn đổi nhanh chóng và m¿nh mẽ cÿa cuác cách m¿ng công nghiãp 4. Sau h¢n 30 nm đổi mßi, Viãt Nam đã có b°ßc phát trißn m¿nh mẽ, trã thành nÁn kinh t¿ hái nhÁp, nng đáng, hÃp d¿n đầu t° trong khu vực.