Nghiên Cứu Nhận Dạng Cảm Xúc Qua Khuôn Mặt Sử Dụng Mạng Nơ-Ron Tích Chập

Tài liệu nghiên cứu Đề tài nhận dạng cảm xúc thông qua khuôn mặt dùng mạng nơ ron tích chập cnn, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Văn Phúc
• Người hướng dẫn: ThS. Huỳnh Thái Thu Hiền
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật điện tử - truyền thông
• Đề tài: Nhận Dạng Cảm Xúc Qua Khuôn Mặt Sử Dụng Mạng Nơ-Ron Tích Chập
• Loại tài liệu: báo cáo
• Năm xuất bản: 2020
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• DANH MỤC BẢNG
• DANH MỤC HÌNH
• CÁC TỪ VIẾT TẮT
• THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. TÌNH HÌNH NGHIÊN CỨU
• 1.2. LÝ DO CHỌN ĐỀ TÀI
• 1.3. MỤC TIÊU ĐỀ TÀI
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. TỔNG QUAN VÀ QUÁ TRÌNH XỬ LÝ ẢNH
• 2.1.1. Xử lý ảnh
• 2.1.2. Quy trình xử lý ảnh
• 2.2. KHUÔN MẶT VÀ CẢM XÚC
• 2.2.1. Đặc trưng của mặt người
• 2.2.2. Phương pháp tiếp cận đặc trưng khuôn mặt
• 2.2.3. Biểu cảm khuôn mặt khi bày tỏ cảm xúc
• 2.3. MẠNG NƠ-RON TÍCH CHẬP
• 2.3.1. Mạng nơ-ron nhân tạo
• 2.3.2. Mạng nơ-ron tích chập
• 2.3.2.1. Mô hình tổng quan
• 2.3.2.2. Các lớp trong mô hình
• 2.3.2.3. Những vấn đề xảy ra với mô hình CNN
• 2.4. GIỚI THIỆU MÁY TÍNH NHÚNG KIT RASPBERRY PI
• 2.4.1. Giới thiệu ngôn ngữ lập trình Python
• 2.4.2. Các thư viện sử dụng trong Python
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT DÙNG MẠNG NƠ-RON TÍCH CHẬP TRÊN KIT RASPBERRY PI 4
• 3.1. MÔ HÌNH HỆ THỐNG
• 3.1.1. Sơ đồ khối của hệ thống
• 3.1.2. Mô hình CNN sử dụng trong hệ thống
• 3.1.2.1. Tập dữ liệu mẫu có sẵn
• 3.1.2.2. Tập dữ liệu riêng
• 3.2. QUÁ TRÌNH HUẤN LUYỆN VÀ KIỂM TRA
• 3.2.1. Quá trình huấn luyện
• 3.2.2. Quá trình kiểm tra
• 4. CHƯƠNG 4: KẾT QUẢ
• 4.1. KẾT QUẢ HUẤN LUYỆN VÀ KIỂM TRA
• 4.2. ỨNG DỤNG NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT TRÊN KIT RASPBERRY PI 4
• 5. CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Nghiên Cứu Nhận Dạng Cảm Xúc Khuôn Mặt

Nghiên cứu về nhận dạng cảm xúc khuôn mặt đang trở thành một lĩnh vực trọng tâm trong trí tuệ nhân tạo (AI). Trên thế giới và tại Việt Nam, AI được xem là cốt lõi của cuộc cách mạng công nghiệp 4.0. Nhiều quốc gia đã nhận ra sự phát triển của AI, tác động lớn đến mọi mặt đời sống xã hội, từ kinh tế đến quân sự. Việt Nam cũng đang tập trung phát triển AI, đặc biệt là trong công nghệ sinh trắc học. Công nghệ này sử dụng các đặc tính vật lý và sinh học riêng của mỗi cá nhân để nhận dạng. Ngoài bảo mật, các nhà khoa học cũng nghiên cứu cảm xúc trên khuôn mặt. Nhận dạng cảm xúc giúp chế tạo robot tương tác tốt hơn với con người. Tuy nhiên, xác định cảm xúc không hề dễ dàng. Nhiều công trình, bài báo đã đề xuất các phương pháp khác nhau để nhận diện cảm xúc. Mạng nơ-ron xoắn tích chập (CNN) đang mở ra những bước tiến mới trong lĩnh vực này, mang lại độ chính xác cao hơn so với các phương pháp truyền thống.

1.1. Tầm quan trọng của công nghệ nhận diện cảm xúc

Công nghệ nhận diện cảm xúc có vai trò quan trọng trong nhiều ứng dụng thực tiễn. Từ việc đánh giá mức độ hài lòng của khách hàng sau khi mua sản phẩm đến dự đoán cảm xúc của ứng viên trong phỏng vấn xin việc. Nghiên cứu về biểu cảm khuôn mặt rất hữu ích trong nghiên cứu não người và giao tiếp xã hội. Hệ thống máy tính có thể giao tiếp tốt hơn với con người. Các hệ thống phân tích cảm xúc khách hàng có thể được phát triển để hiểu rõ hơn sở thích và phản hồi của họ về sản phẩm và dịch vụ, từ đó đưa ra các chiến dịch marketing phù hợp. Chính phủ Việt Nam xác định công nghệ AI là sự đột phá, mũi nhọn cần được triển khai nghiên cứu và ứng dụng rộng rãi trong đời sống.

1.2. Các phương pháp nhận diện cảm xúc truyền thống

Trước khi mạng nơ-ron tích chập (CNN) trở nên phổ biến, nhiều phương pháp truyền thống đã được sử dụng để nhận diện cảm xúc. Một số phương pháp dựa trên việc trích xuất các đặc điểm khuôn mặt, như khoảng cách giữa các mắt, độ cong của miệng, và vị trí của lông mày. Các đặc điểm này sau đó được so sánh với cơ sở dữ liệu các biểu cảm chuẩn để xác định cảm xúc. Các phương pháp khác sử dụng kỹ thuật xử lý ảnh để phân tích hình dạng và kết cấu của khuôn mặt. Nhược điểm của các phương pháp truyền thống là độ chính xác thường thấp và dễ bị ảnh hưởng bởi ánh sáng, góc chụp, và các yếu tố môi trường khác. Hơn nữa, chúng thường yêu cầu sự can thiệp thủ công để chọn và trích xuất các đặc điểm, làm cho quá trình trở nên tốn thời gian và công sức.

II. Vấn Đề Thách Thức Trong Nhận Dạng Cảm Xúc Khuôn Mặt

Nhận dạng cảm xúc khuôn mặt không phải là một nhiệm vụ đơn giản. Có rất nhiều thách thức cần vượt qua để đạt được độ chính xác cao và khả năng ứng dụng rộng rãi. Sự biến đổi lớn về biểu cảm khuôn mặt giữa các cá nhân là một vấn đề lớn. Cùng một cảm xúc có thể được thể hiện khác nhau bởi những người khác nhau, tùy thuộc vào văn hóa, giới tính, và tính cách. Thay đổi về ánh sáng, góc chụp, và độ phân giải của hình ảnh cũng có thể ảnh hưởng đến hiệu suất của hệ thống nhận diện cảm xúc. Ngoài ra, các biểu cảm khuôn mặt thường rất tinh tế và khó phân biệt, đặc biệt là trong các tình huống thực tế. Những biểu hiện cảm xúc giả tạo hoặc che giấu cũng tạo ra những khó khăn đáng kể. Để giải quyết những thách thức này, cần phải phát triển các mô hình học sâu mạnh mẽ, có khả năng học các đặc trưng phức tạp của khuôn mặt và ít bị ảnh hưởng bởi các yếu tố ngoại cảnh. Đồng thời, cần phải thu thập và xây dựng các bộ dữ liệu lớn và đa dạng để huấn luyện mô hình một cách hiệu quả.

2.1. Sự đa dạng trong biểu cảm khuôn mặt cá nhân

Biểu cảm khuôn mặt chịu ảnh hưởng mạnh mẽ bởi các yếu tố văn hóa, giới tính, và tính cách. Ví dụ, một người thuộc nền văn hóa phương Tây có thể thể hiện cảm xúc một cách cởi mở hơn so với một người thuộc nền văn hóa phương Đông. Phụ nữ thường có xu hướng thể hiện cảm xúc rõ ràng hơn nam giới. Những người hướng nội có thể che giấu cảm xúc của họ tốt hơn những người hướng ngoại. Để hệ thống nhận dạng cảm xúc hoạt động tốt trong nhiều ngữ cảnh khác nhau, nó cần phải được huấn luyện trên một bộ dữ liệu đa dạng, bao gồm các biểu cảm từ nhiều người thuộc các nền văn hóa, giới tính, và tính cách khác nhau.

2.2. Ảnh hưởng của điều kiện ánh sáng và góc chụp

Điều kiện ánh sáng và góc chụp có thể ảnh hưởng đáng kể đến chất lượng hình ảnh khuôn mặt và hiệu suất của hệ thống nhận dạng cảm xúc. Ánh sáng yếu có thể làm giảm độ tương phản và chi tiết của hình ảnh, khiến cho việc trích xuất các đặc trưng trở nên khó khăn hơn. Ánh sáng quá mạnh có thể gây ra hiện tượng cháy sáng, làm mất thông tin quan trọng. Góc chụp khác nhau có thể làm biến dạng hình dạng khuôn mặt, khiến cho việc nhận diện trở nên khó khăn hơn. Để giảm thiểu ảnh hưởng của các yếu tố này, cần sử dụng các kỹ thuật tiền xử lý hình ảnh, chẳng hạn như cân bằng ánh sáng, khử nhiễu, và chỉnh sửa hình học. Ngoài ra, mô hình học sâu cần được huấn luyện trên các hình ảnh với nhiều điều kiện ánh sáng và góc chụp khác nhau để có khả năng khái quát hóa tốt.

III. Mạng Nơ ron Tích Chập CNN Cho Nhận Dạng Cảm Xúc

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron sâu đặc biệt hiệu quả trong việc xử lý hình ảnh. CNN tự động học các đặc trưng quan trọng từ hình ảnh mà không cần sự can thiệp thủ công. Kiến trúc của CNN bao gồm các lớp tích chập, lớp gộp (pooling), và lớp kết nối đầy đủ. Lớp tích chập sử dụng các bộ lọc để trích xuất các đặc trưng cục bộ từ hình ảnh. Lớp gộp giảm kích thước của các đặc trưng và tăng tính bất biến đối với các biến đổi nhỏ. Lớp kết nối đầy đủ sử dụng các đặc trưng đã trích xuất để phân loại hình ảnh. CNN đã đạt được những kết quả vượt trội trong nhiều bài toán nhận dạng hình ảnh, bao gồm cả nhận dạng cảm xúc khuôn mặt. Ưu điểm lớn nhất của CNN là khả năng tự động học các đặc trưng phức tạp từ dữ liệu, giúp giảm bớt công sức thiết kế đặc trưng thủ công.

3.1. Kiến trúc cơ bản của mạng CNN

Kiến trúc cơ bản của một mạng CNN thường bao gồm các lớp sau: lớp tích chập (convolutional layer), lớp gộp (pooling layer), và lớp kết nối đầy đủ (fully connected layer). Lớp tích chập sử dụng các bộ lọc (filters) để quét qua hình ảnh đầu vào và trích xuất các đặc trưng cục bộ. Mỗi bộ lọc có một tập hợp các trọng số (weights) được học trong quá trình huấn luyện. Lớp gộp giảm kích thước của các đặc trưng đã trích xuất, giúp giảm số lượng tham số và tăng tính bất biến đối với các biến đổi nhỏ, như dịch chuyển và xoay. Lớp kết nối đầy đủ sử dụng các đặc trưng đã trích xuất để phân loại hình ảnh thành các lớp khác nhau, tương ứng với các cảm xúc khác nhau. Các lớp này thường được kết hợp với các hàm kích hoạt (activation functions), như ReLU, để giới thiệu tính phi tuyến vào mô hình.

3.2. Quá trình huấn luyện mạng CNN

Quá trình huấn luyện mạng CNN bao gồm việc điều chỉnh các trọng số của các bộ lọc và các lớp kết nối đầy đủ để mô hình có thể dự đoán chính xác các cảm xúc từ hình ảnh khuôn mặt. Quá trình này thường được thực hiện bằng cách sử dụng thuật toán lan truyền ngược (backpropagation) và một hàm mất mát (loss function), chẳng hạn như cross-entropy loss. Dữ liệu huấn luyện được chia thành các batch, và mô hình được huấn luyện trên từng batch một. Sau mỗi batch, các trọng số được cập nhật để giảm thiểu hàm mất mát. Quá trình này lặp lại nhiều lần cho đến khi mô hình đạt được độ chính xác mong muốn trên tập dữ liệu kiểm tra (validation set).

3.3. Tăng cường dữ liệu Data Augmentation trong CNN

Tăng cường dữ liệu là một kỹ thuật quan trọng để cải thiện hiệu suất của mạng CNN, đặc biệt khi dữ liệu huấn luyện có số lượng hạn chế. Kỹ thuật này bao gồm việc tạo ra các phiên bản mới của hình ảnh huấn luyện bằng cách áp dụng các phép biến đổi, chẳng hạn như xoay, lật, phóng to, thu nhỏ, và thay đổi độ sáng và độ tương phản. Mục tiêu của việc tăng cường dữ liệu là tạo ra một bộ dữ liệu huấn luyện đa dạng hơn, giúp mô hình học được các đặc trưng chung của cảm xúc và ít bị ảnh hưởng bởi các biến đổi nhỏ trong hình ảnh.

IV. Thiết Kế Triển Khai Hệ Thống Nhận Diện Cảm Xúc CNN

Thiết kế và triển khai một hệ thống nhận diện cảm xúc CNN đòi hỏi sự kết hợp của nhiều thành phần khác nhau. Đầu tiên, cần thu thập và chuẩn bị một bộ dữ liệu lớn và đa dạng các hình ảnh khuôn mặt với các nhãn cảm xúc tương ứng. Sau đó, cần thiết kế kiến trúc của mạng CNN, lựa chọn các tham số huấn luyện phù hợp, và huấn luyện mô hình. Sau khi huấn luyện xong, mô hình cần được kiểm tra và đánh giá trên một tập dữ liệu kiểm tra độc lập để đảm bảo hiệu suất tốt. Cuối cùng, mô hình có thể được triển khai trên một thiết bị nhúng, chẳng hạn như Raspberry Pi, để tạo ra một hệ thống nhận diện cảm xúc di động và tiện lợi. Việc lựa chọn phần cứng phù hợp và tối ưu hóa mô hình cho hiệu suất thời gian thực là rất quan trọng.

4.1. Lựa chọn và chuẩn bị dữ liệu huấn luyện

Dữ liệu huấn luyện đóng vai trò quan trọng trong việc xác định hiệu suất của hệ thống nhận dạng cảm xúc. Dữ liệu cần phải đủ lớn, đa dạng, và được gán nhãn chính xác. Các bộ dữ liệu công khai phổ biến cho bài toán nhận dạng cảm xúc khuôn mặt bao gồm FER2013, CK+, và JAFFE. Tuy nhiên, các bộ dữ liệu này có thể không đủ lớn hoặc không đại diện cho tất cả các tình huống thực tế. Do đó, có thể cần phải thu thập thêm dữ liệu riêng, đặc biệt nếu hệ thống được triển khai trong một môi trường cụ thể. Quá trình chuẩn bị dữ liệu bao gồm việc căn chỉnh khuôn mặt, thay đổi kích thước hình ảnh, và chuẩn hóa các giá trị pixel.

4.2. Triển khai mô hình trên Raspberry Pi

Raspberry Pi là một máy tính nhúng nhỏ gọn và giá rẻ, phù hợp cho việc triển khai các ứng dụng trí tuệ nhân tạo di động. Để triển khai mô hình CNN trên Raspberry Pi, cần phải tối ưu hóa mô hình để giảm kích thước và tăng tốc độ xử lý. Các kỹ thuật tối ưu hóa bao gồm lượng tử hóa (quantization), cắt tỉa (pruning), và sử dụng các thư viện tối ưu hóa, chẳng hạn như TensorFlow Lite. Ngoài ra, cần phải kết nối Raspberry Pi với một camera để thu thập hình ảnh khuôn mặt. Một giao diện người dùng (GUI) có thể được phát triển để hiển thị kết quả nhận diện cảm xúc.

V. Kết Quả Ứng Dụng Của Nghiên Cứu Nhận Dạng Cảm Xúc

Nghiên cứu về nhận dạng cảm xúc khuôn mặt đã đạt được nhiều tiến bộ đáng kể trong những năm gần đây. Các hệ thống nhận diện cảm xúc hiện đại có thể đạt được độ chính xác cao trên các bộ dữ liệu chuẩn. Các ứng dụng của nhận dạng cảm xúc rất đa dạng và tiềm năng. Trong lĩnh vực y tế, nhận dạng cảm xúc có thể được sử dụng để theo dõi trạng thái tinh thần của bệnh nhân và phát hiện sớm các dấu hiệu của trầm cảm hoặc lo âu. Trong lĩnh vực giáo dục, nó có thể được sử dụng để cá nhân hóa trải nghiệm học tập và cung cấp phản hồi phù hợp cho học sinh. Trong lĩnh vực marketing, nó có thể được sử dụng để đánh giá hiệu quả của quảng cáo và hiểu rõ hơn phản ứng của khách hàng đối với sản phẩm.

5.1. Ứng dụng trong lĩnh vực y tế và chăm sóc sức khỏe

Nhận dạng cảm xúc có thể đóng vai trò quan trọng trong việc hỗ trợ chẩn đoán và điều trị các bệnh tâm lý. Bằng cách phân tích biểu cảm khuôn mặt của bệnh nhân, các bác sĩ có thể đánh giá mức độ lo âu, trầm cảm, hoặc các trạng thái cảm xúc tiêu cực khác. Điều này có thể giúp phát hiện sớm các vấn đề tâm lý và đưa ra các biện pháp can thiệp kịp thời. Ngoài ra, nhận dạng cảm xúc cũng có thể được sử dụng để theo dõi hiệu quả của các phương pháp điều trị và điều chỉnh liều lượng thuốc phù hợp.

5.2. Ứng dụng trong lĩnh vực giáo dục và đào tạo

Trong lĩnh vực giáo dục, nhận dạng cảm xúc có thể được sử dụng để tạo ra môi trường học tập tương tác và cá nhân hóa hơn. Giáo viên có thể sử dụng hệ thống nhận diện cảm xúc để theo dõi mức độ tập trung và hứng thú của học sinh trong lớp. Điều này có thể giúp giáo viên điều chỉnh phương pháp giảng dạy và cung cấp hỗ trợ kịp thời cho những học sinh gặp khó khăn. Ngoài ra, nhận dạng cảm xúc cũng có thể được sử dụng trong các hệ thống học tập trực tuyến để cung cấp phản hồi cá nhân hóa cho học sinh và điều chỉnh độ khó của bài tập phù hợp.

VI. Tương Lai Hướng Phát Triển Của Nhận Dạng Cảm Xúc CNN

Tương lai của nhận dạng cảm xúc khuôn mặt rất hứa hẹn. Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và độ tin cậy của các hệ thống nhận diện cảm xúc, đặc biệt trong các điều kiện khó khăn, chẳng hạn như ánh sáng yếu hoặc khuôn mặt bị che khuất. Ngoài ra, sẽ có nhiều nỗ lực hơn để phát triển các hệ thống nhận diện cảm xúc đa phương thức, kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như biểu cảm khuôn mặt, giọng nói, và ngôn ngữ cơ thể. Điều này có thể giúp cải thiện độ chính xác và độ tin cậy của hệ thống. Cuối cùng, sẽ có nhiều nghiên cứu hơn về các khía cạnh đạo đức và xã hội của nhận dạng cảm xúc, đảm bảo rằng công nghệ này được sử dụng một cách có trách nhiệm và không gây hại cho xã hội.

6.1. Nhận dạng cảm xúc đa phương thức

Trong tương lai, các hệ thống nhận dạng cảm xúc sẽ không chỉ dựa vào biểu cảm khuôn mặt mà còn kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như giọng nói, ngôn ngữ cơ thể, và dữ liệu sinh lý (nhịp tim, độ dẫn điện của da). Điều này có thể giúp cải thiện đáng kể độ chính xác và độ tin cậy của hệ thống, đặc biệt trong các tình huống mà biểu cảm khuôn mặt không rõ ràng hoặc bị che giấu. Các kỹ thuật học sâu có thể được sử dụng để tích hợp thông tin từ các nguồn khác nhau một cách hiệu quả.

6.2. Các vấn đề đạo đức và xã hội

Việc sử dụng công nghệ nhận dạng cảm xúc đặt ra nhiều câu hỏi về đạo đức và xã hội. Liệu có nên sử dụng công nghệ này để giám sát nhân viên, theo dõi học sinh, hoặc đánh giá ứng viên xin việc? Liệu có thể xảy ra phân biệt đối xử dựa trên các đánh giá cảm xúc? Làm thế nào để bảo vệ quyền riêng tư của những người bị nhận diện cảm xúc? Cần phải có các quy định và hướng dẫn rõ ràng để đảm bảo rằng công nghệ nhận dạng cảm xúc được sử dụng một cách có trách nhiệm và không gây hại cho xã hội. Các nhà nghiên cứu và phát triển cần phải cân nhắc kỹ lưỡng các tác động tiềm năng của công nghệ này và tham gia vào các cuộc đối thoại công khai về các vấn đề đạo đức và xã hội liên quan.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NHẬN DẠNG CẢM XÚC THÔNG QUA KHUÔN MẶT DÙNG MẠNG NƠ-RON TÍCH CHẬP CNN Mà SỐ: SV2020-133 SKC 0 0 7 4 1 2 Tp. Hồ Chí Minh, tháng 07/2020 BÞ GIÁO DþC VÀ ĐÀO T¾O TR¯àNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TäNG K¾T ĐÀ TÀI NGHIÊN CĂU KHOA HàC CĀA SINH VIÊN NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP CNN SV2020-133 Chÿ nhiãm đÁ tài: NGUYÄN VN PHÚC TP Hã Chí Minh, tháng 7/2020 BÞ GIÁO DþC VÀ ĐÀO T¾O TR¯àNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TäNG K¾T ĐÀ TÀI NGHIÊN CĂU KHOA HàC CĀA SINH VIÊN NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP CNN SV2020-133 Thuác nhóm ngành khoa hãc: Kÿ thuÁt Sinh viên thực hiãn: Nguyán Vn Phúc Nam, Nữ: Nam Dân tác: Kinh Lßp: 16141CLVTA Khoa: Đào T¿o ChÃt L°āng Cao Nm thā: 4 Sß nm đào t¿o: 4 nm Ngành hãc: Công nghã kÿ thuÁt điãn tā - truyÁn thông GiÁng viên h°ßng d¿n: ThS Huÿnh Thá Thu HiÁn TP Hã Chí Minh, tháng 7/2020 MþC LþC MþC LþC. iv DANH MþC BÀNG .vii CÁC TĄ VI¾T TÂT. viii THÔNG TIN K¾T QUÀ NGHIÊN CĂU CĀA ĐÀ TÀI.

ix CH¯¡NG 1 TäNG QUAN .1 TÌNH HÌNH NGHIÊN CĂU .2 LÝ DO CHàN ĐÀ TÀI .4 PH¯¡NG PHÁP NGHIÊN CĂU .5 ĐàI T¯ỢNG VÀ PH¾M VI NGHIÊN CĂU. 3 CH¯¡NG 2 C¡ Sâ LÝ THUY¾T .1 TäNG QUAN VÀ QUÁ TRÌNH XĆ LÝ ÀNH .4 Tăng cường ảnh .5 Khôi phục ảnh .6 Phân tích ảnh .7 Nén dữ liệu ảnh .8 Nhận dạng ảnh .2 KHUÔN MÀT VÀ CÀM XÚC .1 Đặc trưng của mặt người : .2 Phương pháp tiếp cận đặc trưng khuôn mặt : .3 Biểu cảm khuôn mặt khi bày tỏ cảm xúc : .3 M¾NG N¡-RON TÍCH CHÀP .1 Mạng nơ-ron nhân tạo .2 Mạng nơ-ron tích chập .1 Mô hình tổng quan .2 Các lớp trong mô hình .3 Những vấn đề xảy ra với mô hình CNN.4 Gißi thißu máy tính nhúng kit Raspberry Pi .1 Giới thiệu ngôn ngữ lập trình Python: .2 Các thư viện sử dụng trong Python. 25 CH¯¡NG 3 THI¾T K¾ HÞ THàNG NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP TRÊN KIT RASPBERRY PI 4 .2 MÔ HÌNH HÞ THàNG .1 Sơ đồ khối của hệ thống .2 Mô hình CNN sử dụng trong hệ thống .1 Tập dữ liệu mẫu có sẵn .2 Tập dữ liệu riêng .4 QUÁ TRÌNH HUÂN LUYÞN VÀ KIÂM TRA .1 Quá trình huấn luyện .2 Quá trình kiểm tra. 35 CH¯¡NG 4 K¾T QUÀ.1 K¾T QUÀ HUÂN LUYÞN VÀ KIÂM TRA .2 ĂNG DþNG NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT TRÊN KIT RASPBERRY PI 4.

40 CH¯¡NG 5 K¾T LUÀN VÀ KI¾N NGHÞ. 53 TÀI LIÞU THAM KHÀO. 56 iii DANH MþC HÌNH Hình 2.1: Quy trình xā lý Ánh.3: Sự thay đổi đá mán cÿa hình Ánh theo kích th°ßc .4: Mát sß thông tin có thß tìm thÃy trong mát bāc Ánh khuôn mÁt .5: CÃu trúc tổng quát cÿa m¿ng n¢-ron ANN .6: Quá trình xā lý thông tin trong m¿ng .7: Hàm tổng cÿa mát và nhiÁu n¢-ron đßi vßi n input.8: Sự khác nhau giữa cÃu trúc ANN và CNN.9: Quá trình thực hiãn cÿa m¿ng CNN .10: CNN tìm những đißm t°¢ng đáng trên bāc Ánh .11: ChÁp ma trÁn Ánh vßi bá lãc 3x3.13: Maxpooling vßi bá lãc 2x2, b°ßc tr°āt bằng 2 .14: Phân lßp dữ liãu trong lßp k¿t nßi đầy đÿ .15: Ví dă minh hãa lßi quá khßp trong CNN .16: Kÿ thuÁt Drop-out giÁi quy¿t vÃn đÁ overfitting .17: Hình Ánh thực t¿ kit Raspberry Pi .18: CÃu trúc th° viãn OpenCV .1: S¢ đá khßi cÿa hã thßng.2: Ki¿n trúc m¿ng CNN đ°āc dùng trong hã thßng .3: Mát sß hình Ánh trong tÁp dữ liãu m¿u.4: Bißu đá sß l°āng cÁm xúc trong tÁp dữ liãu m¿u FERC-2013 .5: Bißu đá phân lo¿i sß l°āng cÁm xúc trong tÁp dữ liãu riêng.6: L°u đá thuÁt toán quá trình huÃn luyãn.7: L°u đá thuÁt toán quá trình kißm tra .1: Bißu đá đá chính xác qua kißm tra trong quá trình huÃn luyãn.2: Ma trÁn t°¢ng quan cÿa mô hình vßi ngõ vào là dữ liãu tÁp m¿u.3: Ma trÁn t°¢ng quan cÿa mô hình vßi ngõ vào là dữ liãu tÁp riêng .4: Camera k¿t nßi vßi kit raspberry Pi 4 .5: Giao diãn cÿa āng dăng nhÁn d¿ng cÁm xúc .6: Thông báo khi đã chãn đ°āc file.7: NhÁn d¿ng cÁm xúc < bình thường = .8: NhÁn d¿ng cÁm xúc < bình thường =tÿ mát Ánh bÃt kÿ đ°āc tÁi lên hã thßng .9: NhÁn d¿ng cÁm xúc < vui vẻ = .10: NhÁn d¿ng cÁm xúc < ngạc nhiên = .11: NhÁn d¿ng cÁm xúc < buồn = .12: NhÁn d¿ng cÁm xúc < giận dữ = .13: NhÁn d¿ng cÁm xúc < khó chịu = .14: NhÁn d¿ng cÁm xúc < sợ hãi = .15: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < buán = do bißu cÁm không rõ ràng .16: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < sợ hãi = do c°áng đá sáng quá cao và Ánh đ°āc nhÁn d¿ng bá ng°āc sáng.17: Không nhÁn d¿ng đ°āc khuôn mÁt do góc nghiêng và các đÁc tr°ng trên khuôn mÁt bá mÃt.18: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < sā hãi = do c°áng đá ánh sáng trên khuôn mÁt y¿u.19: NhÁn d¿ng cÁm xúc < bình thường = thành cÁm xúc < buán = do khuôn mÁt bá thay đổi góc nghiêng đáng thái khuôn mÁt không ngang tầm và chính diãn vßi camera. 51 vi DANH MþC BÀNG BÁng 3.1: BÁng phân lo¿i sß l°āng cÁm xúc trong tÁp dữ liãu m¿u FERC-2013 .2: BÁng phân lo¿i sß l°āng cÁm xúc trong tÁp dữ liãu riêng .1: So sánh đá chính xác qua kißm tra giữa hai mô hình.2: Đánh giá tß lã nhÁn d¿ng cÁm xúc khi kißm tra tÁp riêng.3: So sánh đá chính xác giữa hai mô hình.

40 vii CÁC TĄ VI¾T TÂT Tą vi¿t tÃt GiÁi thích 2D 2 Dimenision Hai chiÁu ANN Artificial Neural M¿ng n¢-ron nhân t¿o Network CNN Convolution Neural M¿ng n¢-ron tích chÁp Network FERC-2013 Facial Expression Cuác thi <Thā thách nhÁn d¿ng Recognition Challenge cÁm xúc khuôn mÁt nm 2013= NN Neural Network M¿ng n¢-ron PE Processing Element Phần tā xā lý PwC PricewaterhouseCoopers Công ty kißm toán cÿa Mÿ RELU Rectified Linear Unit Hàm đ¢n vá tuy¿n tính đāng RGB Red Green Blue Ba màu c¢ bÁn: Đỏ , lăc và lam GUI Graphical User Interface Giao diãn đá hãa ng°ái dùng viii Mẫu PL03- Thông tin kết quả nghiên cứu đề tài NCKH Sinh viên Bà GIÁO DĂC VÀ ĐÀO T¾O TR¯àNG ĐH S¯ PH¾M KỸ THUÀT TPHCM THÔNG TIN K¾T QUÀ NGHIÊN CĂU CĀA ĐÀ TÀI 1. Thông tin chung: - Tên đÁ tài: NHÀN D¾NG CÀM XÚC THÔNG QUA KHUÔN MÀT DÙNG M¾NG N¡-RON TÍCH CHÀP CNN. - Chÿ nhiãm đÁ tài: Nguyán Vn Phúc Mã sß SV: 16141071 - Lßp: 16141CLVTA Khoa: Đào T¿o ChÃt L°āng Cao - Thành viên đÁ tài: Stt Há và tên MSSV Lßp Khoa 1 Nguyán Vn Phúc 16141071 16141CLVTA Đào T¿o ChÃt L°āng Cao - Ng°ái h°ßng d¿n: ThS Huÿnh Thá Thu HiÁn 2. Mÿc tiêu đÁ tài: Dùng m¿ng n¢-ron đß xây dựng và huÃn luyãn mô hình m¿ng CNN đß kißm tra tính hiãu quÁ trong viãc nhÁn d¿ng cÁm xúc.

Thực hiãn sẽ xây dựng mát hã thßng nhÁn d¿ng 7 lo¿i cÁm xúc thông qua khuôn mÁt gám có: <vui vẻ= (happy), <buán= (sad), <sā hãi= (scared), <giÁn dữ= (angry), <ng¿c nhiên= (surprised), <khó cháu= (disgust) và <bình th°áng= (neutral). Tính mßi và sáng t¿o: Thi công và trißn khai hã thßng nhÁn d¿ng cÁm xúc thông qua khuôn mÁt dùng m¿ng n¢-ron tích chÁp CNN ch¿y thành công và đác lÁp vßi máy tính thông qua máy tính nhúng Raspberry Pi 4. Vßi kích th°ßc máy tính nhúng nhỏ, gãn đáp đāng yêu cầu dá dàng di chuyßn và lắp đÁt hã thßng. K¿t quÁ nghiên cău: Xây dựng thành công hã thßng nhÁn d¿ng 7 lo¿i cÁm xúc thông qua khuôn mÁt gám có: <vui vẻ= (happy), <buán= (sad), <sā hãi= (scared), <giÁn dữ= (angry), <ng¿c nhiên= (surprised), <khó cháu= (disgust) và <bình th°áng= (neutral) thông qua m¿ng n¢-ron tích chÁp, đáng thái trißn khai hã thßng ch¿y đác lÁp vßi phần cāng cÿa máy tính laptop hay PC.

Đóng góp vÁ mÁt giáo dÿc và đào t¿o, kinh t¿ - xã hßi, an ninh, quác phòng và khÁ nng áp dÿng cāa đÁ tài: Đóng góp vÁ mÁt kinh t¿ - xã hái: Có khÁ nng đánh giá māc đá hài lòng sau khi mua sÁn phẩm thông qua cÁm xúc cÿa khuôn mÁt cũng nh° có thß đ°āc áp dăng vào khÁ nng dự đoán cÁm xúc cÿa ng°ái khi đ¿n phỏng vÃn xin viãc thông qua mô hình m¿ng n¢- ron tích chÁp này. Bên c¿nh đó, nghiên cāu vÁ bißu cÁm, cÁm xúc cÿa g°¢ng mÁt trong đÁ tài này sẽ hữu ích trong viãc nghiên cāu não ng°ái và ho¿t đáng giao ti¿p xã hái, cũng nh° thi¿t k¿ các hã thßng máy tính đß giao ti¿p vßi con ng°ái. ĐÁ tài có khÁ nng phát trißn thêm đß áp dăng vào các hã thßng phân tích cÁm xúc cÿa khách hàng đß hißu rõ h¢n những điÁu mà khách hàng thích hay không thích tÿ sÁn phẩm cÿa ng°ái bán và dựa trên đó đß đ°a ra các chi¿n dách quÁng cáo, marketing cho phù hāp. Công bá khoa hác cāa SV tą k¿t quÁ nghiên cău cāa đÁ tài (ghi rõ tên tạp chí nếu có) hoÁc nhÁn xét, đánh giá cÿa c¢ sã đã áp dăng các k¿t quÁ nghiên cāu (nếu có): Không có Ngày tháng nm SV chßu trách nhißm chính thực hißn đÁ tài (kí, họ và tên) x NhÁn xét cāa ng°ái h°ßng d¿n vÁ nhĉng đóng góp khoa hác cāa SV thực hißn đÁ tài (phần này do người hướng dẫn ghi): Ngày tháng nm Ng°ái h°ßng d¿n (kí, họ và tên) xi CH¯¡NG 1 TäNG QUAN 1.1 TÌNH HÌNH NGHIÊN CĂU Hiãn nay trên th¿ gißi nói chung và t¿i Viãt Nam nói riêng, trí tuã nhân t¿o đ°āc xem là mát trong những công nghã cßt lõi cÿa cuác cách m¿ng công nghiãp 4.

NhiÁu qußc gia bắt đầu ghi nhÁn xu th¿ phát trißn tÃt y¿u và tác đáng chuyßn đổi to lßn cÿa trí tuã nhân t¿o trong mãi mÁt đái sßng xã hái, tÿ thay đổi cán cân quyÁn lực kinh t¿, đ¿n cÁ quân sự và chính trá. Đß đÁm bÁo ti¿p tăc phát trißn kinh t¿ - xã hái, đem l¿i thánh v°āng cho qußc gia, bên c¿nh viãc tÁn dăng hiãu quÁ những thành tựu phát trißn cÿa trí tuã nhân t¿o và tự đáng hóa, nhiÁu n°ßc đã đ°a ra nhiÁu giÁi pháp phù hāp cho ti¿n trình chuyßn đổi nhanh chóng và m¿nh mẽ cÿa cuác cách m¿ng công nghiãp 4. Sau h¢n 30 nm đổi mßi, Viãt Nam đã có b°ßc phát trißn m¿nh mẽ, trã thành nÁn kinh t¿ hái nhÁp, nng đáng, hÃp d¿n đầu t° trong khu vực.