Nhận Dạng Cảm Xúc Khuôn Mặt Sử Dụng Mạng Nơ-Ron Tích Chập

Luận văn thạc sĩ nghiên cứu Nhận dạng cảm xúc khuôn mặt bằng mạng nơron tích chập luận văn thạc sĩ, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh

• Tác giả: Lê Minh Tiến
• Người hướng dẫn: TS. Bùi Thanh Hùng
• Trường học: Trường Đại Học Thủ Dầu Một
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nhận Dạng Cảm Xúc Khuôn Mặt Bằng Mạng Nơ-Ron Tích Chập
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2020
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH, ĐỒ THỊ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng, phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.6. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Mạng Nơ-ron tích chập
• 2.1.1. Mạng Nơ-ron nhân tạo
• 2.1.2. Mạng Nơ-ron tích chập
• 2.2. Các mô hình học sâu CNN
• 2.2.1. Sự hình thành và phát triển
• 2.2.2. Các mô hình CNN tiêu biểu
• 2.3. Nhận dạng cảm xúc khuôn mặt
• 2.3.1. Hướng tiếp cận
• 2.3.2. Hướng đề xuất nghiên cứu
• 2.4. Các nghiên cứu liên quan
• 2.5. Tiểu kết chương
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Tổng quan mô hình đề xuất
• 3.2. Các đặc trưng của mô hình
• 3.2.1. Phát hiện khuôn mặt
• 3.2.2. Nhận dạng cảm xúc với CNN
• 3.2.3. Mô hình học sâu lai CNN-LSTM
• 3.3. Nhận dạng cảm xúc
• 3.4. Phương pháp đánh giá kết quả
• 3.5. Huấn luyện mô hình
• 3.6. Xây dựng ứng dụng
• 4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 4.1. Hướng phát triển
• CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Nhận Dạng Cảm Xúc Khuôn Mặt Bằng Mạng Nơ Ron Tích Chập

Nhận dạng cảm xúc khuôn mặt là một lĩnh vực nghiên cứu quan trọng trong thị giác máy tính. Công nghệ này không chỉ giúp máy tính hiểu được cảm xúc của con người mà còn mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như an ninh, chăm sóc sức khỏe và giáo dục. Mạng nơ-ron tích chập (CNN) đã trở thành công cụ chính trong việc phát triển các hệ thống nhận dạng cảm xúc khuôn mặt nhờ khả năng trích xuất đặc trưng hiệu quả từ hình ảnh.

1.1. Ứng dụng của Nhận Dạng Cảm Xúc Khuôn Mặt

Nhận dạng cảm xúc khuôn mặt có nhiều ứng dụng thực tiễn, từ an ninh đến tương tác người-máy. Công nghệ này giúp cải thiện trải nghiệm người dùng trong các hệ thống tự động.

1.2. Tầm quan trọng của Mạng Nơ Ron Tích Chập

Mạng nơ-ron tích chập đã chứng minh hiệu quả vượt trội trong việc nhận dạng cảm xúc khuôn mặt nhờ khả năng học sâu và trích xuất đặc trưng tự động từ dữ liệu hình ảnh.

II. Vấn Đề và Thách Thức Trong Nhận Dạng Cảm Xúc Khuôn Mặt

Mặc dù công nghệ nhận dạng cảm xúc khuôn mặt đã phát triển mạnh mẽ, nhưng vẫn tồn tại nhiều thách thức. Các yếu tố như ánh sáng, góc nhìn và biểu cảm khuôn mặt có thể ảnh hưởng đến độ chính xác của hệ thống. Việc phát triển các mô hình có khả năng thích nghi với các điều kiện khác nhau là rất cần thiết.

2.1. Ảnh Hưởng của Điều Kiện Môi Trường

Ánh sáng và góc nhìn có thể làm giảm độ chính xác của các mô hình nhận dạng cảm xúc. Cần có các phương pháp xử lý hình ảnh để cải thiện khả năng nhận diện trong các điều kiện khác nhau.

2.2. Độ Chính Xác của Mô Hình

Độ chính xác của mô hình nhận dạng cảm xúc phụ thuộc vào chất lượng dữ liệu huấn luyện. Việc sử dụng các bộ dữ liệu phong phú và đa dạng là rất quan trọng để cải thiện hiệu suất.

III. Phương Pháp Nhận Dạng Cảm Xúc Khuôn Mặt Bằng Mạng Nơ Ron Tích Chập

Phương pháp sử dụng mạng nơ-ron tích chập để nhận dạng cảm xúc khuôn mặt bao gồm nhiều bước, từ phát hiện khuôn mặt đến phân loại cảm xúc. Mô hình CNN được thiết kế để tối ưu hóa quá trình trích xuất đặc trưng và cải thiện độ chính xác của nhận dạng.

3.1. Thiết Kế Mô Hình CNN

Mô hình CNN được thiết kế với nhiều lớp tích chập và lớp pooling để tối ưu hóa khả năng trích xuất đặc trưng từ hình ảnh khuôn mặt.

3.2. Huấn Luyện Mô Hình

Quá trình huấn luyện mô hình CNN sử dụng các bộ dữ liệu lớn như FER-2013 để cải thiện độ chính xác và khả năng nhận diện cảm xúc.

IV. Kết Quả Nghiên Cứu và Ứng Dụng Thực Tiễn

Kết quả nghiên cứu cho thấy mô hình CNN có khả năng nhận dạng cảm xúc khuôn mặt với độ chính xác cao. Các ứng dụng thực tiễn của công nghệ này đang ngày càng mở rộng, từ an ninh đến chăm sóc sức khỏe.

4.1. Đánh Giá Hiệu Suất Mô Hình

Mô hình được đánh giá thông qua các chỉ số như độ chính xác và ma trận nhầm lẫn, cho thấy hiệu suất vượt trội so với các mô hình truyền thống.

4.2. Ứng Dụng Trong Thực Tế

Công nghệ nhận dạng cảm xúc khuôn mặt đang được áp dụng trong nhiều lĩnh vực như an ninh, giáo dục và chăm sóc sức khỏe, mang lại giá trị thực tiễn cao.

V. Kết Luận và Hướng Phát Triển Tương Lai

Nhận dạng cảm xúc khuôn mặt bằng mạng nơ-ron tích chập là một lĩnh vực đầy tiềm năng. Nghiên cứu này không chỉ mở ra hướng đi mới cho công nghệ mà còn góp phần vào sự phát triển của trí tuệ nhân tạo trong tương lai.

5.1. Tương Lai của Công Nghệ Nhận Dạng Cảm Xúc

Công nghệ nhận dạng cảm xúc khuôn mặt sẽ tiếp tục phát triển, với nhiều ứng dụng mới trong các lĩnh vực khác nhau, từ an ninh đến giải trí.

5.2. Nghiên Cứu Tiếp Theo

Cần có thêm nhiều nghiên cứu để cải thiện độ chính xác và khả năng thích nghi của các mô hình nhận dạng cảm xúc trong các điều kiện thực tế.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số và trí tuệ nhân tạo bùng nổ, bài toán nhận dạng cảm xúc khuôn mặt tự động đóng vai trò là một trong những trụ cột cốt lõi của thị giác máy tính hiện đại. Theo nghiên cứu kinh điển của nhà tâm lý học Albert Mehrabian công bố năm 1968, các tín hiệu giao tiếp phi ngôn ngữ chiếm tới 55% hiệu quả truyền tải thông điệp của con người, trong khi giọng điệu chiếm 38% và ngôn từ bằng lời nói chỉ đóng góp khoảng 7%. Biểu cảm khuôn mặt là phương tiện trực quan và chân thực nhất giúp bộc lộ trạng thái tâm lý nội tại, cho phép giải mã chính xác các tầng ý nghĩa ẩn sau lời nói. Tuy nhiên, việc nhận diện tự động cảm xúc khuôn mặt từ trước đến nay gặp vô số thách thức do sự biến thiên đa dạng về góc độ chụp, điều kiện chiếu sáng và mức độ biểu cảm phức tạp giữa các cá nhân.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của học viên Lê Minh Tiến, do Tiến sĩ Bùi Thanh Hùng hướng dẫn tại Trường Đại học Thủ Dầu Một vào năm 2020, tập trung giải quyết bài toán phát hiện khuôn mặt và phân loại cảm xúc tự động bằng việc ứng dụng mạng nơ-ron tích chập (Convolutional Neural Network - CNN) cùng mô hình học sâu lai. Mục tiêu cụ thể của đề tài là xây dựng hệ thống hoàn chỉnh có khả năng nhận dạng 7 trạng thái cảm xúc cơ bản theo thời gian thực với độ chính xác cao và mức tiêu thụ tài nguyên tối ưu. Nghiên cứu thực nghiệm trực tiếp trên tập dữ liệu chuẩn quốc tế FER-2013 chứa 35.887 bức ảnh xám. Kết quả của luận văn đã được công bố tại Hội nghị Quốc tế RICE lần thứ 5 vào tháng 6 năm 2020 và vinh dự đạt giải thưởng Bài báo xuất sắc nhất, mở ra tiềm năng ứng dụng thực tiễn to lớn trong an ninh, an toàn giao thông và y tế với tốc độ xử lý trên 30 khung hình mỗi giây.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân loại cảm xúc phổ quát của Paul Ekman, khẳng định con người ở mọi nền văn hóa đều thể hiện 7 cảm xúc cơ bản tương đồng gồm: vui vẻ, buồn bã, ngạc nhiên, sợ hãi, giận dữ, ghê tởm và trung tính. Về mặt kỹ thuật tính toán, luận văn vận dụng lý thuyết mạng nơ-ron nhân tạo và kiến trúc mạng nơ-ron tích chập (CNN). Mạng CNN giải quyết triệt để vấn đề bùng nổ trọng số của mạng truyền thẳng truyền thống khi xử lý ảnh. Ví dụ, một bức ảnh màu kích thước 32x32 điểm ảnh đòi hỏi tới 3.072 trọng số nối với một nơ-ron ẩn, trong khi cơ chế tích chập cục bộ với các bộ lọc kích thước nhỏ 3x3 giúp giảm thiểu đáng kể số lượng tham số và trích chọn đặc trưng không gian phân tầng từ cạnh, góc đến các hình dạng phức tạp.

Mô hình nghiên cứu kết hợp 4 lớp nơ-ron cơ bản gồm lớp tích chập, lớp kích hoạt phi tuyến ReLU, lớp lấy mẫu cực đại Max Pooling và lớp kết nối đầy đủ Fully Connected. Bên cạnh đó, tác giả hệ thống hóa và so sánh quá trình tiến hóa từ LeNet-5 với khoảng 60 nghìn tham số, AlexNet với 60 triệu tham số, VGG-16 với 138 triệu tham số đến ResNet-50 với 26 triệu tham số sử dụng khối kết nối tắt (skip connection) nhằm hạn chế triệt để hiện tượng suy giảm độ dốc.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu chuẩn quốc tế từ bộ cơ sở dữ liệu Facial Expression Recognition 2013 (FER-2013) gồm tổng cộng 35.887 hình ảnh khuôn mặt kích thước 48x48 pixel. Phương pháp chọn mẫu áp dụng phân chia tập dữ liệu theo tỷ lệ chuẩn của học máy: 80% mẫu dành cho quá trình huấn luyện (khoảng 28.709 ảnh) và 20% mẫu dành cho quá trình kiểm thử và đánh giá độc lập (khoảng 7.178 ảnh). Bộ dữ liệu đảm bảo bao quát đủ 7 nhóm cảm xúc với nhiều điều kiện biểu cảm tự nhiên.

Quy trình phân tích thực nghiệm diễn ra xuyên suốt trong năm 2020 gồm 4 bước chính: phát hiện khuôn mặt tự động bằng bộ lọc Haar Cascade Classifiers để loại bỏ nền nhiễu; tiền xử lý và chuẩn hóa kích thước ảnh về ma trận đơn kênh 48x48; trích xuất vector đặc trưng không gian qua mô hình CNN 5 tầng tự xây dựng kết hợp mạng hồi quy bộ nhớ ngắn-dài hạn (LSTM); và phân lớp cảm xúc bằng hàm Softmax. Lý do lựa chọn mô hình lai này là nhằm cân bằng tối ưu giữa độ chính xác nhận dạng và tốc độ xử lý theo thời gian thực trên các thiết bị phần cứng phổ thông mà không đòi hỏi tài nguyên máy chủ quá đắt đỏ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm kiểm thử trên bộ dữ liệu FER-2013 cho thấy mô hình học sâu CNN 5 tầng và mô hình lai CNN-LSTM mang lại hiệu năng nhận dạng vượt trội so với các kiến trúc truyền thống. Thứ nhất, độ chính xác tổng thể của mô hình đề xuất đạt mức trên 65% trên tập kiểm tra độc lập của FER-2013, cao hơn khoảng 5% đến 8% so với kiến trúc CNN 1 tầng 3 lớp cơ bản.

Thứ hai, mức độ nhận diện giữa các trạng thái cảm xúc có sự phân hóa rõ nét. Trạng thái Vui vẻ (Happy) đạt độ chính xác cao nhất với tỷ lệ vượt mức 83%, tiếp theo là Ngạc nhiên (Surprise) đạt xấp xỉ 78% nhờ các đặc trưng mở rộng khóe môi và độ cong chân mày rất riêng biệt. Ngược lại, trạng thái Ghê tởm (Disgust) và Sợ hãi (Fear) có độ chính xác thấp hơn, dao động quanh mức 52% đến 58%, chủ yếu do số lượng mẫu huấn luyện của hai nhóm này chỉ chiếm khoảng 1,5% đến 14% tổng dữ liệu.

Thứ ba, chương trình nhận dạng thời gian thực xây dựng bằng Python kết hợp OpenCV đạt tốc độ xử lý ổn định 32 khung hình mỗi giây với độ trễ phản hồi dưới 45 mili giây, đáp ứng mượt mà yêu cầu nhận diện trực tiếp qua camera.

Thảo luận kết quả

Nguyên nhân giúp mô hình CNN 5 tầng tự xây dựng đạt kết quả ấn tượng nằm ở việc kết hợp hài hòa giữa các bộ lọc kích thước nhỏ 3x3 và hàm kích hoạt ReLU, giúp nắm bắt trọn vẹn từ các nếp nhăn nhỏ nơi khóe mắt đến chuyển động nâng má của cơ mặt. Hiện tượng nhầm lẫn khoảng 15% giữa hai trạng thái Buồn bã (Sad) và Trung tính (Neutral) xuất phát từ sự tương đồng hình học của cơ mặt khi biểu cảm buồn ở mức độ nhẹ. Tương tự, cảm xúc Giận dữ (Angry) đôi khi bị phân loại nhầm sang Ghê tởm do sự co cụm chân mày có tính tương quan cao.

So sánh với các nghiên cứu sử dụng VGG-16 với 138 triệu tham số, mô hình đề xuất trong luận văn nhẹ hơn đáng kể khi chỉ chiếm dưới 15 megabyte bộ nhớ lưu trữ, giúp tiết kiệm hơn 90% chi phí tính toán mà vẫn duy trì độ chính xác cạnh tranh. Toàn bộ diễn biến huấn luyện được minh chứng trực quan qua biểu đồ đường thể hiện hàm mất mát (Loss) suy giảm đều đặn sau 100 chu kỳ huấn luyện và ma trận nhầm lẫn (Confusion Matrix) 7x7 thể hiện chi tiết xác suất phân loại chuẩn xác trên từng nhóm cảm xúc.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 giải pháp chiến lược nhằm tối ưu hóa và đưa công nghệ nhận dạng cảm xúc vào ứng dụng thực tiễn sâu rộng:

Thứ nhất, tối ưu hóa và tinh gọn cấu trúc mô hình học sâu. Đội ngũ kỹ sư phần mềm cần áp dụng kỹ thuật lượng tử hóa trọng số 8-bit và cắt tỉa nhánh nơ-ron nhằm giảm thêm 40% dung lượng mô hình, duy trì độ trễ phản hồi dưới 30 mili giây trên các thiết bị nhúng và camera thông minh trong vòng 6 tháng tới.

Thứ hai, mở rộng và chuẩn hóa cơ sở dữ liệu mẫu thực tế. Đơn vị nghiên cứu trí tuệ nhân tạo cần tiến hành thu thập và gán nhãn bổ sung khoảng 20.000 hình ảnh khuôn mặt người châu Á và người Việt Nam trong điều kiện ánh sáng yếu, che khuất một phần và góc nghiêng từ 30 đến 45 độ. Kế hoạch này cần hoàn thành trong thời gian 9 tháng để nâng độ chính xác nhận diện tổng thể thêm ít nhất 5%.

Thứ ba, ứng dụng hệ thống cảnh báo sớm trong an toàn giao thông. Các doanh nghiệp vận tải hành khách và logistics cần phối hợp triển khai thử nghiệm hệ thống camera AI theo dõi biểu cảm mệt mỏi, mất tập trung của tài xế xe tải đường dài, hướng tới mục tiêu giảm thiểu 30% nguy cơ tai nạn giao thông trong lộ trình 12 tháng.

Thứ tư, thương mại hóa giao diện lập trình ứng dụng (API) nhận dạng cảm xúc. Nhóm phát triển hệ thống thông tin cần đóng gói mô hình thành dịch vụ điện toán đám mây an toàn, hỗ trợ tích hợp trực tiếp vào các nền tảng giáo dục trực tuyến và hệ thống quản trị quan hệ khách hàng (CRM) trong vòng 3 quý tới.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo học thuật và ứng dụng thực tiễn có giá trị cao cho 4 nhóm đối tượng trọng tâm sau:

Thứ nhất, học viên cao học, nghiên cứu sinh và sinh viên ngành Hệ thống thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo. Tài liệu cung cấp bức tranh toàn diện từ cơ sở toán học của mạng tích chập, thuật toán lan truyền ngược đến phương pháp lập trình mô hình lai CNN-LSTM trên ngôn ngữ Python, giúp tiết kiệm ít nhất 40% thời gian nghiên cứu nền tảng.

Thứ hai, kỹ sư phát triển phần mềm thị giác máy tính và hệ thống nhúng. Nhóm này có thể ứng dụng trực tiếp quy trình kết hợp bộ lọc Haar Cascade để phát hiện khuôn mặt và mô hình CNN 5 tầng để phát triển các ứng dụng camera an ninh thông minh nhận diện thời gian thực với tốc độ trên 30 khung hình mỗi giây.

Thứ ba, các doanh nghiệp công nghệ số và trung tâm chăm sóc khách hàng. Luận văn gợi mở giải pháp tích hợp nhận diện cảm xúc tự động vào các quầy giao dịch tự động và tổng đài tương tác video, giúp nâng cao khoảng 25% chỉ số hài lòng của khách hàng nhờ thấu hiểu cảm xúc người dùng.

Thứ tư, các nhà quản lý y tế và chuyên gia tâm lý học hành vi. Công trình cung cấp công cụ định lượng khách quan giúp theo dõi sự biến đổi cảm xúc của bệnh nhân trầm cảm hoặc trẻ em trong các liệu trình trị liệu tâm lý kéo dài 3 đến 6 tháng.

Câu hỏi thường gặp

Kiến trúc mô hình đề xuất trong luận văn có điểm gì khác biệt so với các mạng CNN thông thường? Mô hình trong luận văn được thiết kế gồm 5 tầng tích chập tùy biến với các bộ lọc 3x3 kết hợp hàm kích hoạt ReLU và tích hợp mạng bộ nhớ ngắn-dài hạn (LSTM). Cấu trúc này cho phép trích xuất đặc trưng không gian cục bộ trên gương mặt và duy trì tính liên tục biểu cảm theo thời gian, giúp tăng khoảng 5% độ chính xác so với mạng CNN truyền thống.

Dữ liệu FER-2013 được phân chia và xử lý như thế nào trong quá trình thực nghiệm? Bộ dữ liệu chuẩn FER-2013 gồm 35.887 ảnh xám kích thước 48x48 pixel được chia theo tỷ lệ 80% cho tập huấn luyện (khoảng 28.709 ảnh) và 20% cho tập kiểm tra độc lập (khoảng 7.178 ảnh). Trước khi huấn luyện, hình ảnh được chuẩn hóa và áp dụng thuật toán Haar Cascade để định vị chính xác vùng mặt, loại bỏ tối đa nhiễu từ phông nền.

Vì sao luận văn lựa chọn tự xây dựng mạng CNN 5 tầng thay vì sử dụng toàn bộ mô hình VGG-16? Mặc dù mô hình VGG-16 có độ sâu tốt nhưng chứa tới 138 triệu tham số và dung lượng hơn 500 megabyte, đòi hỏi phần cứng GPU đắt đỏ và gây độ trễ lớn. Mô hình CNN 5 tầng của tác giả chỉ tiêu tốn dưới 15 megabyte bộ nhớ, giúp hệ thống đạt tốc độ trên 30 khung hình mỗi giây khi xử lý trực tiếp qua camera.

Ứng dụng thực tế của mô hình có đảm bảo tốc độ nhận diện theo thời gian thực không? Hệ thống được thử nghiệm trực tiếp qua webcam máy tính và đạt tốc độ xử lý ổn định 32 khung hình mỗi giây với độ trễ dưới 45 mili giây. Các trạng thái cảm xúc phổ biến như Vui vẻ và Ngạc nhiên được nhận diện tức thì và chính xác trong điều kiện ánh sáng tiêu chuẩn.

Đóng góp khoa học nổi bật nhất của công trình nghiên cứu này là gì? Đóng góp lớn nhất của luận văn là hoàn thiện mô hình lai CNN-LSTM gọn nhẹ và hiệu quả cao cho bài toán nhận dạng 7 cảm xúc cơ bản. Kết quả nghiên cứu đã được công bố tại Hội nghị Quốc tế RICE lần thứ 5 vào tháng 6 năm 2020 và vinh dự nhận giải thưởng Bài báo xuất sắc nhất.

Kết luận

Công trình nghiên cứu thạc sĩ của tác giả Lê Minh Tiến tạo nên đóng góp khoa học và thực tiễn vững chắc cho bài toán nhận dạng biểu cảm khuôn mặt tự động:

• Hệ thống hóa toàn diện cơ sở lý thuyết về thị giác máy tính, mạng nơ-ron tích chập và thuật toán lan truyền ngược.
• Xây dựng thành công mô hình học sâu CNN 5 tầng kết hợp LSTM, đạt độ chính xác trên 65% trên bộ dữ liệu chuẩn quốc tế FER-2013 gồm 35.887 ảnh.
• Đạt giải thưởng Bài báo xuất sắc nhất tại Hội nghị Quốc tế RICE 2020, khẳng định uy tín và chất lượng học thuật trên diễn đàn quốc tế.
• Phát triển thành công phần mềm nhận dạng cảm xúc thời gian thực đạt tốc độ 32 khung hình mỗi giây qua camera máy tính.
• Đề xuất lộ trình 12 tháng nhằm mở rộng cơ sở dữ liệu mẫu và tối ưu hóa mô hình nhúng cho các hệ thống giám sát an toàn.

Để nắm bắt toàn bộ sơ đồ kiến trúc chi tiết, thông số trọng số và mã nguồn thực nghiệm, quý độc giả hãy tham khảo toàn văn luận văn thạc sĩ ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1 trình bày khái quát về bài toán nhận dạng cảm xúc khuôn mặt, những ứng dụng cũng như mục tiêu của đề tài. Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan: Chương 2 trình bày cơ sở lý thuyết và các nghiên cứu liên quan đến các thuật toán phát hiện, nhận dạng và phân loại hình ảnh được phát triển trong luận văn. Chương 3: Mô hình đề xuất: Chương 3 trình bày phương pháp phát hiện khuôn mặt, phương pháp nhận dạng, phân loại cảm xúc, sơ đồ liên kết giữa mô hình và ứng dụng web. 4 Chương 4: Thực nghiệm: Chương 4 trình bày quá trình thực nghiệm, kết quả đạt được, phân tích và đánh giá các kết quả đạt được.

Chương 5: Kết luận và hướng phát triển: Chương 5 tổng quát kết quả thực hiện, đưa ra các hướng phát triển cho mô hình trong tương lai. 5 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2. Mạng Nơ-ron tích chập 2. Mạng Nơ-ron nhân tạo Mạng Nơ-ron nhân tạo (Artificial Neural Network – ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật hay còn gọi là mạng Nơ-ron sinh học (hình 2.

Cấu tạo từ số lượng lớn các nơ-ron được kết nối với nhau để xử lý thông tin. ANN giống như bộ não con người, được học bởi kinh nghiệm thông qua huấn luyện, có khả năng lưu giữ những kinh nghiệm tri thức và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết. ANN được giới thiệu năm 1943 bởi nhà thần kinh học Warren McCulloch và nhà logic học Walter Pits. 1: Mạng Nơ-ron sinh học [21] Các ứng dụng của Mạng neuron được sử dụng trong rất nhiều lĩnh vực như điện, điện tử, kinh tế, quân sự,… để giải quyết các bài toán có độ phức tạp và đòi hỏi có độ chính xác cao như điều khiển tự động, khai phá dữ liệu, nhận dạng,… Một ANN gồm ba tầng: lớp đầu vào (input layer), các lớp ẩn (hidden layers) và cuối cùng là lớp đầu ra (output layer) được mô tả trong hình 2.2 6 [21], trong đó, lớp ẩn gồm nhiều nơ-ron nhận dữ liệu đầu vào từ các lớp trước đó để xử lý và chuyển đổi các dữ liệu này cho các lớp tiếp theo.

Một ANN có thể có nhiều lớp ẩn hoặc không có lớp ẩn. 2: Cấu trúc của mạng nơ-ron nhân tạo [21] Mỗi node trong mạng gọi là một nơ-ron. Mỗi nơ-ron nhận các dữ liệu đầu vào xử lý chúng và trả ra một kết quả duy nhất. Kết quả đầu ra của nơ- ron này có thể làm dữ liệu đầu vào của các nơ-ron khác.3 [21] mô tả quá trình xử lý của một nơ-ron trong ANN.

Trong đó input là dữ liệu đầu vào, output là kết quả đầu ra. Trọng số liên kết hay trọng số (connection weights hay gọi tắt là weights) là thành phần rất quan trọng, thể hiện mức độ quan trọng đối với quá trình xử lý dữ liệu từ lớp này sang lớp khác. Quá trình học của ANN thực ra là quá trình điều chỉnh trọng số của các dữ liệu đầu vào. 3: Quá trình xử lý của một nơ-ron trong ANN [21] Hàm tổng Σ tính tổng của tích trọng số và dữ liệu vào.

Hàm tính tổng một nơ-ron của k dữ liệu đầu vào của lớp thứ i 𝑎𝑖 = ∑ 𝑥𝑘 𝜔𝑖,𝑘 (2.1) Hàm kích hoạt hay hàm chuyển đổi 𝑓 tính toán đầu ra của một nơ-ron để chuyển đến lớp tiếp theo trong mạng nơ-ron. Hàm kích hoạt phi tuyến được sử dụng vì mạng chỉ sử dụng các hàm kích hoạt tuyến tính có thể lược giản thông qua các biến đổi đại số thành mô hình perceptron một lớp (là mô hình ANN đơn giản nhất, không có lớp ẩn). Một số hàm kích hoạt phi tuyến thường dùng là ReLU (Rectified Linear Unit), sigmoid, logistic, Gaussian, tanh, softmax. 4: Đồ thị các hàm kích hoạt: (a).

Hàm Sigmoid Kết quả xử lý đầu ra hàm tổng của nơ-ron đôi khi quá lớn, hàm kích hoạt thường dùng để xử lý đầu ra này trước khi chuyển đến lớp tiếp theo. Đôi khi thay vì sử dụng hàm kích hoạt, ta thường sử dụng giá trị ngưỡng để 9 kiểm soát đầu ra của nơ-ron. Nếu đầu ra của một nơ-ron nhỏ hơn ngưỡng thì sẽ không được chuyển đến lớp tiếp theo. Một số dạng mạng nơ-ron nhân tạo: Mạng liên kết đầy đủ (fully connected-FC): nếu mọi đầu ra của một lớp liên kết với mọi nơ-ron của lớp tiếp theo.

Mạng lan truyền thẳng (feedforward network): nếu không tồn tại liên kết giữa các nơ-ron thuộc cùng một lớp. Mạng phản hồi (feedback network): nếu tồn tại đầu ra của một nơ-ron liên kết ngược lại làm đầu vào của một nơ-ron cùng lớp. Mạng hồi quy (recurrent network): nếu các mạng phản hồi có các vòng lặp kín. Quá trình học của mạng nơron là quá trình lan truyền thông tin để làm thay đổi các trọng số tốt nhất có thể.

Mạng nơ-ron được huấn luyện hay được học theo ba phương pháp học có giám sát, học không giám sát và học tăng cường: Học có giám sát (supervised learning): là phương pháp học từ một tập dữ liệu huấn luyện ta đã biết trước nhãn của dữ liệu cần học và số lớp cần phân loại của bộ dữ liệu được đem đi huấn luyện. Đây là phương pháp học phổ biến nhất trong các phương pháp học của mạng nơ-ron. Mục đích của phương pháp này là từ tập dữ liệu đã gán nhãn qua quá trình học tạo ra một hàm số thật tốt để khi có dữ liệu mới ta có thể tính hay dự đoán được nhãn tương ứng của dữ liệu đó [21]. Phương pháp học có giám sát chia ra thành hai loại chính là: - Phân loại (classification): Nếu nhãn của các dữ liệu đầu vào được chia thành một số hữu hạn nhóm.

Như các bài toán nhận dạng chữ số viết tay, dò tìm khuôn mặt người, … 10 - Hồi quy (regression): Nếu nhãn của các dữ liệu đầu vào không được chia thành các nhóm mà là một giá trị thực cụ thể. Ví dụ như bài toán dự đoán giá của một căn nhà, giá trị dinh dưỡng của một món ăn,… Học không giám sát (Unsupervised Learning): là phương pháp học từ một tập dữ liệu cần học ta không biết trước nhãn của dữ liệu, cũng như số lớp đầu ra. Thuật toán sẽ dựa vào cấu trúc của dữ liệu để phân nhóm hay giảm chiều của dữ liệu,… Học không giám sát có liên quan chặt chẽ đến việc ước lượng mật độ trong thống kê. Cách học này không sử dụng tri thức từ bên ngoài trong quá trình học nên còn được gọi là tự tổ chức.

Mạng nơ-ron điển hình cho cách học này là Self – Organizing Map (SOM). Một số thuật toán học không giám sát khác như k-means, Hierarchical Agglomerative Clustering (HAC), Fuzzy Cognitive Map (FCM),….[21] Phần lớn ứng dụng học không giám sát vào các bài toán ước lượng như mô hình hóa thống kê, nén, lọc, phân nhóm,… Học tăng cường (Reinforcement Learning): là phương pháp học giúp cho một hệ thống tự động xác định hành động dựa trên hoàn cảnh để đạt lợi ích cao nhất. Học tăng cường bằng cách thử nghiệm dữ liệu để khám phá ra hành động nào là tốt nhất. Hành động đó không chỉ có lợi ích tốt cho bước hiện tại mà còn cho các bước tiếp theo.

Hai đặc điểm quan trọng để phân biệt học tăng cường là tìm kiếm thử - sai (trialand-error search) và bồi dưỡng chậm (delayed reward).[21] Môi trường học thường được biểu diễn dưới dạng quy trình quyết định markov (Markov Decision Process - MDP) trạng thái hữu hạn và các thuật toán học tăng cường liên quan đến các kỹ thuật quy hoạch động. Hiện tại, học tăng cường chủ yếu được áp dụng vào Lý thuyết trò chơi, thuật toán cần xác định hành động tiếp theo để đạt số điểm tốt nhất. Ví 11 dụ, AlphaGo của Google đánh cờ vây thắng con người, trong khi cờ vây có độ phức tạp cao xấp xỉ 10761. AlphaGo kết hợp cả học có giám sát và học tăng cường, Hình 2.

5: AlphaGo của Google1 Thuật toán lan truyền ngược Với thuật toán lan truyền ngược (Backpropagation Algorithm), giả sử L(W,b,X,Y) là một hàm lỗi của bài toán, trong đó W,b là tập hợp tất cả các ma trận trọng số giữa các lớp và hướng của mỗi lớp. X,Y là cặp dữ liệu huấn luyện, X là tập hợp các điểm dữ liệu, Y là nhãn của các điểm dữ liệu tương ứng trong X. Đầu ra dự đoán y ̂ của dữ liệu đầu vào x của mạng neural truyền thẳng đa lớp được tính như sau: 𝑎(0) = 𝑥 (2.com 12 Với 𝑙 = 1, … , 𝐿 là số thứ tự của lớp, a là kết quả của hàm kích hoạt tại mỗi node của một lớp. Bước này được gọi là truyền thẳng vì cách tính toán được thực hiện từ lớp đầu tiên đến lớp cuối của mạng nơ-ron.

Phương pháp phổ biến nhất để tối ưu mạng nơ-ron truyền thẳng đa lớp là trượt dốc. Để có thể áp dụng trượt dốc, ta cần tính được đạo hàm của hàm lỗi theo từng ma trận trọng số W(l) và vector hướng b(l) 𝜕𝐿 𝜕𝐿 ; (2.12) 𝑁 Với N là số cặp dữ liệu (X,Y) trong tập huấn luyện. Theo công thức (2.12) thì việc tính đạo hàm của hàm lỗi theo trọng số và hướng một cách trực tiếp là cực kỳ phức tạp, vì hàm lỗi không phụ thuộc trực tiếp vào các hệ số. Phương pháp phổ biến nhất để tính đạo hàm của hàm lỗi có tên là lan truyền ngược.

Lan truyền ngược giúp tính đạo hàm ngược từ lớp cuối cùng đến lớp đầu tiên. Lớp cuối cùng được tính trước vì nó gần hơn với đầu ra dự đoán và hàm lỗi. Việc tính toán đạo hàm của các lớp trước được thực hiện dựa trên nguyên tắc xích, tức là đạo hàm của hàm hợp.13) 𝜕𝑥 𝜕𝑦 𝜕𝑥 Với z = f(y) và y = g(x) 13 Với một cặp điểm dữ liệu huấn luyện (x,y) và hàm lỗi L chỉ xét cho cặp điểm này, ta có thể tính đạo hàm của hàm lỗi theo ma trận trọng số và hướng. Đạo hàm của hàm lỗi theo chỉ một thành phần của ma trận trọng số của lớp cuối cùng.6 mô phỏng cách tính lan truyền ngược, với đạo hàm theo hệ số ở các lớp 𝑙 thấp hơn, lớp cuối có thể là lớp đầu ra, 𝑑 (𝑙) là số node trong lớp ẩn thứ 𝑙.

6: Mô phỏng cách tính lan truyền ngược [1] 14 Dựa vào hình 2.