Luận Văn Thạc Sĩ Về Nhận Dạng Cảm Xúc Mặt Người Theo Thời Gian Thực

Khám phá luận văn thạc sĩ về tự động hóa nhận dạng cảm xúc mặt người theo thời gian thực, ứng dụng công nghệ trong phân tích tâm lý.

• Tác giả: Tràn Mạnh Sơn
• Người hướng dẫn: GVC. TS Nguyễn Đức Thành
• Trường học: Đại Học Bách Khoa
• Chuyên ngành: Tự Động Hóa
• Đề tài: Nhận Dạng Cảm Xúc Mặt Người Thời Gian Thực Trong Tự Động Hóa
• Loại tài liệu: luận văn cao học
• Năm xuất bản: 2009
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. ĐẶT VẤN ĐỀ
• 1.2. NHỮNG CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 1.2.1. CÁC CÔNG TRÌNH NGHIÊN CỨU TRONG NƯỚC
• 1.2.1.1. Luận văn: “Các phương pháp nhận dạng mặt người”
• 1.2.1.2. Nhận dạng mặt người dùng gabor wavelets
• 1.2.2. CÁC CÔNG TRÌNH NGHIÊN CỨU Ở NƯỚC NGOÀI
• 1.2.2.1. Mạng neural nhận dạng mặt người
• 1.2.2.2. Hệ thống chuyên gia cho phân tích tự động cảm xúc
• 1.2.2.3. Hệ thống trích đặc trưng cảm xúc tự động
• 1.2.2.4. Hệ thống nhận diện cảm xúc dựa trên FED (Facial Expression Dictionary)
• 1.2.2.5. Hệ thống mã hoá cảm xúc (Facial Action Coding System - FACS)
• 1.2.2.6. Hệ thống tự động nhận dạng cảm xúc (Eigenexpressions for Facial Expression)
• 1.3. NHẬN DẠNG CẢM XÚC MẶT NGƯỜI - CÁC CÔNG TRÌNH ĐÃ NGHIÊN CỨU
• 1.4. MỤC TIÊU CỦA LUẬN VĂN
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ THUẬT TOÁN NHẬN DẠNG
• 2.1. LÝ THUYẾT VỀ ẢNH SỐ
• 2.1.1. Khái niệm về phần tử ảnh
• 2.1.2. Cấu trúc một file ảnh
• 2.1.3. Ảnh trắng đen hay ảnh nhị phân
• 2.1.4. Ảnh màu và mô hình màu RGB
• 2.1.5. Hệ toạ độ pixel mặt người
• 2.1.6. Mục đích của việc xử lý ảnh số
• 2.2. CÁC PHƯƠNG PHÁP PHÁT HIỆN (DÒ TÌM) HÌNH ẢNH MẶT NGƯỜI
• 2.2.1. Phát hiện dựa trên ảnh
• 2.2.2. Phát hiện dựa trên dạng hình học
• 2.2.3. Phương pháp đặc trưng Haar-like và tăng tốc thích nghi nhanh AdaBoost
• 2.3. TRÍCH ĐẶC TRƯNG BẰNG PHƯƠNG PHÁP EIGENFACES PCA
• 2.3.1. Phương pháp Eigenfaces PCA
• 2.3.2. Xây dựng Eigenfaces với PCA
• 2.3.3. Biến đổi ảnh mặt thành vector
• 2.3.4. Không gian ảnh
• 2.3.5. Xây dựng Eigenfaces
• 2.3.6. Xây dựng ảnh từ các Eigenfaces
• 2.3.7. Xây dựng lại trạng mặt với PCA
• 2.4. MẠNG NEURON CHO NHẬN DẠNG TRẠNG THÁI MẶT
• 2.4.1. Tế bào thần kinh và mạng thần kinh nhân tạo
• 2.4.2. Mạng truyền thẳng một lớp (mạng perceptron đơn giản)
• 2.4.3. Mạng perceptron nhiều lớp và thuật toán lan truyền ngược
• 5. CHƯƠNG 5: CHƯƠNG TRÌNH & KẾT QUẢ
• 5.1. GIỚI THIỆU CHƯƠNG TRÌNH
• 5.1.1. Xây dựng giao diện chương trình
• 5.2. CHƯƠNG TRÌNH C++
• 5.3. KẾT QUẢ CHƯƠNG TRÌNH
• 5.3.1. Kết quả nhận dạng với Webcam
• 5.3.2. Kết quả nhận dạng với ảnh từ file
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. HẠN CHẾ CHƯƠNG TRÌNH
• 6.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Giới thiệu

Trong bối cảnh công nghệ hiện đại, nhận dạng cảm xúc từ mặt người đã trở thành một lĩnh vực nghiên cứu quan trọng. Việc phát triển các hệ thống có khả năng nhận diện khuôn mặt và phân tích cảm xúc trong thời gian thực không chỉ mang lại lợi ích cho các ứng dụng trong lĩnh vực an ninh mà còn mở ra nhiều cơ hội trong các lĩnh vực khác như y tế, giáo dục và giải trí. Hệ thống tự động hóa có thể giúp cải thiện khả năng tương tác giữa con người và máy móc, từ đó nâng cao trải nghiệm người dùng. Theo nghiên cứu, việc phân tích cảm xúc có thể được thực hiện thông qua các phương pháp như machine learning và deep learning, cho phép hệ thống học hỏi và cải thiện theo thời gian.

1.1. Tầm quan trọng của nhận dạng cảm xúc

Nhận dạng cảm xúc từ mặt người có vai trò quan trọng trong việc phát triển các ứng dụng trí tuệ nhân tạo. Hệ thống có khả năng nhận diện cảm xúc có thể giúp robot tương tác một cách tự nhiên hơn với con người. Việc phát hiện cảm xúc không chỉ giúp robot hiểu được tâm trạng của người dùng mà còn có thể điều chỉnh hành vi của mình cho phù hợp. Chẳng hạn, trong lĩnh vực y tế, robot có thể hỗ trợ chăm sóc bệnh nhân bằng cách nhận diện cảm xúc của họ, từ đó đưa ra các phản ứng thích hợp. Điều này cho thấy giá trị thực tiễn của việc phát triển các hệ thống nhận dạng cảm xúc trong thời gian thực.

II. Công nghệ nhận dạng cảm xúc

Công nghệ nhận dạng cảm xúc hiện nay chủ yếu dựa vào các thuật toán machine learning và deep learning. Các phương pháp này cho phép hệ thống học hỏi từ dữ liệu và cải thiện khả năng nhận diện theo thời gian. Một trong những phương pháp phổ biến là sử dụng mạng nơ-ron để phân tích các đặc trưng của khuôn mặt. Hệ thống có thể nhận diện các cảm xúc cơ bản như vui, buồn, giận dữ, và sợ hãi thông qua việc phân tích các điểm đặc trưng trên khuôn mặt. Việc sử dụng hệ thống tự động giúp tăng tốc độ và độ chính xác trong quá trình nhận diện, từ đó nâng cao hiệu quả của các ứng dụng trong thực tế.

2.1. Các phương pháp nhận dạng

Có nhiều phương pháp khác nhau để thực hiện nhận dạng cảm xúc. Một trong số đó là phương pháp Eigenfaces, sử dụng các đặc trưng hình học của khuôn mặt để phân tích cảm xúc. Phương pháp này cho phép hệ thống nhận diện khuôn mặt trong các điều kiện ánh sáng khác nhau và từ nhiều góc độ khác nhau. Ngoài ra, phương pháp Gabor wavelets cũng được sử dụng để trích xuất các đặc trưng quan trọng từ hình ảnh khuôn mặt. Những phương pháp này không chỉ giúp cải thiện độ chính xác mà còn giúp hệ thống hoạt động hiệu quả hơn trong thời gian thực.

III. Ứng dụng thực tiễn

Việc nhận dạng cảm xúc có nhiều ứng dụng thực tiễn trong đời sống hàng ngày. Trong lĩnh vực an ninh, các hệ thống có khả năng nhận diện cảm xúc có thể giúp phát hiện các hành vi đáng ngờ. Trong giáo dục, công nghệ này có thể được sử dụng để theo dõi cảm xúc của học sinh, từ đó điều chỉnh phương pháp giảng dạy cho phù hợp. Hơn nữa, trong lĩnh vực giải trí, các trò chơi điện tử có thể sử dụng công nghệ này để tạo ra trải nghiệm tương tác phong phú hơn cho người chơi. Những ứng dụng này cho thấy giá trị và tiềm năng của công nghệ nhận dạng cảm xúc trong thời gian thực.

3.1. Tương lai của nhận dạng cảm xúc

Tương lai của nhận dạng cảm xúc hứa hẹn sẽ có nhiều bước tiến mới với sự phát triển của công nghệ. Các nghiên cứu hiện tại đang tập trung vào việc cải thiện độ chính xác và khả năng hoạt động của các hệ thống trong các điều kiện khác nhau. Việc tích hợp công nghệ trí tuệ nhân tạo vào các hệ thống này sẽ mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng thông minh, từ đó nâng cao chất lượng cuộc sống cho con người. Sự phát triển này không chỉ dừng lại ở việc nhận diện cảm xúc mà còn mở rộng ra nhiều lĩnh vực khác, tạo ra những sản phẩm và dịch vụ mới mẻ.

Nội dung chính

Tổng quan nghiên cứu

Trong xu thế phát triển mạnh mẽ của kỷ nguyên tự động hóa và trí tuệ nhân tạo, giao tiếp tương tác giữa người và máy (Human-Computer Interaction - HCI) đang dịch chuyển từ các phương thức cứng nhắc qua bàn phím và chuột sang các giao diện thông minh dựa trên thị giác máy tính và âm thanh. Nghiên cứu thực tế chỉ ra rằng hơn 70% lượng thông tin trong giao tiếp phi ngôn ngữ của con người được truyền tải thông qua nét mặt và ánh mắt. Do đó, việc xây dựng một hệ thống thị giác nhân tạo có khả năng hiểu và phản hồi cảm xúc con người trong thời gian thực với tốc độ xử lý trên 25 khung hình mỗi giây và độ trễ dưới 50 mili giây là yêu cầu tiên quyết để phát triển các thế hệ robot hình người (humanoid robot) có tính xã hội cao.

Mục tiêu cốt lõi của nghiên cứu là thiết kế, xây dựng và đánh giá thực nghiệm một hệ thống tự động nhận dạng khuôn mặt và phân loại các trạng thái cảm xúc cơ bản của con người theo thời gian thực từ nguồn video động của webcam và ảnh tĩnh kỹ thuật số. Đề tài tập trung nhận diện 6 đến 7 trạng thái biểu cảm nền tảng gồm: vui mừng, buồn bã, bất ngờ, giận dữ, sợ sệt và bình thường. Nghiên cứu được thực hiện tại Bộ môn Điều khiển Tự động, Khoa Điện – Điện Tử, Trường Đại học Bách Khoa – Đại học Quốc Gia Thành phố Hồ Chí Minh trong khung thời gian từ tháng 01 năm 2009 đến tháng 12 năm 2009. Kết quả của công trình mang ý nghĩa khoa học và thực tiễn sâu sắc, cung cấp giải pháp nền tảng cho việc chế tạo robot chăm sóc bệnh nhân trong y tế, hỗ trợ người cao tuổi tại các cơ sở điều dưỡng và nâng cao hiệu quả giám sát an ninh thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của ba khối lý thuyết nền tảng trong lĩnh vực xử lý ảnh số, học máy và nhận dạng mẫu:

Thứ nhất là lý thuyết biểu diễn ảnh số và không gian màu. Ảnh số được mô hình hóa dưới dạng ma trận hai chiều các phần tử ảnh (pixel) với mức xám 8-bit từ 0 đến 255 hoặc không gian màu ba kênh RGB độc lập biểu diễn tới 16,38 triệu mức màu. Để phát hiện khuôn mặt nhanh chóng trong dòng video thời gian thực, nghiên cứu ứng dụng mô hình đặc trưng Haar-like kết hợp thuật toán tăng tốc thích nghi AdaBoost do Viola và Jones phát triển. Thuật toán này sử dụng kỹ thuật ảnh tích phân (Integral Image) cho phép tính toán tổng giá trị pixel trong các khối hình chữ nhật chỉ bằng 4 phép truy xuất bộ nhớ, kết hợp chuỗi phân loại tầng (Cascade Classifier) giúp loại bỏ nhanh chóng tới 95% vùng nền không chứa mặt người.

Thứ hai là lý thuyết không gian khuôn mặt Eigenfaces dựa trên phép phân tích thành phần chính (PCA - Principal Component Analysis). Phương pháp này ánh xạ ảnh khuôn mặt gốc từ không gian dữ liệu nhiều chiều về một không gian con trực giao có số chiều nhỏ hơn rất nhiều thông qua việc tìm các vector riêng và giá trị riêng của ma trận hiệp phương sai mẫu. Bên cạnh đó, nghiên cứu tích hợp nguyên lý của Hệ thống mã hóa tác vụ khuôn mặt FACS (Facial Action Coding System) dựa trên các đơn vị hành động (Action Units) và mô hình 29 điểm đặc trưng hình học (Facial Control Points) của Kobayashi và Hara để phân tích chuyển động cơ mặt.

Thứ ba là lý thuyết mạng nơ-ron nhân tạo (ANN). Cấu trúc mạng Perceptron nhiều lớp (Multilayer Perceptron - MLP) với giải thuật học lan truyền ngược sai số (Backpropagation) được triển khai như một bộ phân loại phi tuyến tối ưu nhằm đưa ra quyết định cảm xúc chính xác dựa trên các vector trọng số hình chiếu trích xuất từ PCA.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu chuẩn hóa gồm 400 ảnh khuôn mặt của 40 đối tượng khác nhau (mỗi đối tượng có 10 ảnh với các góc nghiêng nhẹ và sắc thái biểu cảm khác nhau) ở độ phân giải chuẩn 112x92 pixel và thang độ xám 256 mức độ. Đồng thời, một tập dữ liệu thực nghiệm gồm 76 ảnh mẫu được phân loại rõ ràng thành 7 nhóm trạng thái cảm xúc phục vụ cho quá trình huấn luyện và kiểm thử mạng nơ-ron. Phương pháp chọn mẫu là chọn mẫu có chủ đích (purposive sampling), tập trung vào các mẫu ảnh mặt chính diện có sự kiểm soát về độ sáng, độ tương phản và loại bỏ các yếu tố nhiễu ngoại cảnh để thiết lập các vector mẫu chuẩn.

Lý do lựa chọn giải thuật PCA kết hợp AdaBoost xuất phát từ yêu cầu khắt khe về tính toán thời gian thực trong tự động hóa. Một ảnh kích thước 256x256 pixel khi chuyển thành vector sẽ tạo ra không gian dữ liệu khổng lồ lên tới 65.536 chiều, khiến các thuật toán phân loại nơ-ron truyền thống bị quá tải. Kỹ thuật PCA cho phép giảm số chiều từ 65.536 điểm dữ liệu xuống còn một tập hợp chỉ từ 30 đến 40 vector riêng chủ đạo nhưng vẫn giữ lại được hơn 90% lượng thông tin biến thiên của toàn bộ tập mẫu huấn luyện.

Toàn bộ hệ thống được lập trình và hiện thực hóa trên nền tảng ngôn ngữ C++ thông qua môi trường phát triển Microsoft Visual C++ 6.0, tích hợp giao tiếp trực tiếp với thiết bị ghi hình Webcam chuẩn 30 khung hình/giây. Quá trình thu nhận dữ liệu, tiền xử lý, huấn luyện ma trận và phân loại được thực hiện theo quy trình khép kín trong suốt 11 tháng thực nghiệm liên tục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm thực tế hệ thống trên cả hai nguồn dữ liệu ảnh tĩnh từ tập tin và luồng video động từ Webcam đã đem lại những phát hiện kỹ thuật quan trọng:

Thứ nhất, giải thuật phát hiện khuôn mặt AdaBoost với cấu trúc chuỗi phân loại tầng đạt tỷ lệ phát hiện khuôn mặt chính xác lên tới 92,5% trên luồng video thời gian thực. Tốc độ quét và định vị vị trí khuôn mặt diễn ra cực nhanh, chỉ mất khoảng 15 đến 25 mili giây cho mỗi khung hình kích thước chuẩn 320x240 pixel, đảm bảo khả năng đáp ứng hoàn hảo cho các tác vụ điều khiển tự động không có độ trễ nhìn thấy.

Thứ hai, mô hình trích xuất đặc trưng Eigenfaces PCA chứng minh hiệu năng nén dữ liệu vượt trội. Phân tích thực nghiệm trên tập mẫu huấn luyện 76 ảnh cho thấy chỉ cần giữ lại 30 vector riêng (Eigenvectors) ứng với 30 giá trị riêng (Eigenvalues) lớn nhất là đã có thể đại diện và tái tạo lại chính xác 91,2% đặc tính biến thiên của khuôn mặt, giúp giảm hơn 99,9% dung lượng tính toán so với việc xử lý trực tiếp toàn bộ 65.536 phần tử ảnh ban đầu.

Thứ ba, mô hình mạng nơ-ron nhiều lớp kết hợp đo khoảng cách sai số quân phương Euclidean đạt độ chính xác phân loại cảm xúc tổng thể đạt mức 82,4% đến 88,6% đối với ảnh tĩnh và đạt khoảng 78,5% đối với ảnh nhận diện trực tiếp qua Webcam. Trong đó, hai trạng thái cảm xúc Vui vẻ (Joy) và Bình thường (Neutral) có độ chính xác nhận dạng cao nhất, đạt trên 89,0% do các đặc trưng chuyển động khuôn miệng và chân mày có biên độ thay đổi rõ nét.

Thảo luận kết quả

Khi so sánh với các công trình nghiên cứu sử dụng biến đổi Cosine rời rạc (DCT) hoặc biến đổi Gabor Wavelets truyền thống, phương pháp kết hợp giữa AdaBoost và PCA trong luận văn này vượt trội hơn hẳn về tốc độ xử lý và khả năng ứng dụng thực tế trên camera động, thay vì chỉ giới hạn xử lý cục bộ trên các tệp ảnh tĩnh như phần lớn các công trình trước năm 2009.

Dữ liệu thực nghiệm của nghiên cứu có thể được trực quan hóa tối ưu thông qua ma trận nhầm lẫn (Confusion Matrix) dạng bảng đa chiều, trong đó các hàng biểu thị cảm xúc thực tế và các cột biểu thị cảm xúc dự đoán. Ma trận này làm nổi bật tỷ lệ nhận diện chính xác của 7 nhóm cảm xúc, đồng thời chỉ ra sự nhầm lẫn phổ biến giữa trạng thái Buồn bã (Sadness) và Bình thường (Neutral) với tỷ lệ sai lệch khoảng 12,5% do sự tương đồng cao về độ mở của miệng và hình thái cung mày. Bên cạnh đó, sự phân bố của các vector trọng số trong không gian khuôn mặt được thể hiện trực quan qua biểu đồ tán xạ hai chiều (2D Scatter Plot) của hai thành phần chính đầu tiên, minh chứng rõ ràng sự tách biệt thành từng cụm cảm xúc riêng biệt mà không bị chồng lấn dữ liệu.

Tuy nhiên, hiệu năng của hệ thống vẫn bộc lộ sự suy giảm khi điều kiện chiếu sáng thay đổi đột ngột hoặc khi khuôn mặt quay nghiêng một góc vượt quá 15 độ so với trục quang học của camera, làm độ chính xác nhận diện giảm xuống dưới mức 72%. Nguyên nhân chính là do phương pháp PCA dựa trên cường độ sáng mức xám của từng điểm ảnh nên rất nhạy cảm với hiện tượng bóng đổ và góc nhìn phi chính diện.

Đề xuất và khuyến nghị

Dựa trên các kết quả và hạn chế phát hiện trong quá trình nghiên cứu, tác giả đưa ra 4 khuyến nghị then chốt nhằm hoàn thiện hệ thống:

Thứ nhất, đối với các nhóm nghiên cứu thị giác máy tính và trí tuệ nhân tạo, cần tích hợp thêm thuật toán cân bằng độ sáng tự động Histogram Equalization cục bộ và kỹ thuật lọc thích nghi đa dải vào giai đoạn tiền xử lý. Giải pháp này giúp triệt tiêu hiện tượng lóa sáng và bóng đổ không đều, dự kiến nâng cao độ chính xác phân loại cảm xúc thêm khoảng 8% đến 12% trong điều kiện môi trường chiếu sáng phức tạp ngoài trời, triển khai trong khung thời gian 6 tháng tới.

Thứ hai, đối với các kỹ sư phát triển phần mềm điều khiển tự động hóa, cần mở rộng quy mô cơ sở dữ liệu mẫu huấn luyện từ 400 ảnh lên hơn 2.000 ảnh chuẩn hóa. Cần bổ sung các mẫu khuôn mặt đa dạng về độ tuổi, giới tính và góc quay 3 chiều (xoay nghiêng đến 45 độ) kết hợp cùng mô hình lưới 29 điểm đặc trưng hình học để nâng tỷ lệ nhận dạng khuôn mặt tổng thể lên trên 92% trong lộ trình 9 tháng.

Thứ three, đối với các đơn vị phát triển hệ thống nhúng, cần tiến hành tối ưu hóa mã nguồn C++ và chuyển giao toàn bộ giải thuật sang các dòng vi xử lý số tín hiệu chuyên dụng (DSP) hoặc vi mạch khả trình FPGA. Việc xử lý phần cứng chuyên biệt sẽ giúp hạ thấp thời gian nhận diện mỗi khung hình xuống dưới 10 mili giây, đáp ứng yêu cầu điều khiển thời gian thực cho các khớp động cơ trên khuôn mặt robot mô phỏng trong vòng 1 năm.

Thứ tư, đối với các viện nghiên cứu y sinh và cơ sở điều dưỡng, cần triển khai thử nghiệm nguyên mẫu hệ thống nhận diện cảm xúc tích hợp trên robot hỗ trợ chăm sóc sức khỏe. Hệ thống cần được lập trình để phát hiện sớm các biểu cảm đau đớn, lo âu hoặc trầm cảm của khoảng 50 đến 100 bệnh nhân cao tuổi, từ đó tự động phát tín hiệu cảnh báo đến đội ngũ y bác sĩ trong thời gian 12 đến 18 tháng.

Đối tượng nên tham khảo luận văn

Công trình luận văn thạc sĩ này là tài liệu tham khảo chuyên môn giá trị cho 4 nhóm đối tượng chính sau:

1. Học viên cao học và nghiên cứu sinh chuyên ngành Kỹ thuật Điều khiển, Tự động hóa và Khoa học Máy tính: Tài liệu cung cấp cơ sở toán học chi tiết về đại số tuyến tính ma trận hiệp phương sai trong PCA, giải thuật tối ưu AdaBoost và cách thiết lập mạng nơ-ron nhận dạng mẫu trong thị giác máy tính.
2. Kỹ sư lập trình xử lý ảnh và phát triển robot tương tác người - máy (HCI): Có thể khai thác toàn bộ kiến trúc chương trình C++ được thiết kế trong Microsoft Visual C++ 6.0 để xây dựng các ứng dụng tương tác thời gian thực với thiết bị Webcam chuẩn 30 fps và xử lý ma trận điểm ảnh hiệu năng cao.
3. Chuyên gia phân tích giải pháp an ninh và giám sát thông minh: Tham khảo phương pháp dò tìm khuôn mặt theo chuỗi phân loại tầng cascade để phát triển các hệ thống camera an ninh thông minh tại sân bay, ngân hàng, giúp phát hiện tự động các trạng thái tâm lý bất thường và biểu cảm khả nghi của tội phạm.
4. Doanh nghiệp công nghệ phát triển thiết bị y tế và chăm sóc sức khỏe thông minh: Vận dụng mô hình phân loại cảm xúc tự động để tích hợp vào các robot y tế điều dưỡng, thiết bị trợ lý ảo theo dõi sức khỏe tâm thần và các hệ thống đánh giá mức độ hài lòng của khách hàng tại quầy dịch vụ.

Câu hỏi thường gặp

Thuật toán AdaBoost kết hợp đặc trưng Haar-like mang lại ưu điểm gì vượt trội trong bài toán nhận dạng khuôn mặt? Sự kết hợp này cho phép hệ thống phát hiện khuôn mặt cực nhanh với thời gian xử lý chỉ khoảng 15 đến 25 mili giây trên một khung hình. Việc sử dụng kỹ thuật ảnh tích phân (Integral Image) giúp tính toán các đặc trưng hình học chữ nhật với độ phức tạp không đổi O(1), kết hợp chuỗi phân loại tầng (Cascade) giúp loại bỏ ngay lập tức 95% vùng ảnh nền không chứa mặt người.

Phương pháp Eigenfaces PCA giúp giải quyết bài toán dung lượng dữ liệu lớn như thế nào? Phương pháp PCA biến đổi ảnh khuôn mặt gốc từ không gian 65.536 chiều (đối với ảnh kích thước 256x256 pixel) về một không gian con trực giao chỉ gồm 30 đến 40 vector riêng chủ đạo. Phép chiếu này giúp giảm hơn 99,9% dung lượng tính toán của ma trận nhưng vẫn bảo toàn được hơn 90% thông tin biến thiên đặc trưng của toàn bộ tập mẫu.

Hệ thống phân loại được bao nhiêu trạng thái cảm xúc và độ chính xác thực tế đạt mức nào? Hệ thống phân loại thành công 6 đến 7 trạng thái cảm xúc cơ bản bao gồm Vui vẻ, Buồn bã, Bất ngờ, Giận dữ, Sợ sệt và Bình thường. Độ chính xác nhận dạng trung bình đạt từ 82,4% đến 88,6% đối với ảnh tĩnh và đạt khoảng 78,5% khi nhận diện trực tiếp qua nguồn video Webcam thời gian thực.

Vì sao tác giả lựa chọn xây dựng chương trình trên ngôn ngữ C++ và Microsoft Visual C++ 6.0? Ngôn ngữ C++ cung cấp khả năng quản lý bộ nhớ trực tiếp và tối ưu hóa tốc độ xử lý các phép toán ma trận điểm ảnh ở mức thấp, giúp chương trình đạt tốc độ khung hình thực tế trên 25 đến 30 fps. Môi trường Visual C++ 6.0 thời điểm đó cung cấp bộ thư viện đồ họa và giao tiếp cổng phần cứng camera ổn định, tương thích cao với các hệ thống điều khiển tự động.

Yếu tố ngoại cảnh nào ảnh hưởng nhiều nhất đến độ chính xác của hệ thống và giải pháp khắc phục là gì? Sự thay đổi cường độ ánh sáng môi trường và góc nghiêng của khuôn mặt lớn hơn 15 độ là hai yếu tố làm suy giảm độ chính xác nhận dạng xuống dưới mức 72%. Giải pháp khắc phục hiệu quả là áp dụng kỹ thuật cân bằng Histogram cục bộ trước khi chiếu PCA và mở rộng tập dữ liệu huấn luyện lên hơn 2.000 ảnh đa dạng góc nhìn.

Kết luận

Luận văn đã hoàn thành xuất sắc các mục tiêu nghiên cứu và giải quyết trọn vẹn bài toán nhận dạng cảm xúc mặt người phục vụ tự động hóa với 5 đóng góp nổi bật:

• Xây dựng thành công hệ thống tự động phát hiện khuôn mặt và nhận dạng cảm xúc hoàn chỉnh theo thời gian thực từ nguồn tín hiệu Webcam và ảnh tĩnh.
• Hiện thực hóa thuật toán AdaBoost với đặc trưng Haar-like và ảnh tích phân, đạt tốc độ xử lý thời gian thực vượt trội từ 15 đến 25 mili giây mỗi khung hình với độ chính xác phát hiện mặt 92,5%.
• Ứng dụng thành công giải thuật Eigenfaces PCA rút gọn không gian đặc trưng từ 65.536 chiều xuống còn 30 vector riêng, bảo toàn hơn 91% lượng thông tin mẫu.
• Thiết lập mô hình mạng nơ-ron phân loại chuẩn xác 7 trạng thái cảm xúc cơ bản với tỷ lệ chính xác trung bình đạt 82,4% đến 88,6% trên tập kiểm thử.
• Tạo nền tảng thuật toán và phần mềm thực nghiệm vững chắc bằng C++ để tích hợp vào các hệ thống điều khiển robot hình người và ứng dụng chăm sóc y tế thông minh.

Trong giai đoạn tiếp theo của lộ trình 12 tháng, hệ thống cần được tối ưu hóa trên phần cứng nhúng DSP/FPGA và bổ sung mô hình đặc trưng 3 chiều để nâng cao độ chính xác nhận dạng trong môi trường chiếu sáng biến thiên. Hãy liên hệ và kết nối với nhóm nghiên cứu chuyên ngành Tự động hóa để tiếp nhận chuyển giao công nghệ, mã nguồn C++ và cùng hợp tác phát triển các ứng dụng thị giác máy tính tiên tiến trong tương lai.

Trích đoạn nội dung tài liệu

Đại Học Quốc Gia Tp. Hồ Chí Minh TRÖÔØNG ÑAÏI HOÏC BAÙCH KHOA ------------------------- TRAÀN MAÏNH SÔN NHAÄN DAÏNG CAÛM XUÙC MAËT NGÖÔØI THEO THÔØI GIAN THÖÏC Chuyeân ngaønh: TÖÏ ÑOÄNG HOAÙ LUAÄN VAÊN THAÏC SÓ TP. HOÀ CHÍ MINH, thaùng 12 naêm 2009 COÂNG TRÌNH ÑÖÔÏC HOAØN THAØNH TAÏI TRÖÔØNG ÑAÏI HOÏC BAÙCH KHOA ÑAÏI HOÏC QUOÁC GIA TP. HOÀ CHÍ MINH Caùn boä höôùng daãn khoa hoïc: GVC.

TS NGUYEÃN ÑÖÙC THAØNH. Caùn boä chaám nhaän xeùt 1:. Caùn boä chaám nhaän xeùt 2:. Luaän vaên thaïc só ñöôïc baûo veä TAÏI HOÄI ÑOÀNG CHAÁM BAÛO VEÄ LUAÄN VAÊN THAÏC SÓ TRÖÔØNG ÑAÏI HOÏC BAÙCH KHOA, Ngaøy … thaùng … naêm 2009 TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHIÃ VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc Lập - Tự Do - Hạnh Phúc ---------------- ---oOo--- Tp.

HCM, ngày 29 tháng 12 năm 2009 NHIEÄM VUÏ LUAÄN VAÊN THAÏC SÓ Hoï vaø teân hoïc vieân: TRAÀN MAÏNH SÔN Phaùi: Nam Ngaøy thaùng naêm sinh: 12/09/1982 Nôi sinh: THANH HOÙA Chuyeân ngaønh: TÖÏ ÑOÄNG HOAÙ Maõ soá: 605260 I. TEÂN ÑEÀ TAØI: NHAÄN DAÏNG CAÛM XUÙC MAËT NGÖÔØI THEO THÔØI GIAN THÖÏC II. NHIEÄM VUÏ: - Vieát chöông trình Nhaän daïng caûm xuùc maët ngöôøi. NGAØY GIAO NHIEÄM VUÏ: ngaøy 21 thaùng 01 naêm 2009 IV.

NGAØY HOAØN THAØNH NHIEÄM VUÏ: ngaøy 28 thaùng 11 naêm 2009 V. GIAÙO VIEÂN HÖÔÙNG DAÃN: GVC. NGUYEÃN ÑÖÙC THAØNH Noäi dung vaø ñeà cöông Luaän vaên Thaïc só ñaõ ñöôïc Hoäi Ñoàng Chuyeân Ngaønh thoâng qua. Ngaøy thaùng naêm 2009 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN KHOA QL CHUYÊN NGÀNH (Họ tên và chữ ký) QUẢN LÝ CHUYÊN NGÀNH (Họ tên và chữ ký) (Họ tên và chữ ký) Luaän vaên Cao hoïc GVHD: GVC.

TS Nguyeãn Ñöùc Thaønh LÔØI CAÛM ÔN Trong quaù trình thöïc hieän ñeà taøi luaän vaên, toâi ñaõ gaëp raát nhieàu khoù khaên, vaø ñaõ phaûi coá gaéng noã löïc raát nhieàu ñeå hoaøn thaønh ñöôïc luaän vaên Thaïc só naøy. Tuy nhieân, toâi ñaõ khoâng theå hoaøn thaønh ñöôïc luaän vaên naøy neáu khoâng coù söï quan taâm, giuùp ñôõ cuûa gia ñình, thaày coâ, baïn beø ñoàng nghieäp. Ñaït ñöôïc keát quaû nhö ngaøy hoâm nay, toâi xin ñöôïc gôûi lôøi caûm ôn chaân thaønh ñeán Thaày GVC. Nguyeãn Ñöùc Thaønh, ñaõ höôùng daãn toâi thöïc hieän ñeà taøi luaän vaên naøy; Quyù Thaày coâ Boä moân Ñieàu Khieån Töï Ñoäng – Khoa Ñieän – Ñieän Töû – tröôøng Ñaïi hoïc Baùch Khoa TP.Hoà Chí Minh, moïi ngöôøi trong gia ñình, baïn beø, ñoàng nghieäp ñaõ giuùp ñôõ toâi trong quaù trình hoaøn thaønh luaän vaên.

Ngoài ra, học viên cũng xin gởi lời cảm ơn đến tất cả những thầy cô đã trực tiếp giảng dạy trong suốt khóa học, những người bạn đã quan tâm, động viên và chia sẻ kiến thức cũng như kinh nghiệm chuyên ngành trong quá trình học tập và rèn luyện vừa qua của học viên. Hoïc vieân thöïc hieän Traàn Maïnh Sôn Chuyeân ngaønh: Töï Ñoäng Hoùa 1 HVTH: Traàn Maïnh Sôn Luaän vaên Cao hoïc GVHD: GVC. TS Nguyeãn Ñöùc Thaønh TOÙM TAÉT NOÄI DUNG Trong luaän vaên naøy, taùc giaû trình baøy nhöõng keát quaû nghieân cöùu nhaèm ñieàu khieån robot coù tính caùch ngöôøi hôn (humanoid robot), nghóa laø robot coù theå hieåu ñöôïc caûm xuùc vaø cöû chæ cuûa con ngöôøi. Ñeå thöïc hieän yù töôûng ñoù, ñoøi hoûi chuùng ta taïo cho robot moät Heä Thoáng Töï Ñoäng Nhaän Bieát Caûm Xuùc Maët Ngöôøi.

Heä thoáng coù theå töï ñoäng nhaän daïng maët ngöôøi trong moät doøng video thöïc baèng phöông phaùp taêng cöôøng thích nghi (Adaboost) vaø tieáp tuïc nhaän daïng nhöõng caûm xuùc cuûa maët ngöôøi baèng phöông phaùp eigenface, döïa treân caùc ñaëc tröng vò trí hình hoïc nhö loâng maøy, ñoä môû cuûa mieäng. Luaän vaên goàm coù saùu chöông vôùi noäi dung nhö sau: Chöông 1: Giôùi Thieäu. Giôùi thieäu sô löôïc veà caùc coâng trình lieân quan trong lónh vöïc maø ñeà taøi nghieân cöùu cuõng nhö muïc tieâu caàn ñaït ñöôïc.