Nghiên Cứu Phương Pháp Nhận Dạng Biểu Cảm Khuôn Mặt

• Tác giả: Lê Thái Linh
• Người hướng dẫn: PGS. Nguyễn Linh Giang
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Phương Pháp Nhận Dạng Biểu Cảm Khuôn Mặt Sử Dụng Xấp Xỉ Đa Thức
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN BÀI TOÁN NHẬN DẠNG BIỂU CẢM
• 1.1. Biểu cảm của gương mặt
• 1.2. Các thành phần chính của hệ thống nhận dạng biểu cảm
• 1.3. Những khó khăn trong bài toán nhận dạng biểu cảm
• 1.4. Các nghiên cứu liên quan
• 1.5. Định hướng giải pháp của tác giả
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Đặc trưng Haar-like
• 2.2. Bộ phân loại Adaboost
• 2.3. Đặc trưng hình học của khuôn mặt
• 2.4. Đường cong Bezier
• 2.5. Định nghĩa mạng nơ-ron
• 2.6. Nơ-ron sinh học và nơ-ron nhân tạo
• 2.7. Mô hình mạng nơ-ron
• 2.8. Mạng nhiều tầng truyền thẳng MLP
• 2.9. Huấn luyện mạng nơ-ron
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ KẾT QUẢ
• 3.1. Kịch bản nhận dạng biểu cảm
• 3.2. Phát hiện khuôn mặt và vùng chứa mắt và môi
• 3.3. Áp dụng thành phần liên thông vào bài toán
• 3.4. Tìm các điểm kiểm soát trên vùng mắt, môi
• 3.5. Kiến trúc mạng nơ-ron ứng dụng vào bài toán
• 3.6. Dữ liệu huấn luyện
• 3.7. Các độ đo trong việc đánh giá
• 3.8. Môi trường và công cụ thực nghiệm
• 3.9. Môi trường phát triển – Microsoft Visual Studio
• 3.10. Tổng quan OpenCV, EmguCV
• 3.11. Giới thiệu việc cài đặt một số module cụ thể trong hệ thống
• 3.12. Kết quả thực nghiệm. Ảnh từ camera máy tính
• 3.13. Kết quả đạt được trong luận văn
• 3.14. Các vấn đề tồn tại trong luận văn
• 3.15. Hướng phát triển luận văn
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Nghiên Cứu Nhận Dạng Biểu Cảm Khuôn Mặt

Biểu cảm khuôn mặt đóng vai trò quan trọng trong giao tiếp, vượt xa cả ngôn ngữ. Nghiên cứu về nhận dạng biểu cảm tự động mở ra tiềm năng lớn trong tương tác người-máy và các lĩnh vực khác như y tế, phân tích hành vi. Tuy nhiên, việc xử lý khối lượng dữ liệu lớn và đảm bảo hiệu năng trên nhiều thiết bị khác nhau vẫn là thách thức. Nghiên cứu này tập trung vào phương pháp nhận dạng biểu cảm khuôn mặt sử dụng xấp xỉ đa thức, cụ thể là đường cong Bezier và mạng nơ-ron. Mục tiêu là tăng hiệu năng tính toán bằng cách trích chọn điểm đặc trưng thay vì xử lý toàn bộ khuôn mặt. Nghiên cứu này được chia thành ba chương, giới thiệu tổng quan, cơ sở lý thuyết và kết quả thực nghiệm.

1.1. Tầm quan trọng của Biểu Cảm Khuôn Mặt trong Giao Tiếp

Gương mặt là kênh truyền thông phi ngôn ngữ quan trọng nhất. Biểu cảm khuôn mặt truyền tải thông tin về cảm xúc, ý định, văn hóa và thậm chí là tình trạng bệnh lý. DuChenne de Boulogne, một nhà thần kinh học người Pháp, đã có những nghiên cứu tiên phong từ thế kỷ 19, sử dụng nhiếp ảnh để minh họa các thí nghiệm của mình. Nghiên cứu này cho thấy tầm quan trọng của việc nhận dạng biểu cảm khuôn mặt trong nhiều lĩnh vực.

1.2. Các Ứng Dụng Tiềm Năng của Nhận Dạng Cảm Xúc Tự Động

Nhận dạng biểu cảm tự động có ứng dụng rộng rãi, từ tương tác người-máy đến y học lâm sàng. Trong khoa học hành vi, nó giúp phân tích cảm xúc và trạng thái tinh thần. Ứng dụng trong chẩn đoán lâm sàng có thể hỗ trợ nhận biết các dấu hiệu của bệnh trầm cảm hoặc đau đớn. Trong tương lai, hệ thống có thể nhận dạng trạng thái cảm xúc của người dùng và điều chỉnh phản hồi cho phù hợp.

II. Thách Thức và Yêu Cầu Của Nhận Dạng Biểu Cảm Tự Động

Việc nhận dạng biểu cảm khuôn mặt tự động một cách chính xác và nhanh chóng vẫn là một thách thức lớn. Các khó khăn bao gồm: tiền xử lý, trích xuất đặc trưng, phân loại và xử lý dữ liệu đa dạng. Hầu hết các phương pháp nhận dạng biểu cảm yêu cầu kiểm soát chặt chẽ các điều kiện ánh sáng, góc nhìn, độ phức tạp của môi trường và các yếu tố cá nhân. Những yếu tố này có thể ảnh hưởng đến độ chính xác của hệ thống. Việc phát triển hệ thống nhận dạng biểu cảm mạnh mẽ và linh hoạt trong điều kiện thực tế là mục tiêu quan trọng.

2.1. Ảnh Hưởng của Góc Nhìn và Ánh Sáng Đến Độ Chính Xác

Góc nhìn và ánh sáng là yếu tố quan trọng ảnh hưởng đến độ chính xác của nhận dạng biểu cảm. Sự thay đổi góc nhìn có thể làm biến dạng hình dạng khuôn mặt, gây khó khăn cho việc trích xuất đặc trưng. Ánh sáng không đồng đều hoặc quá tối có thể che khuất các chi tiết quan trọng. Các phương pháp xử lý ảnh và chuẩn hóa hình học được sử dụng để giảm thiểu ảnh hưởng của các yếu tố này.

2.2. Sự Đa Dạng Về Khuôn Mặt và Biểu Cảm Tự Nhiên

Sự khác biệt về hình thái khuôn mặt, chủng tộc, tuổi tác, giới tính, và các yếu tố như râu, tóc, trang điểm cũng gây ra thách thức. Biểu cảm tự nhiên thường phức tạp và pha trộn, không giống với các biểu cảm nguyên mẫu trong cơ sở dữ liệu. Việc huấn luyện hệ thống với dữ liệu đa dạng và phát triển các phương pháp trích xuất đặc trưng mạnh mẽ là cần thiết để vượt qua những thách thức này.

2.3. Ứng Dụng Trí Tuệ Nhân Tạo trong Xử Lý Ngôn Ngữ Cơ Thể

Các phương pháp tích hợp AI có thể giúp nhận dạng biểu cảm khuân mặt từ âm thanh và hình ảnh. Dù sự kết hợp giữa âm thanh và hình ảnh hứa hẹn sẽ cải thiện độ chính xác nhưng phát triển kỹ thuật này một cách hiệu quả vẫn là một thách thức lớn. Các nghiên cứu hiện tại vẫn đang phát triển để tạo ra ứng dụng tích hợp AI một cách tốt nhất.

III. Phương Pháp Nhận Dạng Xấp Xỉ Đa Thức và Mạng Nơ ron

Luận văn này đề xuất phương pháp nhận dạng biểu cảm khuôn mặt kết hợp kỹ thuật xấp xỉ đa thức (đường cong Bezier) và mạng nơ-ron. Đầu tiên, khuôn mặt được phát hiện và các vùng quan trọng (mắt, môi) được phân đoạn. Sau đó, các đường viền của mắt và môi được xấp xỉ bằng đường cong Bezier. Các điểm kiểm soát trên đường cong Bezier được sử dụng làm đầu vào cho mạng nơ-ron. Phương pháp này giảm thiểu chi phí tính toán và tăng hiệu quả nhận dạng.

3.1. Phát Hiện Khuôn Mặt và Phân Vùng Khuôn Mặt Sử Dụng Haar like và Adaboost

Để phát hiện khuôn mặt và phân vùng các khuân mặt sử dụng Haar-like và Adaboost một cách hiệu quả, sự chính xác là yếu tố vô cùng quan trọng. Bằng cách phân tích các vùng mắt và môi, kết hợp chúng với những kiến thức cơ bản, chúng ta có thể phân loại và nhận diện được khuôn mặt một cách tốt nhất.

3.2. Xấp Xỉ Đường Cong Bezier cho Đặc Trưng Khuôn Mặt

Đường cong Bezier có ưu điểm là biểu diễn đường cong một cách hiệu quả với số lượng tham số ít. Nó cũng bất biến với phép biến đổi hình học, giúp tăng tính ổn định của hệ thống. Việc sử dụng đường cong Bezier giúp giảm số lượng điểm cần xử lý, từ đó giảm chi phí tính toán so với việc xử lý toàn bộ ảnh khuôn mặt. Các điểm quan trọng sẽ được phát hiện để đưa vào mạng nơ-ron.

3.3. Mạng Nơ ron Truyền Ngược Backpropagation cho Phân Loại

Mạng nơ-ron được sử dụng để học các đặc trưng từ các điểm kiểm soát Bezier và phân loại các biểu cảm. Mạng nơ-ron truyền ngược (Backpropagation) được sử dụng để huấn luyện mạng. Mạng được huấn luyện với cơ sở dữ liệu biểu cảm khuôn mặt để đạt độ chính xác cao.

IV. Thử Nghiệm và Đánh Giá Hiệu Quả Phương Pháp Nghiên Cứu

Nghiên cứu này thực hiện thử nghiệm trên cơ sở dữ liệu biểu cảm khuôn mặt chuẩn. Đánh giá hiệu quả của phương pháp đề xuất dựa trên độ chính xác và tốc độ nhận dạng. So sánh kết quả với các phương pháp nhận dạng biểu cảm khác. Phân tích ưu điểm và hạn chế của phương pháp đề xuất trong các điều kiện khác nhau. Đánh giá đóng góp của đường cong Bezier trong việc cải thiện hiệu năng tính toán.

4.1. Cơ Sở Dữ Liệu và Môi Trường Thử Nghiệm Đánh Giá

Thử nghiệm được thực hiện trên cơ sở dữ liệu JAFFE, Cohn-Kanade, và FEI. Môi trường thử nghiệm sử dụng Microsoft Visual Studio, OpenCV, EmguCV. Quá trình cài đặt các module cụ thể trong hệ thống cũng được mô tả chi tiết.

4.2. Các Độ Đo Đánh Giá Độ Chính Xác và Tốc Độ Nhận Dạng

Độ chính xác (accuracy), độ thu hồi (recall), và F1-score được sử dụng để đánh giá độ chính xác của hệ thống. Thời gian xử lý trên mỗi khuôn mặt được sử dụng để đánh giá tốc độ nhận dạng. Các độ đo này giúp so sánh hiệu quả của phương pháp đề xuất với các phương pháp khác.

4.3. Phân Tích Kết Quả và So Sánh Với Các Phương Pháp Khác

Kết quả thử nghiệm cho thấy phương pháp đề xuất đạt độ chính xác cao và tốc độ nhận dạng nhanh. So sánh với các phương pháp khác cho thấy phương pháp đề xuất có ưu điểm về hiệu năng tính toán và độ chính xác trong một số điều kiện nhất định. Phân tích chi tiết kết quả và các yếu tố ảnh hưởng đến hiệu quả của phương pháp.

V. Ứng Dụng Thực Tiễn Của Nhận Dạng Biểu Cảm Khuôn Mặt AI

Trong thực tế, nhận dạng biểu cảm được ứng dụng rất nhiều. Có thể kể đến ứng dụng bảo mật, giám sát, giúp hệ thống nhận diện được các khuôn mặt đáng ngờ trong đám đông. Ngoài ra, ứng dụng này còn được dùng trong y tế, giúp bác sỹ chẩn đoán các bệnh tâm lý, và cả trong giáo dục, giúp giảng viên biết được học sinh có đang tập trung học hay không.

5.1. Ứng Dụng Nhận Dạng Biểu Cảm trong Điều Khiển Thiết Bị

Nhận dạng biểu cảm được ứng dụng trong điều khiển các thiết bị chỉ bằng biểu cảm khuôn mặt, chẳng hạn điều khiển xe lăn cho người khuyết tật. Ngoài ra, nó có thể được sử dụng để điều khiển các thiết bị thông minh trong nhà (bật/tắt đèn, điều chỉnh âm lượng nhạc,...).

5.2. Ứng Dụng Trí Tuệ Nhân Tạo trong Giáo Dục Hiện Đại

Trong lĩnh vực giáo dục, AI được ứng dụng để theo dõi sự tập trung của học sinh trong lớp học. Bằng cách nhận dạng biểu cảm khuôn mặt, hệ thống có thể đánh giá mức độ quan tâm của học sinh và điều chỉnh phương pháp giảng dạy cho phù hợp.

VI. Kết Luận và Hướng Phát Triển Nghiên Cứu Nhận Dạng

Luận văn trình bày phương pháp nhận dạng biểu cảm khuôn mặt sử dụng xấp xỉ đa thức (đường cong Bezier) và mạng nơ-ron. Phương pháp này có ưu điểm về hiệu năng tính toán và độ chính xác. Hướng phát triển bao gồm: cải thiện độ chính xác trong điều kiện ánh sáng yếu, góc nhìn khác nhau, và nghiên cứu các biểu cảm phức tạp hơn. Nghiên cứu này đóng góp vào sự phát triển của các hệ thống tương tác người-máy thông minh và các ứng dụng khác liên quan đến nhận dạng cảm xúc.

6.1. Những Vấn Đề Tồn Đọng và Hạn Chế Của Nghiên Cứu

Luận văn còn tồn tại một số vấn đề, đặc biệt trong điều kiện ánh sáng yếu, góc nhìn khác nhau và biểu cảm phức tạp. Cần cải thiện khả năng xử lý ảnh trong các điều kiện môi trường khác nhau. Cần nghiên cứu các phương pháp trích xuất đặc trưng mạnh mẽ hơn để nhận diện các biểu cảm phức tạp.

6.2. Hướng Phát Triển Luận Văn về AI Nhận Dạng Khuôn Mặt

Hướng phát triển của luận văn bao gồm: sử dụng mạng nơ-ron sâu (deep learning) để học các đặc trưng tự động, tích hợp thông tin âm thanh và ngôn ngữ để tăng độ chính xác, và phát triển các ứng dụng thực tế cho hệ thống nhận dạng biểu cảm. Phát triển một cách toàn diện những ứng dụng trí tuệ nhân tạo trong khuôn mặt trong tương lai.