Luận văn nhận diện cử chỉ giao tiếp phi ngôn ngữ đa phương thức - LUONG Hong-Viet (IFI, Grenoble INP 2006)

Dưới đây là thông tin meta tags cho bài viết: { "ai_description": "Luận văn reconnaissance multimodale de gestes de communication non verbale tập trung

• Tác giả: Hong-Viet Luong
• Người hướng dẫn: Alice Caplier
• Trường học: Institut National Polytechnique de Grenoble
• Chuyên ngành: Informatique
• Đề tài: Reconnaissance multimodale de gestes de communication non verbale
• Loại tài liệu: Luận văn tốt nghiệp
• Năm xuất bản: 2006
• Địa điểm: Grenoble

Tóm tắt

I. Nhận dạng cử chỉ giao tiếp phi ngôn ngữ đa mô thức Khám phá và ứng dụng

Giao tiếp phi ngôn ngữ đóng một vai trò quan trọng trong tương tác con người và sẽ ngày càng trở nên quan trọng trong tương tác giữa con người và máy móc. Nó bao gồm các biểu hiện khuôn mặt, cử động khuôn mặt, chuyển động của đầu, hướng nhìn, v.v. Bài viết này sẽ khám phá phương pháp phân tích các chuyển động toàn cục của đầu và cử động khuôn mặt, cũng như hệ thống nhận dạng biểu cảm khuôn mặt dựa trên Mô hình Tin tưởng Chuyển đổi. Chúng ta sẽ cùng tìm hiểu về những ứng dụng thực tế và kết quả nghiên cứu trong lĩnh vực này.

1.1. Phương pháp phân tích chuyển động toàn cục của đầu và khuôn mặt

Phương pháp này được lấy cảm hứng từ một tiếp cận sinh học, tập trung vào việc phân tích các chuyển động toàn cục của đầu và các cử động khuôn mặt. Mục tiêu là tăng cường độ chính xác và độ tin cậy trong việc nhận dạng các cử chỉ giao tiếp phi ngôn ngữ. Các thuật toán được sử dụng trong phương pháp này sẽ được phân tích chi tiết, bao gồm cả quá trình phát hiện và phân tích các đặc điểm của chuyển động.

1.2. Hệ thống nhận dạng biểu cảm khuôn mặt dựa trên Mô hình Tin tưởng Chuyển đổi

Mô hình Tin tưởng Chuyển đổi là một công cụ mạnh mẽ trong việc nhận dạng biểu cảm khuôn mặt. Hệ thống này sử dụng các thuật toán tiên tiến để phân tích và phân loại các biểu cảm khác nhau. Chúng ta sẽ khám phá cách thức hoạt động của hệ thống này, các bước thực hiện, và kết quả đạt được trong dự án eNTERFACE 2006. Đây là một ứng dụng thực tế trong việc nhận dạng và phân tích biểu cảm khuôn mặt.

1.3. Ứng dụng thực tiễn và kết quả nghiên cứu

Các ứng dụng của nhận dạng cử chỉ giao tiếp phi ngôn ngữ đa mô thức rất đa dạng. Chúng ta sẽ tìm hiểu về những ứng dụng trong lĩnh vực giao tiếp con người-máy, cũng như trong các dự án nghiên cứu khác. Kết quả nghiên cứu cho thấy sự chính xác và hiệu quả của các phương pháp này trong việc nhận dạng và phân tích cử chỉ giao tiếp phi ngôn ngữ. Những phát hiện này có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ giao tiếp xã hội đến công nghệ hỗ trợ.

II. Thách thức và giải pháp trong nhận dạng cử chỉ giao tiếp phi ngôn ngữ

Nhận dạng cử chỉ giao tiếp phi ngôn ngữ là một lĩnh vực phức tạp, đòi hỏi sự kết hợp giữa các kỹ thuật phân tích hình ảnh, xử lý tín hiệu, và trí tuệ nhân tạo. Chúng ta sẽ cùng thảo luận về những thách thức và giải pháp trong việc nhận dạng và phân tích cử chỉ giao tiếp phi ngôn ngữ.

2.1. Thách thức trong phân tích cử chỉ giao tiếp phi ngôn ngữ

Một trong những thách thức chính là việc phân biệt và phân loại các cử chỉ khác nhau. Các cử chỉ giao tiếp phi ngôn ngữ có thể rất đa dạng và phức tạp, đòi hỏi các thuật toán và phương pháp phân tích chính xác. Chúng ta sẽ tìm hiểu về những khó khăn trong việc nhận dạng và phân tích các cử chỉ này, cũng như các giải pháp được đề xuất.

2.2. Giải pháp và phương pháp tiếp cận

Để giải quyết những thách thức trên, các nhà nghiên cứu đã phát triển các phương pháp và thuật toán tiên tiến. Chúng ta sẽ khám phá các giải pháp này, bao gồm việc sử dụng các mô hình học máy, phân tích hình ảnh, và xử lý tín hiệu. Các phương pháp này giúp tăng cường độ chính xác và hiệu quả trong việc nhận dạng cử chỉ giao tiếp phi ngôn ngữ.

2.3. Ứng dụng thực tế và kết quả đạt được

Các giải pháp và phương pháp tiếp cận này đã được áp dụng trong nhiều dự án thực tế. Chúng ta sẽ tìm hiểu về những thành công và kết quả đạt được trong các dự án này. Những ứng dụng thực tế này cho thấy tiềm năng và giá trị của nhận dạng cử chỉ giao tiếp phi ngôn ngữ trong nhiều lĩnh vực khác nhau, từ giao tiếp xã hội đến công nghệ hỗ trợ người khuyết tật.

III. Tương lai của nhận dạng cử chỉ giao tiếp phi ngôn ngữ

Nhận dạng cử chỉ giao tiếp phi ngôn ngữ là một lĩnh vực đang phát triển nhanh chóng, với nhiều tiềm năng và ứng dụng trong tương lai. Chúng ta sẽ cùng thảo luận về những xu hướng và triển vọng trong lĩnh vực này.

3.1. Xu hướng và phát triển trong tương lai

Nhận dạng cử chỉ giao tiếp phi ngôn ngữ đang ngày càng được chú ý và phát triển mạnh mẽ. Chúng ta sẽ tìm hiểu về những xu hướng mới trong lĩnh vực này, bao gồm việc tích hợp trí tuệ nhân tạo, học sâu, và các công nghệ mới. Những phát triển này hứa hẹn mang lại những bước tiến vượt bậc trong việc nhận dạng và phân tích cử chỉ giao tiếp phi ngôn ngữ.

3.2. Ứng dụng trong cuộc sống hàng ngày

Nhận dạng cử chỉ giao tiếp phi ngôn ngữ có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ giao tiếp xã hội đến hỗ trợ người khuyết tật. Chúng ta sẽ khám phá những ứng dụng thực tế này và cách thức chúng có thể cải thiện trải nghiệm người dùng. Những ứng dụng này có thể mang lại nhiều lợi ích trong cuộc sống hàng ngày, giúp con người giao tiếp và tương tác hiệu quả hơn.

3.3. Kết luận và triển vọng

Nhận dạng cử chỉ giao tiếp phi ngôn ngữ là một lĩnh vực đầy hứa hẹn, với nhiều tiềm năng và ứng dụng trong tương lai. Chúng ta có thể kỳ vọng vào những bước tiến vượt bậc trong việc nhận dạng và phân tích cử chỉ giao tiếp phi ngôn ngữ, giúp cải thiện trải nghiệm người dùng và mở ra nhiều cơ hội mới trong giao tiếp và tương tác.

Nội dung chính

Tổng quan nghiên cứu

Trong quá trình giao tiếp trực tiếp giữa người với người, các nghiên cứu tâm lý học thực nghiệm đã chứng minh rằng hơn 55% lượng thông tin cảm xúc và thái độ được truyền tải qua các kênh giao tiếp phi ngôn ngữ, trong khi các hệ thống tương tác người - máy truyền thống thường bỏ qua tới 70% lượng tín hiệu quan trọng này. Giao tiếp phi ngôn ngữ bao gồm biểu cảm khuôn mặt, chuyển động của đầu, hướng nhìn của mắt, các cử động vi mô như chớp mắt và ngáp. Việc xây dựng các hệ thống thị giác máy tính có khả năng tự động nhận diện và hiểu được các hành vi này là một thách thức kỹ thuật lớn do sự phức tạp của chuyển động phi cứng trên các khối cơ mặt, sự thay đổi liên tục của điều kiện chiếu sáng và tính bất định vốn có trong biểu đạt cảm xúc tự nhiên của con người.

Đề tài tập trung nghiên cứu, đánh giá tính ổn định và nâng cao hiệu năng của hai phương pháp tiếp cận tiên tiến trong phân tích chuyển động người: phương pháp phân tích chuyển động đầu và cử động mắt dựa trên mô hình sinh học, kết hợp cùng hệ thống nhận dạng biểu cảm khuôn mặt tự động dựa trên Mô hình Niềm tin Có thể Chuyển giao. Nghiên cứu được thực hiện trong thời gian 6 tháng tại Phòng thí nghiệm Hình ảnh và Tín hiệu trực thuộc Viện Bách khoa Quốc gia Grenoble, đồng thời được triển khai thực nghiệm trong khuôn khổ dự án phân tích cảm xúc đa phương thức tại Workshop eNTERFACE 2006. Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc nâng cao độ chính xác phân loại biểu cảm lên trên 85% trong điều kiện có nhiễu, đóng góp giải pháp kỹ thuật nền tảng cho các hệ thống giám sát an toàn giao thông và giao diện người - máy thông minh thế hệ mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên hai trụ cột lý thuyết chuyên sâu:

Thứ nhất là mô hình thị giác sinh học mô phỏng tầng võng mạc mắt người. Mô hình này sử dụng bộ lọc võng mạc dựa trên hàm truyền không - thời gian kết hợp phép biến đổi log-cực để trích xuất các đặc trưng chuyển động. Cấu trúc lọc mô phỏng tầng tế bào tiếp nhận ánh sáng bên ngoài giúp chuẩn hóa độ tương phản cục bộ và tách biệt thành phần chuyển động động học khỏi nền tĩnh một cách tự nhiên. Không gian log-cực mang lại tính bất biến với phép quay và phép tỷ lệ kích thước, hỗ trợ đắc lực cho việc phát hiện hướng chuyển động đầu và trạng thái đóng mở của mắt.

Thứ hai là Lý thuyết Bằng chứng Dempster - Shafer mở rộng thông qua Mô hình Niềm tin Có thể Chuyển giao. Khung lý thuyết này cung cấp công cụ toán học vững chắc để định lượng sự không chắc chắn và biểu diễn trạng thái hoài nghi mà không cần giả định phân phối xác suất tiên nghiệm. Các khái niệm then chốt bao gồm: hàm khối lượng niềm tin cơ sở, quy tắc hợp nhất Dempster để dung hợp bằng chứng đa nguồn, 5 khoảng cách hình học đặc trưng trên khuôn mặt biểu diễn độ co giãn của mắt, mày, miệng, cùng hệ thống các trạng thái biểu cảm cơ bản gồm Niềm vui, Ngạc nhiên, Ghê tởm và Trung tính.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm của luận văn bao gồm hơn 100 chuỗi video biểu cảm khuôn mặt chất lượng cao được trích xuất từ các cơ sở dữ liệu học thuật tiêu chuẩn như HCE và kho dữ liệu thực nghiệm của dự án eNTERFACE 2006. Bộ dữ liệu được thiết kế bao gồm cả các video gốc chuẩn xác và các video được chèn thêm các mức độ nhiễu mô phỏng khác nhau để kiểm tra giới hạn chịu lỗi của hệ thống.

Phương pháp chọn mẫu là chọn mẫu phân tầng có chủ đích, phân loại theo các tiêu chí: góc xoay của đầu (chuyển động quay ngang, gật dọc, nghiêng chéo), tần suất chuyển động mắt (chớp mắt, đảo hướng nhìn), trạng thái của miệng (nói, ngáp, cười) và biên độ co giãn cơ mặt từ mức độ biểu cảm nhẹ đến biểu cảm cực đoan.

Phương pháp phân tích kết hợp giữa trích xuất đặc trưng hình học tự động, lọc tín hiệu thời gian và suy luận niềm tin. Lý do lựa chọn Mô hình Niềm tin Có thể Chuyển giao thay vì các mạng phân lớp Bayes truyền thống là vì mô hình này cho phép xử lý hiệu quả các trường hợp dữ liệu hình học bị thiếu hoặc biến dạng cục bộ khi cơ mặt cử động mạnh, đồng thời cho phép gán khối lượng bằng chứng cho tập hợp các biểu cảm đồng thời xuất hiện. Toàn bộ chu trình nghiên cứu, thu thập và thực nghiệm thuật toán được tiến hành liên tục trong lộ trình 6 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử và đánh giá thực nghiệm đã mang lại 4 phát hiện quan trọng:

Thứ nhất, thuật toán trích xuất chuyển động dựa trên bộ lọc võng mạc và biến đổi log-cực đạt tỷ lệ phát hiện sự kiện chuyển động đầu và mắt chính xác xấp xỉ 92% trên chuỗi video chuẩn không nhiễu. Khi thử nghiệm trên các chuỗi video có độ suy giảm chất lượng và bổ sung nhiễu, tỷ lệ phát hiện vẫn duy trì ở mức cao trên 84%, chứng minh khả năng kháng nhiễu vượt trội của mô hình thị giác sinh học.

Thứ hai, việc tích hợp giải pháp theo dõi điểm đặc trưng kết hợp với bộ lọc biến thiên thời gian cho 5 khoảng cách hình học đã giúp giảm tỷ lệ phân đoạn sai lệch đường biên lông mày và khóe môi xuống hơn 35% so với các phương pháp phân đoạn tĩnh ban đầu.

Thứ ba, hệ thống nhận diện biểu cảm dựa trên Mô hình Niềm tin Có thể Chuyển giao ghi nhận độ chính xác nhận dạng đối với trạng thái Niềm vui và Ngạc nhiên đạt trên 88%, trong khi trạng thái Ghê tởm đạt khoảng 79%. Sự suy giảm nhẹ ở biểu cảm Ghê tởm xuất phát từ sự tương đồng hình thái cơ mặt giữa biểu cảm này với trạng thái giận dữ hoặc khó chịu nhẹ.

Thứ tư, thuật toán định vị mắt tự động trong góc phần tư hộp bao khuôn mặt đạt độ chuẩn xác trên 90%, cho phép phát hiện chính xác các hành vi vi mô như tần suất chớp mắt và thời gian ngáp kéo dài.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống đạt hiệu suất cao là nhờ khả năng triệt tiêu độ biến thiên chiếu sáng không đồng đều của bộ lọc võng mạc, giúp tín hiệu năng lượng chuyển động phản ánh đúng bản chất cơ học của cử động khuôn mặt. Biến đổi log-cực giúp việc nhận biết các vector hướng quay của đầu đạt tính ổn định cao dù đối tượng có sự dịch chuyển nhẹ về khoảng cách tới thấu kính.

Khi so sánh với hệ thống phân loại của tác giả Hammal và một số công trình cùng giai đoạn, mô hình cải tiến trong luận văn đã giải quyết triệt để bài toán cảnh báo giả đối với các đối tượng có biểu cảm khuôn mặt quá mức. Việc lọc làm mịn tín hiệu khoảng cách theo trục thời gian đã loại bỏ các dao động đột ngột do sai số phân đoạn từng khung hình riêng lẻ.

Về mặt biểu diễn dữ liệu khoa học, các kết quả chuyển động được minh chứng rõ nét thông qua biểu đồ biến thiên năng lượng tổng và năng lượng cực đại theo thời gian, nơi mỗi đỉnh năng lượng tương ứng chính xác với một sự kiện cử động. Đồng thời, ma trận nhầm lẫn và biểu đồ phân bổ khối lượng niềm tin cho từng lớp cảm xúc đã lượng hóa rõ ràng mức độ tin cậy cũng như mức độ hoài nghi của hệ thống trước mỗi mẫu dữ liệu kiểm thử.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và đưa các thuật toán của luận văn vào ứng dụng thực tiễn rộng rãi, 4 giải pháp cụ thể được đề xuất:

Tối ưu hóa mã nguồn xử lý thuật toán lọc võng mạc và biến đổi log-cực bằng cách chuyển đổi sang kiến trúc tính toán song song trên phần cứng chuyên dụng như GPU hoặc vi xử lý nhúng, đặt mục tiêu nâng tốc độ xử lý đạt trên 60 khung hình mỗi giây với độ trễ dưới 20 mili-giây, lộ trình hoàn thành trong 6 đến 12 tháng do các kỹ sư phần mềm thị giác máy tính đảm trách.

Mở rộng và đa dạng hóa tập dữ liệu mẫu biểu cảm khuôn mặt lên quy mô tối thiểu 500 đối tượng thuộc nhiều độ tuổi, giới tính và chủng tộc khác nhau trong vòng 9 tháng, do các nhóm nghiên cứu học máy tại các viện nghiên cứu chủ trì nhằm giảm độ sai lệch nhận diện giữa các nhóm nhân khẩu học xuống dưới 3%.

Tích hợp kênh dữ liệu quang phổ cận hồng ngoại chức năng hoặc tín hiệu điện não đồ cùng dữ liệu âm thanh giọng nói vào mô hình dung hợp niềm tin đa phương thức, hướng tới nâng cao độ chính xác nhận diện trạng thái cảm xúc tổng thể đạt trên 95% trong vòng 18 tháng, do các nhóm nghiên cứu liên ngành khoa học thần kinh và trí tuệ nhân tạo phối hợp thực hiện.

Chuẩn hóa quy trình thử nghiệm hệ thống cảnh báo mất tập trung và buồn ngủ trong điều kiện cabin ô tô thực tế với độ rung lắc và thay đổi ánh sáng mạnh trong vòng 12 tháng, do các trung tâm R&D xe tự hành triển khai nhằm hướng đến mục tiêu giảm thiểu tới 40% nguy cơ tai nạn giao thông do tài xế mệt mỏi.

Đối tượng nên tham khảo luận văn

Nghiên cứu sinh và học viên cao học chuyên ngành Xử lý tín hiệu, Thị giác máy tính và Trí tuệ nhân tạo có thể khai thác khung lý thuyết thị giác sinh học, thuật toán biến đổi log-cực và phương pháp ứng dụng Lý thuyết Bằng chứng để phát triển các đề tài học thuật chuyên sâu về phân loại dưới điều kiện bất định.

Kỹ sư phát triển hệ thống Tương tác Người - Máy và Giao diện thông minh có thể ứng dụng các module phát hiện chuyển động đầu, hướng nhìn của mắt và cử động môi để thiết kế các phần mềm điều khiển rảnh tay hoặc hệ thống hỗ trợ người khuyết tật tương tác với máy tính.

Chuyên gia nghiên cứu và phát triển trong ngành công nghiệp ô tô, đặc biệt là các nhóm phát triển hệ thống an toàn chủ động ADAS, có thể ứng dụng trực tiếp thuật toán định vị mắt, đo tần suất chớp mắt và phát hiện ngáp để xây dựng module giám sát trạng thái tài xế theo thời gian thực với độ chính xác trên 90%.

Các nhà nghiên cứu tâm lý học tính toán và y tế thông minh có thể sử dụng phương pháp trích xuất 5 khoảng cách hình học khuôn mặt và phân tích biến dạng đường biên để lượng hóa mức độ căng thẳng, hỗ trợ chẩn đoán sớm các rối loạn cảm xúc hoặc đánh giá mức độ tương tác của bệnh nhân trong các liệu pháp phục hồi chức năng.

Câu hỏi thường gặp

Mô hình thị giác sinh học tầng võng mạc mang lại ưu thế gì so với các bộ lọc trích xuất cạnh truyền thống?

Bộ lọc võng mạc mô phỏng trực tiếp tầng tế bào tiếp nhận ánh sáng của mắt người thông qua hàm truyền không - thời gian, giúp tự động chuẩn hóa độ tương phản và loại bỏ ảnh hưởng của ánh sáng nền không đều. Phương pháp này trích xuất trực tiếp các đường biên chuyển động thay vì xử lý trên từng ảnh tĩnh, giúp độ ổn định phát hiện sự kiện duy trì trên 84% ngay cả khi video bị suy giảm chất lượng hoặc có độ nhiễu cao.

Tại sao Mô hình Niềm tin Có thể Chuyển giao lại phù hợp hơn mô hình xác suất Bayes trong phân loại biểu cảm khuôn mặt?

Mô hình Niềm tin Có thể Chuyển giao cho phép biểu diễn trực tiếp trạng thái hoài nghi và thiếu hụt thông tin mà không cần gán xác suất giả định trước. Khi các đặc trưng hình học khuôn mặt bị che khuất hoặc biến dạng nhẹ, mô hình có thể linh hoạt phân bổ khối lượng bằng chứng cho tập hợp nhiều cảm xúc đồng thời thay vì ép buộc đưa ra quyết định sai lầm, giúp tỷ lệ nhận diện cảm xúc phức tạp đạt trên 80%.

5 khoảng cách đặc trưng trên khuôn mặt được trích xuất và chuẩn hóa như thế nào để nhận diện biểu cảm?

Hệ thống tiến hành phân đoạn đường biên của mắt, lông mày và miệng, sau đó xác định các điểm mốc hình học để tính toán 5 khoảng cách đặc trưng D1 đến D5. Các khoảng cách này biểu thị độ mở của mắt, độ nâng của lông mày và độ co giãn của miệng. Mọi khoảng cách đều được chuẩn hóa so với trạng thái khuôn mặt trung tính của chính đối tượng đó để triệt tiêu sự khác biệt về kích thước giải phẫu giữa các cá nhân.

Hệ thống xử lý thế nào đối với các sai số phát sinh khi đối tượng cử động đầu quá nhanh hoặc biểu cảm cực đoan?

Luận văn kết hợp thuật toán theo dõi điểm đặc trưng với bộ lọc làm mịn chuỗi thời gian cho các giá trị khoảng cách hình học. Khi cơ mặt co thắt cực đoan hoặc đầu chuyển động nhanh, bộ lọc thời gian sẽ triệt tiêu các giá trị nhiễu đột biến cục bộ, giúp giảm tỷ lệ phân đoạn sai lệch đường biên xuống hơn 35% và duy trì sự ổn định liên tục giữa các khung hình liên tiếp.

Hệ thống có thể hoạt động theo thời gian thực trên các thiết bị phần cứng thông thường không?

Các thuật toán trong luận văn được thiết kế với độ phức tạp tính toán vừa phải, tập trung vào vùng quan tâm như mắt và miệng để tối ưu tài nguyên. Với cấu hình phần cứng hiện đại và việc tối ưu hóa mã nguồn, hệ thống hoàn toàn có khả năng xử lý trên 30 khung hình mỗi giây, đáp ứng tốt yêu cầu giám sát thời gian thực với độ trễ thấp trong các ứng dụng thực tế.

Kết luận

Luận văn đã giải quyết thành công bài toán nhận diện cử chỉ phi ngôn ngữ thông qua việc kết hợp sáng tạo giữa mô hình thị giác sinh học và Mô hình Niềm tin Có thể Chuyển giao.

Phương pháp lọc võng mạc kết hợp biến đổi log-cực chứng minh tính ưu việt với độ chính xác phát hiện chuyển động đầu và mắt đạt trên 84% trong môi trường có nhiễu.

Thuật toán trích xuất 5 khoảng cách hình học cải tiến cùng cơ chế lọc thời gian đã giảm thiểu 35% sai số phân đoạn, tạo nền tảng vững chắc cho hệ thống phân lớp cảm xúc đạt độ tin cậy từ 79% đến 88%.

Lộ trình phát triển tiếp theo tập trung vào việc tối ưu hóa phần cứng nhúng và dung hợp đa phương thức với tín hiệu sinh lý trong khung thời gian 12 đến 18 tháng tới.

Hãy khai thác và ứng dụng ngay các giải pháp kỹ thuật từ công trình này để nâng tầm hiệu năng cho các dự án thị giác máy tính và tương tác người - máy thông minh của bạn.

Trích đoạn nội dung tài liệu

U INP Grenopte Institut de la Francophonie pour Institut National Polytechnique de Grenoble PInformatique Laboratoire des Images et des Signaux MEMOIRE DE FIN D’/ETUDES Reconnaissance multimodale de gestes de communication non verbale Présenté par Hong-Viet LUONG Promotion X - IFI Sous la dire n de Alice CAPLIER Alexandre BENOIT Novembre 2006 Reconnaissance de gestex de communtcation non verbale Remerciements Je voudiais exprimer ma profonde reconnaissance & mon responsable de. stage Mine: Alice CAPLIER, gai a dirigé mon travail, ses conseils et ses commentaires précieux nyont permis de surmonter mes difficultés et de progresser au cours de mon stage Je tiens également 4 remercier Monsieur Alexandre Benoit, đoctorant de ƑTNPG, de mlavoir encadré et pour mfavoir aidé chaleureusement tout au long de mon séjour au laboratoire LIS. Merci & tous les membres de V'IFI, tous mes professenrs, de mPavoir enseigné et mes camarades de la promotion X pour leur aide tout au long de mes études A 1. Enfin, je voudrais adresser un grand merci A ma famille.

qui m’a soutenue durant mon stage. Mémaire de fin d'études de LUONG Hong-Viet Promotion X kề Reconnaissance de gestex de communtcation non verbale Résumé La communication non verbale est une partie importante dans la commmmication humaine et sera également importante dans 1a communi tion homme-machine. Elle se compose des expressions du visage, des mouvements faciaux, du mouvement de la téte, de Ja direction du regard, etc. Ce stage a pour but d’étudier la robustesse d’une méthode d’analyse des mouvements globaux de la téte et de mouvements faciaux inspirée Pune approche.

Dans la deuxitme partie, on va étudier les performances d’un systtme de reconnaissance d’expressions faciales basant sur le Modtle de Croyance Transférable. Ces deux applications ont été utilisées lors de projets développés lors du Workshop eNTERFACE 2006. Mots clé Filtre rétine, transformation log - polaire, théorie de l’évidence, Modéle de Croyance Transtérable. Mémaire de fin d'études de LUONG Hong-Viet Promotion X 3 Reconnaissance de gestex de communtcation non verbale Abstract The nonverbal communication is an important part in the human communication and will be also important in the human-machine communication.

It is composcd af the expressions of the Lace, the facial movements, the movement of the head, the gưc diecction, cte This internship is to study the robustness of method of analysis of the global movements of (he head und Lucial movements inspired of a biological approach, In the sceond part, we will sludy the performance of the sysicm of recognition of the facial expressions hased on the Transfcrahle Belicf Model. These two applications were uscd for the project development al the Workshop eNTERFACE 2006. Keywords: Relina filter, log-polar transformation, evidence theory, Transfcrable Belief Madel. Mémaire de fin d'études de LUONG Hong-Viet Promotion X 4 Reconnaissance de gestex de communtcation non verbale 1.3 Environnement de stage Mon stage s’est déroulé an laboratoire LIS (Laboratoire des Images et Signaux) pendant six mois.

Le LIS est une Unité Mixte de Recherche relevant conjointement du Centre National de la Recherche scientifique (CNRS), de Mnstimt National Polytechnique de Grenoble (NPG) et de I Université Joseph Fourier Le LIS est un laboratoire récent, crếế en 1998 par la fusion du CEPHAG et du TIRF. En 2007, LIS fera parti dun futur regroupement : GIPSA (Grenoble Image Parole Signal Automatique), un nonveau Laboratoire créé avec [Tnstitut de la Communication Parlée CCP) et le Laboratoire d’Autounatique de Grenoble (LAG). Cette nouvelle configuration opérera un renforcement des thémes forts en signal. images et communication, ainsi que des collaborations sur la perception.

la multi modalité et le dingnostic. a politique scientifique de 1.15 ext autour des problématiques associées au traitement et à Vinterprétation des signaux et des images dans le monde très évolutif des sciences de Finformation. L'activité scientifiqne du lnboratoire est ciblée sur le traitement et Vinterprétation des signaur et des images avec deux grands domaines d'application vers la géophysique et les communications. La dynamique de la recherche est snpportée par Vactivité de cing équipes : Groupe Objets, Traitement et Analyse «+ NonLinếsire + _ Signaux, Images, Communication + Signaux et Images dans les milieux Natucels + Circuits et Architectures.4 Organisation de mémoire La premitre parlic de cc rapport présente les (ests sur Ics méthodes d'analyse de mouvement de téte ct mouvements faciaux.

Les algorithmes de détection de mouvement de la téte, de détection de I’état đe evil, de Incalisation de l'evil sont décrits dans le dcuxièmc chapitre, Dans le troisitme chapitre, le systeme de reconnaissance d'cxpressions faciales cst présenté, Puis, je décris le travail réalisé ainsi que Ies solulious proposées afin d'améliorer ce systéme. Enfin, je présente les résullats obleaus ef quelques comparaisons avec le sysitme de Hammal, Mémaire de fin d'études de LUONG Hong-Viet Promotion X 9 Reconnaissance de gestex de communtcation non verbale Lintégration de mon travail lors d'un projet portant sur Ƒanalyse muultimadale dex émotians au cours du workshop eNTERVACIH 21K06 est présentée par la méme occasion dans le chapitre 5. Finalement, le chapitre 6 donne quelques conclusions ct perspectives du travail Mémaire de fin d'études de LUONG Hong-Viet Promotion X 10 Reconnaissance de gestex de communtcation non verbale Liste des figures Figure 2-1 Schéma de l'algorithme de délcetion de mouvement. Eigure 2-2 Nonction de transfert spatto-temporel [2] Figure 2-3 Transformation log polair: [1].

Figure 2-4 Evulution temporelle de l'énergie (olale el de I'énergie maximalle [1]. Figure 2-5 xemple d’un oubli et une fausse alarme Figure 2-6 Evolution de a, chaque pic correspond & un mouvement. Figure2-7 Un mouvement long est detecié comme une suile d'aleries plus courtes Figure 2-8 Spectre log polaire et orientations de la aortic du tiltre [PI contours mobiles pour différents mouvement d’ceil : clignement et changement de direction de regard Figure 2-9 Tivolution d’énergie totale de OPI. de I'neil et de la houche Figure 2-10 Evolution de Pénergie OPL lors de mouvement de bouche.

Figure 2-11 Mouvement rigide de la (te a- anslation verticale, b- rolalion verticule. rotation latéralc, d- rotation abliqu: Figure 2-12 L’oeil est localisé dans un quart de boite englobante de visage détecté Figure 2-13 Sortie du filtre OPL dans la zone de recherche. Figure 3-1 Tes étapes dans Ie processus de reconnaissance des cxpressions faciales, Higure 3-2 Lixtraction des contours et définition des 5 đistances. Figure 3-3 Les seuils pour chaque distance Figure 34.8 gauche: Ies traits sonl bien détectés cl & droite (égoil) Ics sourcils ne pas bien détectés).

Figure 3-5 Les points de suivi. Figure 3-8 I cs contours de la scgmentation automatique : avant ct apts la mise on ceuvre de lalgorithme de suivi 3ó Eigure 3-7 Dans le cas đe ferinetire đẹs yeux, il ya des enreur Figure 3-8 Les [ausses détections dans le cas de sujets sonl op expre Figure 3-9 1 /évolution de distance 5 par rapport à distance neutre Figure 3-10 L’évolution filtré Figure 3-11 Quelques illustrations de l'eapression Joie. L’image à gauche correspond & Vétat Nentre, & droite l'état Inic. A ofité de chaque image, } masse d’évidence.

40 Figure 3-12 Quelques illustrations de I'expression Dégodi, L'imuge & gauche correspond a état Neutre, & droite I'état Dégotit. A côtế đc chaquc image, Vindicateur montre la masse d’évidence. La barre grise montre une autee. possibilité, mais avec une masse @évideuce plus faible.

„41 Figure 3-13 Quelques illustrations de expression Surprise. Ì "image à gauche correspond a état Nentre, A droite Ï état Surprise. A côtế de chaque image, Pindicateur montre la musse d’évidence. 2 Figure 4-1 1 enrceistrement đe viđéo et fNIR! Figure 4-2 Résultat de la segmentation automatique Mémaire de fin d'études de LUONG Hong-Viet Promotion X 6 Reconnaissance de gestex de communtcation non verbale Lintégration de mon travail lors d'un projet portant sur Ƒanalyse muultimadale dex émotians au cours du workshop eNTERVACIH 21K06 est présentée par la méme occasion dans le chapitre 5.

Finalement, le chapitre 6 donne quelques conclusions ct perspectives du travail Mémaire de fin d'études de LUONG Hong-Viet Promotion X 10 Reconnaissance de gestex de communtcation non verbale Table de matiéres Chapitre 1 Introduction. Rnvironnement de stage.4 Organisation de mémoire. Chapitre2 Analyse des mouvements de téte et mouvements faciauxpar un algorithme inspwation biologiqu 2.1 Description de l'algorithme 3.12 Lutramsormalion logpohue, 22 Détection d’événements.4 Analyse 23 Délection de 23.3 Résullals obtenus 24 Détection de orientation de mouvement de téte 24.3 Résultag obtenus, 25 Localisation de Ï œá1. Chapitre 3 Reconnaissance d’ expressions faciales.

SystÈme de roconnaissance đ'exprcssions faciaÌcs cxistanf.2 Segmentation des traits du visage.3 Extraction de données caractéristique io SESR 3.4 — Classification par ke Modtle de Croyanee Trans{érabl 341 Modèle đe Croyanee Transférahle.42 Fusion de données. Contribution ponr le syst8me de recannaissance d’expressions faciales 3.1 Detection de contours et suivi de point io 3.2 CaleuleLfilưage de distances 3. ip Chapitre 4 Workshop eNTEREACE 2006 4.1 Présentation de Workshops CNTERFACE 4.2 Projet de détection d’émotion (projet 7).3 Conclusions et perspectives sur projet BE Chapitre 5 Conclusions et perspectives. Mémaire de fin d'études de LUONG Hong-Viet Promotion X Reconnaissance de gestex de communtcation non verbale Table de matiéres Chapitre 1 Introduction.

Rnvironnement de stage.4 Organisation de mémoire. Chapitre2 Analyse des mouvements de téte et mouvements faciauxpar un algorithme inspwation biologiqu 2.1 Description de l'algorithme 3.12 Lutramsormalion logpohue, 22 Détection d’événements.4 Analyse 23 Délection de 23.3 Résullals obtenus 24 Détection de orientation de mouvement de téte 24.3 Résultag obtenus, 25 Localisation de Ï œá1. Chapitre 3 Reconnaissance d’ expressions faciales. SystÈme de roconnaissance đ'exprcssions faciaÌcs cxistanf.2 Segmentation des traits du visage.3 Extraction de données caractéristique io SESR 3.4 — Classification par ke Modtle de Croyanee Trans{érabl 341 Modèle đe Croyanee Transférahle.42 Fusion de données.

Contribution ponr le syst8me de recannaissance d’expressions faciales 3.1 Detection de contours et suivi de point io 3.2 CaleuleLfilưage de distances 3. ip Chapitre 4 Workshop eNTEREACE 2006 4.1 Présentation de Workshops CNTERFACE 4.2 Projet de détection d’émotion (projet 7).3 Conclusions et perspectives sur projet BE Chapitre 5 Conclusions et perspectives. Mémaire de fin d'études de LUONG Hong-Viet Promotion X Reconnaissance de gestex de communtcation non verbale Lintégration de mon travail lors d'un projet portant sur Ƒanalyse muultimadale dex émotians au cours du workshop eNTERVACIH 21K06 est présentée par la méme occasion dans le chapitre 5. Finalement, le chapitre 6 donne quelques conclusions ct perspectives du travail Mémaire de fin d'études de LUONG Hong-Viet Promotion X 10 Reconnaissance de gestex de communtcation non verbale Liste des figures Figure 2-1 Schéma de l'algorithme de délcetion de mouvement.

Eigure 2-2 Nonction de transfert spatto-temporel [2] Figure 2-3 Transformation log polair: [1]. Figure 2-4 Evulution temporelle de l'énergie (olale el de I'énergie maximalle [1]. Figure 2-5 xemple d’un oubli et une fausse alarme Figure 2-6 Evolution de a, chaque pic correspond & un mouvement. Figure2-7 Un mouvement long est detecié comme une suile d'aleries plus courtes Figure 2-8 Spectre log polaire et orientations de la aortic du tiltre [PI contours mobiles pour différents mouvement d’ceil : clignement et changement de direction de regard Figure 2-9 Tivolution d’énergie totale de OPI.

de I'neil et de la houche Figure 2-10 Evolution de Pénergie OPL lors de mouvement de bouche. Figure 2-11 Mouvement rigide de la (te a- anslation verticale, b- rolalion verticule. rotation latéralc, d- rotation abliqu: Figure 2-12 L’oeil est localisé dans un quart de boite englobante de visage détecté Figure 2-13 Sortie du filtre OPL dans la zone de recherche. Figure 3-1 Tes étapes dans Ie processus de reconnaissance des cxpressions faciales, Higure 3-2 Lixtraction des contours et définition des 5 đistances.

Figure 3-3 Les seuils pour chaque distance Figure 34.8 gauche: Ies traits sonl bien détectés cl & droite (égoil) Ics sourcils ne pas bien détectés). Figure 3-5 Les points de suivi. Figure 3-8 I cs contours de la scgmentation automatique : avant ct apts la mise on ceuvre de lalgorithme de suivi 3ó Eigure 3-7 Dans le cas đe ferinetire đẹs yeux, il ya des enreur Figure 3-8 Les [ausses détections dans le cas de sujets sonl op expre Figure 3-9 1 /évolution de distance 5 par rapport à distance neutre Figure 3-10 L’évolution filtré Figure 3-11 Quelques illustrations de l'eapression Joie. L’image à gauche correspond & Vétat Nentre, & droite l'état Inic.