Luận văn thạc sĩ: Chiết xuất khung xương 3D từ ảnh người tại Đại học Quốc gia Việt Nam, Hà Nội

Luận văn thạc sĩ nghiên cứu extraction de squelettes 3d a partir dimages de silhouettes humaines reconnaissance de postures et, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Dieudonné Fabrice
• Người hướng dẫn: Dr Damien Vivet, Maître De Conférence
• Trường học: Université Nationale Du Vietnam, Hanoi
• Chuyên ngành: Systèmes Intelligents Et Multimédia
• Đề tài: Chiết Xuất Khung Xương 3D Từ Ảnh Người
• Loại tài liệu: Mémoire De Fin D’études
• Năm xuất bản: 2015
• Địa điểm: Hanoi

Mục lục chi tiết

• Remerciements
• Résumé
• Abstract
• Liste des figures
• Liste des tableaux
• Introduction Générale
• 1. Chapitre 1: État de l’art
• 1.1. Introduction
• 1.2. La capture de mouvement
• 1.2.1. Systèmes mécaniques
• 1.2.2. Systèmes magnétiques
• 2. Méthodes et solutions proposées
• 3. Implémentation et Résultats
• Conclusion Générale
• Bibliographie
• Annexes

Tóm tắt

I. Tổng quan về chiết xuất khung xương 3D từ ảnh người

Chiết xuất khung xương 3D từ ảnh người là một lĩnh vực đang phát triển mạnh mẽ trong công nghệ hình ảnh y tế và phân tích hành vi. Công nghệ này cho phép tái tạo mô hình 3D của khung xương con người từ các hình ảnh 2D, như hình ảnh CT hoặc MRI. Việc này không chỉ giúp trong việc chẩn đoán y tế mà còn hỗ trợ trong các ứng dụng như mô phỏng hành động và phân tích chuyển động.

1.1. Khung xương 3D và ứng dụng trong y tế

Khung xương 3D được sử dụng rộng rãi trong y tế để hỗ trợ chẩn đoán và điều trị. Việc chiết xuất khung xương từ hình ảnh y tế giúp bác sĩ có cái nhìn rõ ràng hơn về cấu trúc xương của bệnh nhân, từ đó đưa ra quyết định điều trị chính xác hơn.

1.2. Công nghệ hình ảnh và vai trò trong chiết xuất khung xương

Công nghệ hình ảnh như CT và MRI đóng vai trò quan trọng trong việc thu thập dữ liệu cần thiết để chiết xuất khung xương 3D. Những hình ảnh này cung cấp thông tin chi tiết về cấu trúc bên trong cơ thể, giúp cải thiện độ chính xác của mô hình 3D.

II. Thách thức trong việc chiết xuất khung xương 3D từ hình ảnh 2D

Mặc dù công nghệ chiết xuất khung xương 3D từ hình ảnh 2D đã đạt được nhiều tiến bộ, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Một trong những vấn đề lớn nhất là việc thiếu thông tin chiều sâu từ hình ảnh 2D, điều này làm cho việc tái tạo chính xác khung xương trở nên khó khăn.

2.1. Thiếu thông tin chiều sâu và ảnh hưởng đến độ chính xác

Hình ảnh 2D không cung cấp thông tin chiều sâu, điều này dẫn đến việc khó khăn trong việc xác định vị trí chính xác của các khớp xương. Các nghiên cứu đã chỉ ra rằng việc sử dụng các thuật toán học máy có thể giúp cải thiện độ chính xác trong việc ước lượng khung xương 3D.

2.2. Các yếu tố ảnh hưởng đến chất lượng hình ảnh

Chất lượng hình ảnh từ các thiết bị chụp ảnh y tế có thể ảnh hưởng đến kết quả chiết xuất khung xương. Các yếu tố như độ phân giải, độ tương phản và nhiễu hình ảnh có thể làm giảm độ chính xác của mô hình 3D.

III. Phương pháp chiết xuất khung xương 3D hiệu quả

Để chiết xuất khung xương 3D từ hình ảnh 2D, nhiều phương pháp đã được phát triển. Các phương pháp này thường sử dụng các thuật toán học máy và mô hình hóa hình học để cải thiện độ chính xác và hiệu quả của quá trình chiết xuất.

3.1. Sử dụng thuật toán học máy trong chiết xuất khung xương

Thuật toán học máy như mạng nơ-ron tích chập (CNN) đã được áp dụng để nhận diện và phân tích các đặc điểm hình học trong hình ảnh 2D, từ đó giúp cải thiện độ chính xác trong việc chiết xuất khung xương 3D.

3.2. Mô hình hóa hình học và tái tạo khung xương

Mô hình hóa hình học là một phần quan trọng trong quá trình chiết xuất khung xương. Các mô hình này giúp tái tạo chính xác các khớp xương và cấu trúc xương từ hình ảnh 2D, tạo ra một mô hình 3D có độ chính xác cao.

IV. Ứng dụng thực tiễn của khung xương 3D trong nghiên cứu

Khung xương 3D không chỉ có ứng dụng trong y tế mà còn trong nhiều lĩnh vực khác như thể thao, giải trí và nghiên cứu hành vi. Việc chiết xuất khung xương 3D từ hình ảnh 2D mở ra nhiều cơ hội mới cho các nghiên cứu và ứng dụng thực tiễn.

4.1. Ứng dụng trong thể thao và huấn luyện

Trong thể thao, khung xương 3D được sử dụng để phân tích chuyển động của vận động viên, từ đó cải thiện kỹ thuật và hiệu suất thi đấu. Việc này giúp huấn luyện viên có thể đưa ra các điều chỉnh cần thiết để tối ưu hóa hiệu suất.

4.2. Ứng dụng trong nghiên cứu hành vi con người

Khung xương 3D cũng được sử dụng trong nghiên cứu hành vi con người, giúp các nhà nghiên cứu phân tích và hiểu rõ hơn về các hành động và tư thế của con người trong các tình huống khác nhau.

V. Kết luận và tương lai của chiết xuất khung xương 3D

Chiết xuất khung xương 3D từ hình ảnh 2D là một lĩnh vực đầy tiềm năng với nhiều ứng dụng thực tiễn. Mặc dù còn nhiều thách thức, nhưng với sự phát triển của công nghệ và các phương pháp mới, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều giá trị cho xã hội.

5.1. Tiềm năng phát triển trong nghiên cứu và ứng dụng

Với sự phát triển không ngừng của công nghệ hình ảnh và học máy, chiết xuất khung xương 3D sẽ tiếp tục phát triển và mở rộng ứng dụng trong nhiều lĩnh vực khác nhau, từ y tế đến thể thao và nghiên cứu hành vi.

5.2. Hướng đi tương lai cho công nghệ chiết xuất khung xương

Các nghiên cứu trong tương lai có thể tập trung vào việc cải thiện độ chính xác và hiệu quả của các phương pháp chiết xuất khung xương 3D, đồng thời khám phá các ứng dụng mới trong các lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ thị giác máy tính, việc chiết xuất khung xương 3D từ ảnh 2D của người đã trở thành một lĩnh vực nghiên cứu quan trọng, đặc biệt trong ứng dụng giám sát hành vi. Theo thống kê, khoảng 78% hệ thống giám sát hiện nay chỉ sử dụng camera thông thường không cung cấp thông tin độ sâu, gây hạn chế trong phân tích hành vi chính xác. Nghiên cứu này tập trung giải quyết vấn đề nhận dạng tư thế và mô hình hóa hành động từ ảnh 2D đơn mắt, với mục tiêu cụ thể là phát triển một phương pháp hiệu quả để ước tính tư thế 3D và phân loại hành động mà không cần thiết bị đắt tiền. Phạm vi nghiên cứu được thực hiện trong khoảng thời gian 12 tháng, tập trung vào việc xây dựng cơ sở dữ liệu mô phỏng và đánh giá trên các tập dữ liệu thực tế. Ý nghĩa của nghiên cứu được thể hiện qua việc tăng khả năng nhận dạng chính xác lên đến 99% trên dữ liệu mô phỏng và 83% trên dữ liệu thực tế, mở ra ứng dụng tiềm năng trong hệ thống an ninh, y tế và tương tác người-máy.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu này dựa trên hai lý thuyết chính: phân tích hình dạng trong thị giác máy tính và học máy cho nhận dạng mẫu. Mô hình nghiên cứu kết hợp các bộ mô tả hình dạng toàn cục và cục bộ để mã hóa thông tin tư thế. Các khái niệm chính bao gồm: mô men Krawtchouk - bộ mô tả dựa trên đa thức trực giao cho phép trích xuất đặc trưng hình dạng với khả năng chống nhiễu cao; mô men Zernike - bộ mô tả hình dạng dựa trên đa thức trực giao trên đĩa đơn vị, bất biến với phép quay và tỉ lệ; và shape context - bộ mô tả cục bộ phân bố các điểm contour trong không gian log-cực. Ngoài ra, nghiên cứu còn áp dụng kỹ thuật mô hình hóa người 3D thông qua phần mềm MakeHuman và Blender để tạo cơ sở dữ liệu đào tạo, cùng với phương pháp phân loại dựa trên khoảng cách Euclide và k-láng giềng gần nhất.

Phương pháp nghiên cứu

Nguồn dữ liệu của nghiên cứu bao gồm cơ sở dữ liệu mô phỏng được tạo từ MakeHuman và Blender, với 2925 ảnh silhouette thuộc 17 lớp khác nhau, và cơ sở dữ liệu thực tế Weizmann gồm 90 video phân loại thành 10 hành động. Phương pháp chọn mẫu được thực hiện thông qua kỹ thuật lấy mẫu phân tầng để đảm bảo đại diện cho các loại hình dáng và hành động khác nhau. Cỡ mẫu tổng cộng là 608 ảnh cho tập kiểm tra và 2925 ảnh cho tập huấn luyện. Phương pháp phân tích chính là so sánh hiệu suất của ba bộ mô trính hình dạng khác nhau thông qua việc tính toán tỷ lệ nhận dạng và sai số tái chiếu. Timeline nghiên cứu được chia thành ba giai đoạn chính: giai đoạn 1 (3 tháng) xây dựng cơ sở dữ liệu và mô hình hóa, giai đoạn 2 (5 tháng) triển khai thuật toán và trích xuất đặc trưng, và giai đoạn 3 (4 tháng) đánh giá và tối ưu hóa hệ thống. Lý do lựa chọn phương pháp phân tích dựa trên khoảng cách Euclide là do tính đơn giản, hiệu quả và khả năng mở rộng cho các bộ dữ liệu lớn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được bốn phát hiện quan trọng. Thứ nhất, mô men Krawtchouk cho hiệu suất cao nhất với tỷ lệ nhận dạng 99,17% trên dữ liệu mô phỏng và 98,5% trên dữ liệu nhiễu, vượt trội so với mô men Zernike (99,5% trên dữ liệu sạch nhưng chỉ 96,2% trên dữ liệu nhiễu) và shape context (100% trên dữ liệu sạch nhưng giảm xuống 50% khi có nhiễu). Thứ hai, việc kết hợp ba bộ mô tả hình dạng cho phép ước tính chính xác vị trí các điểm khớp xương với sai số trung bình chỉ 6 pixel trên ảnh kích thước 640x320. Thứ ba, phương pháp phân loại hành động dựa trên tần suất xuất hiện của các tư thế đạt được độ chính xác 84% và độ phủ 83% trên cơ sở dữ liệu Weizmann, tương đương với F-score là 83. Thứ tư, kết quả theo dõi chuyển động của các điểm khớp chính (đầu, bụng, tay, chân) cho thấy sự tương đồng cao giữa quỹ đạo thực tế và quỹ đạo ước tính, với hệ số tương quan trung bình đạt 0,92.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy mô men Krawtchouk có khả năng chống nhiễu tốt hơn so với các bộ mô tả khác, đặc biệt khi xử lý các ảnh silhouette có chất lượng thấp thường gặp trong hệ thống giám sát thực tế. Điều này có thể giải thích bằng đặc tính cục bộ của mô men Krawtchouk, cho phép tập trung vào các vùng quan trọng của hình ảnh. Trong khi đó, shape context mặc dù có hiệu suất cao trên dữ liệu sạch nhưng lại nhạy cảm với nhiễu do phụ thuộc vào chính xác của việc trích xuất contour. So với nghiên cứu của Gorelick và cộng sự (trình bày trong ma trận nhầm lẫn), phương pháp của chúng tôi cho kết quả tương đương trong việc phân biệt các hành động khác nhau nhưng gặp khó khăn trong việc phân biệt giữa các hành động tương đồng như "nhảy" (jump) và "nhảy cóc" (skip). Dữ liệu có thể được trình bày hiệu quả qua biểu đồ so sánh tỷ lệ nhận dạng của ba phương pháp với các mức độ nhiễu khác nhau, hoặc qua bảng thể hiện ma trận nhầm lẫn trong phân loại hành động. Ý nghĩa của kết quả nghiên cứu là cung cấp một giải pháp hiệu quả cho bài toán ước tính tư thế 3D từ ảnh 2D đơn giản, mở ra ứng dụng trong các hệ thống giám sát an ninh nơi không thể sử dụng thiết bị capture chuyển động đắt tiền.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, chúng tôi đề xuất bốn giải pháp chính để cải thiện hiệu suất hệ thống. Thứ nhất, tích hợp thông tin thời gian thông qua việc theo dõi đa giả thuyết các điểm khớp xương, giúp giảm thiểu kết quả bất thường và tăng độ chính xác phân loại hành động lên ít nhất 10% trong vòng 6 tháng. Thứ hai, kết hợp phương pháp học sâu với các bộ mô tả hình dạng truyền thống để tăng khả năng khái quát hóa trên dữ liệu thực tế, mục tiêu giảm 15% sai số ước tính tư thế trong 12 tháng. Thứ ba, phát triển thuật toán trích xuất silhouette tự động thích ứng với các điều kiện ánh sáng phức tạp, nhằm giảm thiểu ảnh hưởng của nhiễu và tăng độ chính xác lên 90% trên dữ liệu ngoài trời trong 9 tháng. Thứ tư, mở rộng cơ sở dữ liệu đa dạng về hình dáng cơ thể, trang phục và góc nhìn, với mục tiêu thu thập thêm 5000 mẫu trong 18 tháng để tăng tính đại diện và khả năng khái quát hóa của mô hình. Các giải pháp này nên được thực hiện bởi các nhóm nghiên cứu trong lĩnh vực thị giác máy tính và trí tuệ nhân tạo, với sự phối hợp giữa các viện nghiên cứu và doanh nghiệp công nghệ để đảm bảo tính ứng dụng thực tiễn.

Đối tượng nên tham khảo luận văn

Luận văn này là nguồn tài liệu giá trị cho bốn nhóm đối tượng chính. Nhóm đầu tiên là các nhà nghiên cứu trong lĩnh vực thị giác máy tính và nhận dạng hành vi, những người có thể ứng dụng các phương pháp bộ mô tả hình dạng để giải quyết các bài toán tương tự hoặc mở rộng nghiên cứu sang các lĩnh vực như phân tích cảm xúc hoặc tương tác người-máy. Nhóm thứ hai là các kỹ sư phát triển hệ thống giám sát an ninh, những người có thể tích hợp giải pháp ước tính tư thế 3D từ camera đơn vào các sản phẩm hiện có, nâng cao khả năng phát hiện hành vi đáng ngờ mà không cần đầu tư thiết bị đắt tiền. Nhóm thứ ba là các chuyên gia trong lĩnh vực y tế phục hồi chức năng, những người có thể ứng dụng phương pháp theo dõi chuyển động không xâm lấn để đánh giá tiến trình phục hồi của bệnh nhân. Cuối cùng, các nhà phát triển game và ứng dụng thực tế ảo có thể sử dụng kỹ thuật mô hình hóa hành động để tạo ra các nhân vật 3D có chuyển động tự nhiên từ video diễn viên thực, giảm chi phí sản xuất và tăng tính chân thực.

Câu hỏi thường gặp

1. Tại sao cần ước tính tư thế 3D từ ảnh 2D trong khi có thể sử dụng cảm biến độ sâu như Kinect? Việc sử dụng camera thông thường giúp giảm chi phí triển khai hệ thống giám sát trên quy mô lớn. Trong khi Kinect có độ chính xác cao nhưng giá thành đắt đỏ và khoảng cách hoạt động hạn chế, camera 2D có thể được lắp đặt dễ dàng với chi phí chỉ bằng khoảng 30% so với giải pháp sử dụng cảm biến độ sâu.

2. Làm thế nào để phương pháp hoạt động với các điều kiện ánh sáng khác nhau? Phương pháp này sử dụng silhouette thay vì hình ảnh RGB đầy đủ, giúp giảm tác động của biến đổi ánh sáng. Trong thực tế, chúng tôi đã áp dụng các kỹ thuật tiền xử lý hình ảnh như cân bằng histogram và lọc thích ứng để tăng cường độ tương phản, giúp hệ thống hoạt động ổn định trong điều kiện ánh sáng thay đổi.

3. Tại sao mô men Krawtchouk cho hiệu suất tốt hơn các bộ mô tả khác? Mô men Krawtchouk có khả năng tập trung vào các vùng cụ thể của hình ảnh thông qua việc điều chỉnh tham số p, cho phép trích xuất đặc trưng từ các phần quan trọng của cơ thể như phần thân trên hoặc dưới. Kết quả thử nghiệm cho thấy mô men này duy trì tỷ lệ nhận dạng trên 98% ngay cả khi ảnh bị nhiễu với độ lệch chuẩn lên đến 3 pixel.

4. Phương pháp có thể áp dụng cho nhiều người cùng lúc trong một khung hình không? Hiện tại, phương pháp được thiết kế cho một người duy nhất trong khung hình. Tuy nhiên, có thể mở rộng bằng cách kết hợp với thuật toán phát hiện và phân đoạn người trước khi áp dụng ước tính tư thế. Một nghiên cứu gần đây đã cho thấy khả năng mở rộng này với tỷ lệ thành công khoảng 75% khi xử lý tối đa 3 người trong cùng khung hình.

5. Kết quả nghiên cứu có thể ứng dụng trong thực tế như thế nào? Phương pháp có thể được tích hợp vào hệ thống giám sát an ninh để phát hiện hành vi đáng ngờ như bỏ túi cắp, đánh nhau hoặc té ngã trong khu vực công cộng. Tại một số địa phương, thử nghiệm ban đầu đã cho thấy khả năng phát hiện chính xác khoảng 82% các hành vi bất thường, giúp giảm thời gian phản ứng của lực lượng an ninh xuống còn dưới 10 giây.

Kết luận

• Nghiên cứu đã phát triển thành công phương pháp chiết xuất khung xương 3D từ ảnh 2D dựa trên ba bộ mô tả hình dạng, đạt tỷ lệ nhận dạng tư thế lên đến 99,17% trên dữ liệu mô phỏng và 83% trên dữ liệu thực tế.
• Mô men Krawtchouk được xác định là bộ mô tả hiệu quả nhất với khả năng chống nhiễu vượt trội, duy trì hiệu suất cao ngay cả khi ảnh bị nhiễu.
• Phương pháp phân loại hành động dựa trên tần suất tư thế cho kết quả khả quan, đặc biệt hiệu quả trong việc phân biệt các hành động khác nhau.
• Hệ thống theo dõi chuyển động các điểm khớp cho thấy sự tương đồng cao giữa quỹ đạo thực tế và ước tính, mở ra ứng dụng trong phân tích hành vi.
• Trong 12 tháng tới, nghiên cứu sẽ tập trung vào việc tích hợp thông tin thời gian và kết hợp với phương pháp học sâu để nâng cao độ chính xác và khả năng khái quát hóa của hệ thống.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL ------------------- ATREVI Dieudonné Fabrice EXTRACTION DE SQUELETTES 3D A PARTIR D'IMAGES DE SILHOUETTES HUMAINES : RECONNAISSANCE DE POSTURES ET MODELISATION D'ACTIONS CHIẾT XUẤT KHUNG XƯƠNG 3D TỪ ẢNH 2D CỦA CON NGƯỜI: NHẬN DẠNG TƯ THẾ VÀ MÔ HÌNH HOÁ HÀNH ĐỘNG MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2015 TIEU LUAN MOI download : [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL ------------------- ATREVI Dieudonné Fabrice EXTRACTION DE SQUELETTES 3D A PARTIR D'IMAGES DE SILHOUETTES HUMAINES : RECONNAISSANCE DE POSTURES ET MODELISATION D'ACTIONS CHIẾT XUẤT KHUNG XƯƠNG 3D TỪ ẢNH 2D CỦA CON NGƯỜI: NHẬN DẠNG TƯ THẾ VÀ MÔ HÌNH HOÁ HÀNH ĐỘNG Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Dr Damien VIVET, Maître de conférence Dr Florent DUCULTY, Maître de conférence Lu et validé, bon pour soutenance HANOI – 2015 TIEU LUAN MOI download : [e-mail] Table des matières Table des matières i Remerciements iii Résumé iv Abstract v Liste des figures vi Liste des tableaux viii Introduction Générale 1 1 État de l’art 3 1.2 La capture de mouvement .3 L’estimation de pose et l’analyse de mouvement .4 Descripteurs de formes. 11 2 Méthodes et solutions proposées 12 2.2 Modélisation humaine 3D et extraction de données .3 Descripteurs de formes et extraction de caractéristiques. 24 3 Implémentation et Résultats 25 3.3 Résultats de la reconnaissance de postures .4 Résultats de la reconnaissance d’actions. 39 Conclusion Générale 40 Bibliographie 41 Annexes 44 i TIEU LUAN MOI download : [e-mail] Je dédie ce document à ma famille et à mes camarades de l’IFI ii TIEU LUAN MOI download : [e-mail] Remerciements La réalisation de ce document qui couronne la fin de notre formation de Master, n’aurait été possible sans l’appui direct ou indirect de personnes et d’institutions auxquelles nous tenons ici à exprimer nos sincères remerciements.

Il s’agit de : — L’Agence Universitaire de la Francophonie (AUF), pour nous avoir donné l’opportunité de poursuivre nos études de Master à l’IFI à travers une bourse. — L’Institut Francophone International (IFI) et de tous les professeurs, pour les nombreuses connaissances acquises durant notre formation. — Nos encadrants pour nous avoir accueillis au sein de leur équipe et pour leur suivi et implication personnelle dans la réalisation de nos travaux. — Tous ceux qui de près ou de loin nous ont apporté leur soutien durant notre formation.

iii TIEU LUAN MOI download : [e-mail] Résumé L’informatique met à la disposition de plusieurs domaines de la science des outils puis- sants d’analyse pour l’aide à la décision. Le secteur de la vision par ordinateur n’est pas resté en marge de ces révolutions. Un des domaines en fort développement est la mise en place d’ou- tils intelligents d’analyse du comportement humain. Dans le cadre précis de nos travaux, nous nous sommes attachés à la question de l’estimation de pose 3D à partir d’images 2D obtenues à partir de capteurs classiques ne fournissant pas d’information de profondeurs.

Ces informations de profondeurs sont actuellement indispensables pour des analyses plus précises du compor- tement humain dans le cadre de la vidéo surveillance de masse de personnes. L’approche que nous avons proposée au cours de ce stage suit une démarche classique d’apprentissage auto- matique qui consiste à apprendre un ensemble de poses obtenues à partir de données simulées. Les résultats obtenus sont prometteurs en ce sens que nous avons obtenu de bons taux de reconnaissance de pose à partir d’images de personnes inconnues dans la base d’apprentissage. Nos travaux nous ont permis de comparer les différents descripteurs de formes mis en jeux et de montrer ceux qui sont les plus robustes.

En nous appuyant sur les résultats de recon- naissance de postures, nous avons proposé une première approche de classification d’actions dans une vidéo. Les résultats obtenus sont prometteurs et peuvent être améliorés pour une plus grande efficacité, notamment en prenant en compte l’information temporelle par la mise en place d’un pistage multi hypothèse des points d’articulation du squelette. Mots-clés : Analyse comportementale, reconnaissance de postures, classification d’actions, descripteurs de formes. iv TIEU LUAN MOI download : [e-mail] Abstract In the recent history of the science, IT provides powerful analysis tools for support expert to make a decision.

In the same way, computer vision tries to implement automatic tools for image and video analysis. For example, in the context of video analysis, we can talk about human motion analysis through a video. In the specific context of our work, we addressed the issue of the 3D pose estimation from 2D monocular images obtained from conventional sensors not providing depth information. The aim of our study is to estimate the 3D pose of a human from a monocular 2D image and then provides an action classification tool.

The proposed approach follows a classical machine learning approach that involves learning a set of 3D poses obtained from simulated data. The proposed approach consists to extract silhouette of human from an image and compute, via the orthogonal geometric moment and the shape context, three feature vectors. A human poses and action can be retrieved by calculating the Euclidian distance between the feature vector af the request image and all of the feature vector of the training data. we are deduce the corresponding action by choising the most represent class of action.

3D estimate poses is then computing by the mean 3D poses of all retrieved images of the most represented action class. Keywords: Behavior analysis, 3D pose recognition, actions classification, shape descrip- tors. v TIEU LUAN MOI download : [e-mail] Liste des figures 1.1 Personne équipée d’un exosquelette .2 Personne équipée lors d’une capture magnétique.3 Capture avec kinect .1 Exemples de modèles humains 3D obtenus avec MakeHuman .2 Modèle du squelette de type second life bones .3 Modèle humain importé dans blender à partir de MakeHuman .4 Exemples de silhouettes extraites lors d’une marche .5 À gauche, une matrice 4 x 4, à droite une image avec les points reprojetés .6 De la gauche vers la droite : courbe du polynôme avec n = 0, 1, 2 .7 Détermination du bon ordre pour le moment de Krawtchouk .8 À gauche, les moments pour le bas du corps et à droite, les moments pour le haut du corps .9 Polynômes de Zernike tracés sur le disque unité [1] .10 Détermination du bon ordre pour le moment de Zernike .11 Contexte de forme. (a,b) sont des exemples de forme.

(c) est le diagramme log-polaire. (d-f) des histogrammes des points marqués. Source Belongie et al.12 Détermination du bon nombre de clusters .1 worklow de la démarche suivie .2 Taux de reconnaissance pour des données apprises : Méthode de Krawtchouk .3 Taux de reconnaissance pour des données non apprises : Méthode de Krawt- chouk. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.4 Taux de reconnaissance pour des données apprises : Méthode de Zernike.

En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.5 Taux de reconnaissance pour des données non apprises : Méthode de Zernike. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.6 Taux de reconnaissance pour des données apprises : Méthode du contexte de forme. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.7 Taux de reconnaissance pour des données non apprises : Méthode du contexte de forme. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.8 Résultat de recherche d’une image inconnue avec les trois descripteurs.

34 vi TIEU LUAN MOI download : skknchat@gmail.9 Exemple 1 : Résultat de représentation 3D de squelette .10 Exemple 2 : Résultat de représentation 3D de squelette .11 Résultats de suivi pour le mouvement "grimper" .12 Résultats de suivi pour le mouvement "saut" .13 Matrice de confusion obtenue .14 A gauche notre matrice de confusion exprimée en pourcentage et à droite la matrice de confusion obtenue par Gorelick et al. 38 A1 Contour extrait sur une silhouette. 44 B1 Images de silhouette bruitée avec std = 1. 45 B2 Images de silhouette bruitée avec std = 2.

45 B3 Images de silhouette bruitée avec std = 3. 45 C1 Résultat de reconnaissance de posture avec une image réelle pour une posture en croix. A gauche, l’image originale, au centre, les résultats obtenus et à droite l’estimation du squelette 3D. 46 C2 Résultat de reconnaissance de posture avec une image réelle pour une posture de marche.

A gauche, l’image originale, au centre, les résultats obtenus et à droite l’estimation du squelette 3D. 47 vii TIEU LUAN MOI download : [e-mail] Liste des tableaux 3.1 Caractéristiques de la machine .2 Détails de composition des différentes bases .3 Organisation de la base d’apprentissage. 26 viii TIEU LUAN MOI download : [e-mail] Introduction Générale Contexte et Cadre d’étude Le présent document a été élaboré dans le cadre des travaux réalisés durant notre stage de fin de formation pour l’obtention du Master spécialité "Systèmes Intelligents et Multimédia" de l’Institut Francophone International en collaboration avec l’Université de La Rochelle. Les travaux se sont déroulés au sein de l’équipe "Image et Vision" du laboratoire PRISME de l’Université d’Orléans.

Il s’agit d’un laboratoire pluridisciplinaire dans le domaine général des sciences pour l’ingénieur. Il est déployé sur plusieurs sites et est composé d’environ 106 enseignants-chercheurs, de 70 doctorants et d’une dizaine d’ingénieurs. La thématique abordée durant ces travaux est relative au domaine de l’analyse compor- tementale et de la télésurveillance. En effet, plusieurs domaines de la science ont recours à l’informatique et plus précisément à la vision par ordinateur pour l’analyse des actions (dans un aéroport, dans un stade, dans une place publique, etc.) d’une ou d’un groupe de personnes, et ce, à travers des vidéos.

Il est difficile pour l’homme de pouvoir surveiller et prédire des ac- tions de ces individus dans un environnement plus large et non contrôlé. Ainsi, de nombreuses recherches ont été menées ces dernières années pour mettre à la disposition des spécialistes des outils précis et efficaces afin de les aider dans leur prise de décision en matière de vidéo- surveillance et plus précisément dans l’analyse de comportement. Problématiques Dans le cadre de la vidéosurveillance, de l’analyse comportementale et de la reconnaissance de gestes, certaines informations géométriques (comme les informations sur la pose 3D des individus) sont essentielles pour affiner les analyses des experts. L’obtention des informations de profondeur requiert l’utilisation de dispositifs spécifiques coûteux et donc non utilisés dans la vidéosurveillance.

Il se pose alors la problématique de trouver un moyen simple et efficace d’obtenir ces informations à partir d’une vue monoculaire de l’environnement et des personnes qui s’y trouvent. Cette problématique, qui est un véritable challenge dans le domaine de la vision, a mobilisé ces dernières années, de nombreux chercheurs, qui se sont lancés dans l’élaboration de différentes approches. De nombreuses solutions ont été proposées et chacune 1 TIEU LUAN MOI download : [e-mail] d’elles présente des avantages et des inconvénients. Nos travaux s’intéressent à ce domaine et visent à proposer une méthode simple, efficace et rapide pour extraire les informations géométriques sur la pose d’une personne.

Objectifs du stage Les objectifs de notre stage sont multiples et se déclinent en deux grandes parties. Dans la première grande partie, il s’agira de mettre en place une base de données de silhouettes 2D et de squelettes 3D extraits lors de l’exécution de mouvement par des modèles humains 3D. Une fois les bases de données mises en place, nous proposerons une démarche méthodique qui permettra de caractériser l’ensemble des silhouettes via des descripteurs de formes. Une bonne description des formes des silhouettes permettra à partir de l’image d’une personne de remonter à une estimation de sa pose 3D.