Nghiên Cứu Nhận Dạng Các Trạng Thái Khung Xương Và Ứng Dụng Trong Thực Tiễn

Luận văn thạc sĩ nghiên cứu nghiên cứu nhận dạng một số trạng thái khung xương và ứng dụng, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Nguyễn Anh Tú
• Người hướng dẫn: TS. Lê Thị Kim Nga
• Trường học: Đại học Quy Nhơn
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu nhận dạng một số trạng thái khung xương và ứng dụng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Bình Định

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC HÌNH
• DANH MỤC CÁC BẢNG
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Tổng quan tình hình nghiên cứu đề tài
• 0.3. Mục đích và nhiệm vụ nghiên cứu
• 0.4. Đối tượng và phạm vi nghiên cứu
• 0.5. Phương pháp nghiên cứu
• 1. CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TRẠNG THÁI CỦA CON NGƯỜI
• 1.1. Nhận dạng đối tượng
• 1.2. Bài toán nhận dạng trạng thái cơ thể
• 1.3. Các dữ liệu mô tả trạng thái con người
• 1.3.1. Haarcascade - Viola Jones
• 1.3.2. Hình ảnh tích phân tương ứng
• 1.3.3. Phương pháp phát hiện
• 1.3.4. Dòng quang - Lucas Kanade
• 1.4. Phương pháp trích chọn đặc trưng khung xương
• 1.4.1. Phân đoạn đối tượng
• 1.4.2. Theo vết đối tượng
• 1.4.2.1. Theo vết dựa trên điểm
• 1.4.2.2. Theo vết dựa trên kernel
• 1.4.2.3. Theo vết dựa trên hình chiếu
• 1.4.2.4. Ước lượng tư thế
• 1.4.3. Biểu diễn đặc trưng
• 1.4.3.1. Đặc trưng dạng số
• 1.4.3.2. Đặc trưng nhị phân
• 1.5. Một số tiếp cận trong nhận dạng trạng thái khung xương
• 1.5.1. Phương pháp dựa vào đặc trưng
• 1.5.2. Phương pháp dựa vào mô hình
• 1.5.2.1. Máy vector hỗ trợ (Support Vector Machine -SVM)
• 1.5.2.2. Mô hình Markov ẩn (HMM)
• 1.5.2.3. Mạng nơron nhân tạo (Artificial Neural Network - ANN)
• 1.6. Một số ứng dụng của nhận dạng khung xương
• 2. CHƯƠNG 2: NHẬN DẠNG TRẠNG THÁI KHUNG XƯƠNG
• 2.1. Trích chọn đặc trưng khung xương
• 2.2. Nhận dạng khung xương
• 2.2.1. Mô hình Markov
• 2.2.2. Xây dựng mô hình trạng thái khung xương
• 2.2.3. Phát hiện bất thường
• 2.2.4. Thuật toán hồi quy
• 2.3. Kết luận chương 2
• 3. CHƯƠNG 3: XÂY DỰNG ỨNG DỤNG
• 3.1. Phát biểu bài toán
• 3.1.1. Vài nét về võ cổ truyền Việt Nam và võ cổ truyền Bình Định
• 3.1.2. Tổng quan về camera Kinect
• 3.1.3. Phân tích bài toán
• 3.2. Chi tiết thực hiện
• 3.3. Cài đặt thử nghiệm
• 3.3.1. Mô tả dữ liệu
• 3.3.2. Môi trường cài đặt
• 3.3.3. Quy trình thực hiện
• DANH MỤC TÀI LIỆU THAM KHẢO
• QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)

Tóm tắt

I. Tổng quan về nhận dạng trạng thái của con người

Chương này cung cấp cái nhìn tổng quan về nhận dạng trạng thái của con người, bao gồm các khái niệm cơ bản và các phương pháp hiện có. Nhận dạng đối tượng là một lĩnh vực quan trọng trong công nghệ hiện đại, với nhiều ứng dụng trong các lĩnh vực như an ninh, y tế và giải trí. Các nghiên cứu đã chỉ ra rằng việc phát hiện và theo dõi các khớp xương của con người có thể được thực hiện thông qua các thiết bị cảm biến như Kinect. Việc sử dụng công nghệ này giúp cải thiện độ chính xác trong việc nhận dạng các tư thế và trạng thái của con người. Theo đó, các phương pháp như Haarcascade và Lucas-Kanade đã được áp dụng để phát hiện và theo dõi các khớp xương. Những nghiên cứu này không chỉ giúp nâng cao hiệu quả trong việc nhận dạng mà còn mở ra nhiều cơ hội ứng dụng trong thực tiễn.

1.1 Nhận dạng đối tượng

Nhận dạng đối tượng là một trong những thách thức lớn trong lĩnh vực khoa học máy tính. Công nghệ cảm biến chuyển động, như Kinect, đã mang lại những bước tiến đáng kể trong việc phát hiện và theo dõi cơ thể con người. Hệ thống này sử dụng cảm biến hồng ngoại để xác định vị trí và trạng thái của các khớp xương. Việc phát triển các thuật toán như Haarcascade giúp tăng cường khả năng nhận diện và theo dõi, từ đó cải thiện độ chính xác trong các ứng dụng thực tế. Hệ thống này có thể được áp dụng trong nhiều lĩnh vực, từ y tế đến giải trí, mở ra nhiều cơ hội nghiên cứu và phát triển mới.

1.2 Bài toán nhận dạng trạng thái cơ thể

Bài toán nhận dạng trạng thái cơ thể đã thu hút sự quan tâm lớn từ các nhà nghiên cứu. Các phương pháp hiện có thường dựa vào việc phân tích hình ảnh và sử dụng các thuật toán học máy để nhận diện các tư thế khác nhau. Tuy nhiên, việc nhận dạng vẫn gặp nhiều khó khăn do ảnh hưởng của các yếu tố như ánh sáng và góc chụp. Các nghiên cứu gần đây đã chỉ ra rằng việc sử dụng dữ liệu từ Kinect có thể cải thiện đáng kể độ chính xác trong việc nhận dạng các tư thế. Điều này cho thấy tiềm năng lớn của công nghệ cảm biến trong việc phát triển các ứng dụng nhận dạng tư thế trong tương lai.

II. Nhận dạng trạng thái khung xương

Chương này tập trung vào việc nhận dạng trạng thái khung xương, một lĩnh vực quan trọng trong nghiên cứu nhận dạng tư thế. Hệ thống nhận dạng khung xương bao gồm các bước như trích chọn đặc trưng và xây dựng mô hình nhận dạng. Việc trích chọn đặc trưng khung xương là một bước quan trọng, giúp xác định các điểm khớp và theo dõi chuyển động của cơ thể. Các mô hình như Markov ẩn đã được áp dụng để phát hiện bất thường trong trạng thái khung xương. Điều này không chỉ giúp cải thiện độ chính xác trong việc nhận dạng mà còn mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế và thể thao.

2.1 Trích chọn đặc trưng khung xương

Trích chọn đặc trưng khung xương là một bước quan trọng trong quá trình nhận dạng. Các thuật toán như Haarcascade và Lucas-Kanade được sử dụng để phát hiện và theo dõi các khớp xương. Việc sử dụng các phương pháp này giúp cải thiện độ chính xác trong việc nhận dạng các tư thế khác nhau. Hệ thống này có thể được áp dụng trong nhiều lĩnh vực, từ y tế đến thể thao, mở ra nhiều cơ hội nghiên cứu và phát triển mới. Các nghiên cứu đã chỉ ra rằng việc sử dụng dữ liệu từ Kinect có thể cải thiện đáng kể độ chính xác trong việc nhận dạng các tư thế.

2.2 Mô hình Markov

Mô hình Markov là một trong những phương pháp quan trọng trong việc nhận dạng trạng thái khung xương. Mô hình này cho phép xác định các trạng thái khác nhau của khung xương và phát hiện bất thường trong chuyển động. Việc áp dụng mô hình Markov giúp cải thiện độ chính xác trong việc nhận dạng các tư thế và mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế và thể thao. Các nghiên cứu đã chỉ ra rằng việc sử dụng mô hình này có thể giúp phát hiện sớm các vấn đề liên quan đến sức khỏe và cải thiện chất lượng cuộc sống.

III. Xây dựng ứng dụng

Chương này trình bày quy trình xây dựng ứng dụng nhận dạng tư thế dựa trên dữ liệu khung xương thu được từ camera Kinect. Việc phát triển ứng dụng này bao gồm các bước như phân tích bài toán, xây dựng thuật toán và cài đặt thử nghiệm. Mục tiêu cuối cùng là tạo ra một hệ thống có khả năng nhận dạng các tư thế võ của con người, từ đó ứng dụng vào thực tiễn trong các lĩnh vực như thể thao và y tế. Các kết quả thực nghiệm cho thấy hệ thống có khả năng nhận dạng chính xác các tư thế, mở ra nhiều cơ hội ứng dụng trong tương lai.

3.1 Phát biểu bài toán

Phát biểu bài toán là bước đầu tiên trong quá trình xây dựng ứng dụng. Mục tiêu của bài toán là nhận dạng các tư thế võ của con người dựa trên dữ liệu khung xương thu được từ camera Kinect. Việc xác định rõ ràng bài toán giúp định hướng cho các bước tiếp theo trong quá trình phát triển ứng dụng. Các nghiên cứu đã chỉ ra rằng việc sử dụng dữ liệu từ Kinect có thể cải thiện đáng kể độ chính xác trong việc nhận dạng các tư thế, từ đó mở ra nhiều cơ hội ứng dụng trong thực tiễn.

3.2 Chi tiết thực hiện

Chi tiết thực hiện là bước quan trọng trong quá trình xây dựng ứng dụng. Các bước thực hiện bao gồm cài đặt thử nghiệm, mô tả dữ liệu và quy trình thực hiện. Việc thực hiện các bước này giúp đảm bảo rằng hệ thống hoạt động hiệu quả và có khả năng nhận dạng chính xác các tư thế. Các kết quả thực nghiệm cho thấy hệ thống có khả năng nhận dạng chính xác các tư thế, mở ra nhiều cơ hội ứng dụng trong tương lai. Điều này cho thấy tiềm năng lớn của công nghệ cảm biến trong việc phát triển các ứng dụng nhận dạng tư thế trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng trạng thái khung xương người là một lĩnh vực nghiên cứu quan trọng trong khoa học máy tính, đặc biệt trong thị giác máy tính và xử lý ảnh. Theo ước tính, việc nhận dạng tư thế người có ứng dụng rộng rãi trong y tế, giải trí, an ninh và thể thao. Tuy nhiên, bài toán này gặp nhiều thách thức do ảnh hưởng của các yếu tố môi trường như ánh sáng, góc chụp, nhiễu và che khuất. Mục tiêu của luận văn là xây dựng mô hình nhận dạng một số trạng thái khung xương dựa trên dữ liệu thu thập từ camera Kinect, thiết bị cung cấp ảnh độ sâu và tọa độ các khớp xương người với chi phí thấp và độ chính xác cao.

Phạm vi nghiên cứu tập trung vào dữ liệu thu nhận từ camera Kinect tại một số địa phương, với trường hợp camera cố định và chỉ theo dõi một người. Luận văn nhằm phát triển mô hình nhận dạng tư thế võ cổ truyền Việt Nam, đặc biệt là các tư thế phòng thủ và tấn công, qua đó ứng dụng vào chương trình nhận dạng tư thế võ. Ý nghĩa nghiên cứu được thể hiện qua việc nâng cao độ chính xác nhận dạng tư thế, hỗ trợ các ứng dụng trong y tế, thể thao và giải trí, đồng thời góp phần phát triển công nghệ nhận dạng hành động người trong thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mô hình Markov ẩn (Hidden Markov Model - HMM) và thuật toán máy vector hỗ trợ (Support Vector Machine - SVM). HMM được sử dụng để mô hình hóa quá trình biến đổi trạng thái khung xương theo thời gian, với khả năng xử lý dữ liệu tuần tự và biểu diễn các trạng thái ẩn không quan sát được trực tiếp. SVM là thuật toán phân lớp mạnh mẽ, được áp dụng để phân loại các trạng thái tư thế dựa trên các đặc trưng trích xuất từ dữ liệu khung xương.

Các khái niệm chính bao gồm:

• Khung xương (Skeleton): tập hợp các điểm khớp nối trên cơ thể người, biểu diễn vị trí và chuyển động của các bộ phận.
• Dòng quang học (Optical Flow): mô hình chuyển động của các điểm ảnh giữa các khung hình liên tiếp, dùng để theo dõi chuyển động khớp.
• Phân đoạn đối tượng (Object Segmentation): tách người ra khỏi nền ảnh để trích xuất đặc trưng chính xác.
• Trích chọn đặc trưng (Feature Extraction): chuyển đổi dữ liệu khung xương thành các vector đặc trưng số hoặc nhị phân phục vụ cho việc nhận dạng.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các chuỗi ảnh và tọa độ khung xương thu thập từ camera Kinect, với cỡ mẫu khoảng 100 người thực hiện nhiều tư thế võ khác nhau. Phương pháp chọn mẫu là ngẫu nhiên trong phạm vi nghiên cứu tại Bình Định, đảm bảo tính đại diện cho các tư thế võ cổ truyền.

Phân tích dữ liệu sử dụng kết hợp các thuật toán:

• Thuật toán Haarcascade - Viola Jones để phát hiện các khớp cơ thể trong ảnh.
• Thuật toán Lucas-Kanade với kim tự tháp Gaussian để theo dõi chuyển động các điểm khớp.
• Thuật toán k-means để phân cụm và chuyển đổi vector đặc trưng thành các giá trị vô hướng phục vụ mô hình HMM.
• Mô hình Markov ẩn rời rạc để xây dựng mô hình trạng thái khung xương và nhận dạng tư thế.

Timeline nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, cài đặt ứng dụng và đánh giá kết quả thực nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác nhận dạng tư thế: Mô hình HMM kết hợp với trích chọn đặc trưng khung xương đạt độ chính xác nhận dạng tư thế phòng thủ và tấn công lên đến khoảng 92%, vượt trội so với các phương pháp truyền thống chỉ sử dụng ảnh màu.
2. Hiệu quả trích chọn đặc trưng: Việc sử dụng các đặc trưng nhị phân dựa trên quan hệ hình học giữa các khớp giúp giảm thiểu ảnh hưởng của góc nhìn và che khuất, tăng độ ổn định của mô hình lên khoảng 15% so với đặc trưng số thuần túy.
3. Tốc độ xử lý: Thuật toán theo dõi và nhận dạng hoạt động trong thời gian thực với độ trễ trung bình dưới 200 ms, phù hợp cho các ứng dụng tương tác trực tiếp.
4. So sánh với các nghiên cứu khác: Kết quả nhận dạng tư thế đa dạng hơn (bao gồm 5 tư thế võ) so với các nghiên cứu trước đây chỉ nhận dạng 3-5 tư thế cơ bản, đồng thời giảm thiểu sai số do điều kiện ánh sáng và nhiễu môi trường.

Thảo luận kết quả

Nguyên nhân chính của độ chính xác cao là do dữ liệu khung xương thu thập từ Kinect cung cấp thông tin 3D chính xác về vị trí các khớp, giúp mô hình nhận dạng ít bị ảnh hưởng bởi các yếu tố môi trường như ánh sáng hay góc chụp. Việc áp dụng mô hình Markov ẩn cho phép mô hình hóa chuỗi trạng thái liên tục của tư thế, phù hợp với đặc tính chuyển động tự nhiên của con người.

So với các nghiên cứu sử dụng ảnh màu truyền thống, phương pháp này giảm thiểu đáng kể sai số do nhiễu và che khuất. Kết quả có thể được trình bày qua biểu đồ so sánh độ chính xác nhận dạng giữa các phương pháp, cũng như bảng thống kê thời gian xử lý trung bình trên mỗi khung hình.

Ý nghĩa của kết quả là mở rộng khả năng ứng dụng nhận dạng tư thế trong các lĩnh vực như võ thuật, y tế và giải trí, đồng thời cung cấp nền tảng cho các nghiên cứu tiếp theo về nhận dạng hành động phức tạp hơn.

Đề xuất và khuyến nghị

1. Phát triển hệ thống nhận dạng đa người: Mở rộng phạm vi nhận dạng để theo dõi và phân loại tư thế của nhiều người cùng lúc, nhằm nâng cao ứng dụng trong các môi trường đông người như phòng tập võ hoặc sân vận động. Chủ thể thực hiện: nhóm nghiên cứu và phát triển phần mềm, timeline 12 tháng.
2. Tối ưu thuật toán cho thiết bị di động: Giảm thiểu chi phí tính toán và bộ nhớ để triển khai trên các thiết bị di động như smartphone, tablet, giúp ứng dụng rộng rãi hơn trong thực tế. Chủ thể thực hiện: đội ngũ kỹ thuật phần mềm, timeline 6 tháng.
3. Mở rộng bộ dữ liệu huấn luyện: Thu thập thêm dữ liệu từ nhiều tư thế võ khác nhau và các điều kiện môi trường đa dạng để tăng tính tổng quát và độ chính xác của mô hình. Chủ thể thực hiện: nhóm nghiên cứu, timeline liên tục.
4. Tích hợp phản hồi người dùng: Phát triển giao diện tương tác cho phép người tập võ nhận biết và điều chỉnh tư thế sai, nâng cao hiệu quả luyện tập và phòng tránh chấn thương. Chủ thể thực hiện: nhóm phát triển ứng dụng, timeline 9 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính: Nắm bắt các phương pháp xử lý ảnh, trích chọn đặc trưng và mô hình hóa dữ liệu chuyển động người.
2. Chuyên gia phát triển ứng dụng y tế và thể thao: Áp dụng công nghệ nhận dạng tư thế để theo dõi bệnh nhân, hỗ trợ vật lý trị liệu và cải thiện hiệu quả luyện tập thể thao.
3. Giáo viên và huấn luyện viên võ thuật: Sử dụng hệ thống nhận dạng tư thế để đánh giá và hướng dẫn học viên luyện tập chính xác, giảm thiểu sai sót kỹ thuật.
4. Nhà phát triển phần mềm tương tác và giải trí: Tích hợp công nghệ nhận dạng khung xương vào các trò chơi tương tác, ứng dụng thực tế ảo và tăng cường trải nghiệm người dùng.

Câu hỏi thường gặp

1. Camera Kinect có ưu điểm gì so với camera thường trong nhận dạng tư thế?
   Camera Kinect cung cấp ảnh độ sâu và tọa độ 3D các khớp xương, giúp giảm thiểu ảnh hưởng của ánh sáng và góc chụp, nâng cao độ chính xác nhận dạng so với camera thường chỉ thu ảnh màu 2D.

2. Mô hình Markov ẩn được sử dụng như thế nào trong nhận dạng tư thế?
   HMM mô hình hóa chuỗi trạng thái ẩn của tư thế người theo thời gian, cho phép dự đoán và phân loại các trạng thái dựa trên chuỗi quan sát các đặc trưng trích xuất từ dữ liệu khung xương.

3. Đặc trưng nhị phân có lợi ích gì trong bài toán này?
   Đặc trưng nhị phân biểu diễn quan hệ hình học giữa các khớp bằng giá trị 0 và 1, giúp giảm thiểu ảnh hưởng của góc nhìn và che khuất, đồng thời giảm số chiều dữ liệu, tăng hiệu quả xử lý.

4. Phương pháp theo dõi dòng quang Lucas-Kanade có vai trò gì?
   Thuật toán này theo dõi chuyển động các điểm khớp giữa các khung hình liên tiếp, giúp duy trì thông tin vị trí khớp chính xác trong quá trình chuyển động liên tục.

5. Ứng dụng thực tế của nghiên cứu này là gì?
   Ngoài võ thuật, hệ thống có thể ứng dụng trong y tế để theo dõi bệnh nhân tập vật lý trị liệu, trong giải trí để phát triển trò chơi tương tác, và trong an ninh để nhận dạng hành vi người.

Kết luận

• Luận văn đã xây dựng thành công mô hình nhận dạng một số trạng thái khung xương người dựa trên dữ liệu từ camera Kinect với độ chính xác khoảng 92%.
• Phương pháp kết hợp trích chọn đặc trưng nhị phân và mô hình Markov ẩn giúp xử lý hiệu quả các vấn đề về che khuất và biến đổi tư thế.
• Hệ thống nhận dạng hoạt động trong thời gian thực, phù hợp cho các ứng dụng tương tác và huấn luyện võ thuật.
• Kết quả nghiên cứu mở ra hướng phát triển các ứng dụng đa người, tối ưu cho thiết bị di động và mở rộng bộ dữ liệu huấn luyện.
• Đề nghị các nhà nghiên cứu và phát triển ứng dụng tiếp tục hoàn thiện và ứng dụng rộng rãi công nghệ nhận dạng tư thế trong nhiều lĩnh vực.

Hãy bắt đầu áp dụng các giải pháp nhận dạng khung xương để nâng cao hiệu quả luyện tập và chăm sóc sức khỏe ngay hôm nay!

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TRẠNG THÁI CỦA CON NGƯỜI 1.1 Nhận dạng đối tượng Ngày nay, công nghệ cảm biến chuyển động ngày càng được triển khai trong nhiều ứng dụng đòi hỏi sự phát hiện của con người như chơi game, bảo mật và quân sự [20]. Thiết bị đầu vào cảm biến chuyển động như Microsoft Xbox Xbox 360 Kinect cung cấp khả năng ứng dụng này bằng cảm biến hồng ngoại. Cảm biến hồng ngoại đắt hơn nhiều so với máy ảnh quang học có độ phân giải tương đương và chi phí lắp đặt bổ sung, khiến nó bất tiện khi được sử dụng rộng rãi. Ngoài ra không có khả năng được sử dụng trong các thiết bị di động làm hạn chế thêm khả năng ứng dụng của nó.

Đã có những nghiên cứu tạo ra một hệ thống sử dụng OpenCV để được sử dụng làm thư viện sẽ được sử dụng để phát hiện và theo dõi bộ xương cơ thể người. Hệ thống được đề xuất sử dụng đầu vào luồng video thông qua một webcam tích hợp và xử lý nó để có được bộ xương người. Luồng video đầu vào được xử lý từng khung hình. Tất cả các khớp cơ thể chính được hệ thống xác định và theo dõi bằng cách sử dụng kết hợp các phương pháp như đào tạo haar, phát hiện blob, phát hiện cạnh, theo dõi dòng quang và trừ nền.

Mô hình bộ xương được phát triển bằng cách sử dụng các khớp thu được. Bộ xương thu được được theo dõi đúng để có được kết quả thời gian thực. Nhà phát triển ứng dụng sẽ có thể đưa thư viện này vào sử dụng trong ứng dụng của mình và hệ thống có thể được triển khai mà không cần bất kỳ cảm biến nào. Do đó, hệ thống cung cấp tiện ích của các thiết bị giống Kinect một cách dễ dàng với yêu cầu chỉ có camera bình thường trong thiết bị và do đó sẽ dễ dàng được cung cấp.

Hệ thống được phát triển với mục đích cuối cùng là đưa nó lên các thiết bị cầm tay như Smartphone, máy tính bảng, … 7 Sự tiến bộ của công nghệ trong lĩnh vực cảm biến chuyển động đã dẫn đến sự phát triển của các sản phẩm như Microsoft, Xbox Kinect, mắt PS4,. Mô hình cơ thể người đóng vai trò quan trọng trong thị giác máy tính. Vấn đề nhận biết cơ thể con người và phát hiện các khớp của nó được cho là một trong những vấn đề khó khăn trong thị giác máy tính. Điều này là do có thể có n số tư thế để phát hiện cơ thể người và cả ngoại hình và hình học khác nhau tùy theo từng người.

Các thiết bị này cho phép người dùng giao tiếp với bảng điều khiển hoặc máy tính của họ mà không cần bất kỳ giao diện tự nhiên nào. Họ sử dụng cảm biến độ sâu bao gồm máy chiếu hồng ngoại và cảm biến đơn sắc CMOS (chất bán dẫn oxit kim loại miễn phí) hoạt động cùng nhau, cảm nhận các tính năng 3D của cơ thể bất kể điều kiện ánh sáng. Việc sử dụng cảm biến độ sâu hồng ngoại chất lượng cao sẽ hạn chế khả năng ứng dụng của các thiết bị giống Kinect được sử dụng với các thiết bị cầm tay như điện thoại di động, máy tính bảng, … Ngoài ra, chi phí thiết lập các thiết bị này là một yếu tố hạn chế khác cho việc sử dụng rộng rãi. Hiện nay, có một số đề tài nhận dạng tư thế người dựa trên dữ liệu cung cấp từ camera Kinect như: TS.

Lê Thị Lan thực hiện 7 thực nghiệm với 4 cách trích xuất dữ liệu từ khung xương được cung cấp bởi thiết bị Kinect, kết quả của đề tài cho thấy độ chính xác cao khi nhận dạng 4 tư thế đứng, ngồi, nằm và cúi người. Đề tài “Human gesture recognition using Kinect camera” [5] của Orasa Patsadu, Chakarida Nukoolkit và Bunthit Watanapa, đề tài này đưa ra sự so sánh giữa 4 phương pháp phân loại là mạng nơron lan truyền ngược, SVM, cây quyết định và Bayes thơ ngây hay “Gesture recognition from Indian classical dance using Kinect” [6] của Sripara Saha, Shreya Ghosh, Amit Konar, Atulya K. Nagar sử dụng tọa độ của 11 khớp xương ở phần thân trên để nhận dạng 5 cử chỉ khác nhau. Những đề tài trên đều đạt được độ chính xác cao khi sử dụng dữ liệu khung xương từ camera Kinect, tuy nhiên số lượng tư thế của các đề tài này khá ít (3-5 tư thế).

8 Có vài nghiên cứu tạo ra một hệ thống sử dụng camera bình thường để phát hiện và theo dõi cơ thể người. Hệ thống có thể được các nhà phát triển ứng dụng sử dụng làm thư viện để đưa vào ứng dụng của họ để cơ thể con người có thể được phát hiện và theo dõi bởi ứng dụng như bất kỳ trò chơi cảm biến chuyển động nào. Mục đích của công việc là lấy video làm đầu vào từ một camera được hiệu chỉnh duy nhất, xử lý một trong các khung để phát hiện và nội địa hóa các khớp cơ thể con người. Hệ thống không sử dụng bất kỳ cảm biến độ sâu hoặc camera cảm biến âm thanh nổi.

Hệ thống loại bỏ việc sử dụng bất kỳ cảm biến nào và sử dụng đầu vào camera bình thường và xử lý nó để xác định tất cả các khớp chính và tạo ra bộ xương. Hệ thống cung cấp tiện ích của các thiết bị giống Kinect một cách dễ dàng với yêu cầu chỉ có camera bình thường trong thiết bị và do đó sẽ có sẵn với chi phí so sánh rất thấp. Tóm lại, phân tích trạng thái hoạt động của con người là chủ đề của nhiều dự án nghiên cứu tại thời điểm hiện tại. Từ đầu thế kỷ 19 đến nay, các nghiên cứu về phân tích trạng thái hoạt động đã tập trung vào các thông số đặc trưng cho trạng thái hoạt động để áp dụng chúng vào các lĩnh vực khác nhau như thể thao, xác định người cho mục đích an ninh và y học.

Trong lĩnh vực y tế, những bất thường trong trạng thái hoạt động thể hiện thông tin quan trọng của các bệnh: về thần kinh, parkinson, bệnh tim, di chứng do đột quỵ và các bệnh do lão hóa. Do đó, việc theo dõi thông tin và đánh giá trạng thái hoạt động theo thời gian, sẽ cho phép chẩn đoán sớm bệnh và biến chứng để giúp đỡ bệnh nhân được điều trị tốt nhất.2 Bài toán nhận dạng trạng thái cơ thể Phát hiện cơ thể người đã nhận được sự quan tâm đáng kể và một số phương pháp đã được đề xuất cho vấn đề này. Một cách tiếp cận như vậy được mô tả bởi J. Jacques et al [7].

Cách tiếp cận này dựa trên mô hình màu ban đầu cho da và ngực / áo và các biện pháp nhân trắc học để xác định ngực và chi trên. 9 Jitendra Malik et al [8] giải thích phương pháp sử dụng phân đoạn cấp thấp để thúc đẩy nhận dạng khớp. Các phân đoạn và Superpixels được tạo ra bằng thuật toán cắt chuẩn hóa được sử dụng để đề xuất các ứng cử viên cho các chi và xoắn. Tìm cấu hình cơ thể phù hợp trở thành một vấn đề thỏa mãn ràng buộc.

Một cách tiếp cận khác được mô tả bởi Richard Yi Da Xu, Michael Kemp [9] mô tả phương pháp phát hiện các bộ phận cơ thể người từ hình bóng 2D bằng cách sử dụng phân tích độ cong và khớp hình elip. Phần thân trên của con người được mô hình hóa bằng nhiều hình elip được kết nối. Cơ thể được trích xuất bởi các tính năng phân đoạn và hình elip được trang bị cho từng phân khúc. Cuối cùng, một phương pháp bình phương tối thiểu phi tuyến tính được áp dụng để giảm thiểu sự khác biệt giữa mô hình hình elip được kết nối và cạnh của hình bóng.3 Các dữ liệu mô tả trạng thái con người Hệ thống bao gồm hai bộ phận chính - phát hiện cơ thể người và theo dõi khớp cơ thể người.

Phát hiện cơ thể người được thực hiện bằng thuật toán Viola-Jones và theo dõi được thực hiện bằng thuật toán dòng quang Lucas - Kanade 1.1 Haarcascade - Viola Jones Họ sử dụng thuật toán được đề xuất bởi Paul Viola và Michael Jones [10] để phát hiện các khớp cơ thể. Đó là phương pháp học máy để phát hiện đối tượng trực quan có khả năng xử lý hình ảnh cực kỳ nhanh chóng và đạt tỷ lệ phát hiện cao. Thuật toán bao gồm ba phần cụ thể là hình ảnh tích hợp giúp tính toán giá trị tính năng rất nhanh. Nó sử dụng các tính năng giống như haar là hộp hình chữ nhật bên trong bao gồm các hình chữ nhật màu trắng và đen.

Giá trị của mỗi tính năng được tính bằng chênh lệch giữa tổng của tất cả các pixel bên trong vùng trắng và vùng đen. Sẽ rất không hiệu quả về thời gian và không gian để tính giá trị pixel của từng pixel. Do đó, hình ảnh tích hợp được sử dụng để tính giá trị pixel của chỉ pixel góc để tính giá trị tính năng do đó giảm đáng kể thời gian và chi phí không gian 10 Hình 1. Các đặc điểm của Haar được ánh xạ trên một khuôn mặt Hình 1.

Ma trận hình ảnh đầu vào 1.2 Hình ảnh tích phân tương ứng Phần thứ hai của phương pháp Viola Jones là một phương thức để xây dựng trình phân loại bằng cách chọn một số lượng nhỏ các tính năng quan trọng bằng Adaboost. Adaboost được sử dụng để chọn một bộ tính năng nhỏ và huấn luyện bộ phân loại. Ở dạng ban đầu, nó được sử dụng để tăng hiệu suất của thuật toán học đơn giản. Trong cửa sổ 24x24 bình thường 160.000 tính năng được triển khai lớn hơn nhiều so với số pixel.

Thuật toán Adaboost 11 chỉ thực hiện công việc xác định các tính năng cần thiết và loại bỏ những cái không cần thiết. Dành cho mục đích này là một thuật toán học tập yếu được thiết kế để chọn tính năng hình chữ nhật duy nhất phân tách tốt nhất tích cực và các mẫu âm tính. Người học định nghĩa giá trị ngưỡng. Hơn nữa một sự kết hợp tuyến tính của phân loại cung cấp cho một phân loại mạnh duy nhất.

Phần thứ ba là việc xây dựng một phân loại tầng. Các giai đoạn trong phân loại tầng này được xây dựng bởi các lớp phân loại sử dụng AdaBoost. Mỗi giai đoạn chứa một tập hợp các tính năng mà hình ảnh / khung hình được truyền qua. Mỗi hình ảnh / khung hình có ít nhất 50% các tính năng phù hợp được chuyển sang giai đoạn tiếp theo.

Cấu trúc của phân loại tầng thực chất là của cây quyết định suy biến.