Nghiên Cứu Nhận Dạng Các Trạng Thái Khung Xương Và Ứng Dụng Trong Thực Tiễn

• Tác giả: Nguyễn Anh Tú
• Người hướng dẫn: TS. Lê Thị Kim Nga
• Trường học: Đại học Quy Nhơn
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu nhận dạng một số trạng thái khung xương và ứng dụng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Bình Định

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC HÌNH
• DANH MỤC CÁC BẢNG
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Tổng quan tình hình nghiên cứu đề tài
• 0.3. Mục đích và nhiệm vụ nghiên cứu
• 0.4. Đối tượng và phạm vi nghiên cứu
• 0.5. Phương pháp nghiên cứu
• 1. CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TRẠNG THÁI CỦA CON NGƯỜI
• 1.1. Nhận dạng đối tượng
• 1.2. Bài toán nhận dạng trạng thái cơ thể
• 1.3. Các dữ liệu mô tả trạng thái con người
• 1.3.1. Haarcascade - Viola Jones
• 1.3.2. Hình ảnh tích phân tương ứng
• 1.3.3. Phương pháp phát hiện
• 1.3.4. Dòng quang - Lucas Kanade
• 1.4. Phương pháp trích chọn đặc trưng khung xương
• 1.4.1. Phân đoạn đối tượng
• 1.4.2. Theo vết đối tượng
• 1.4.2.1. Theo vết dựa trên điểm
• 1.4.2.2. Theo vết dựa trên kernel
• 1.4.2.3. Theo vết dựa trên hình chiếu
• 1.4.2.4. Ước lượng tư thế
• 1.4.3. Biểu diễn đặc trưng
• 1.4.3.1. Đặc trưng dạng số
• 1.4.3.2. Đặc trưng nhị phân
• 1.5. Một số tiếp cận trong nhận dạng trạng thái khung xương
• 1.5.1. Phương pháp dựa vào đặc trưng
• 1.5.2. Phương pháp dựa vào mô hình
• 1.5.2.1. Máy vector hỗ trợ (Support Vector Machine -SVM)
• 1.5.2.2. Mô hình Markov ẩn (HMM)
• 1.5.2.3. Mạng nơron nhân tạo (Artificial Neural Network - ANN)
• 1.6. Một số ứng dụng của nhận dạng khung xương
• 2. CHƯƠNG 2: NHẬN DẠNG TRẠNG THÁI KHUNG XƯƠNG
• 2.1. Trích chọn đặc trưng khung xương
• 2.2. Nhận dạng khung xương
• 2.2.1. Mô hình Markov
• 2.2.2. Xây dựng mô hình trạng thái khung xương
• 2.2.3. Phát hiện bất thường
• 2.2.4. Thuật toán hồi quy
• 2.3. Kết luận chương 2
• 3. CHƯƠNG 3: XÂY DỰNG ỨNG DỤNG
• 3.1. Phát biểu bài toán
• 3.1.1. Vài nét về võ cổ truyền Việt Nam và võ cổ truyền Bình Định
• 3.1.2. Tổng quan về camera Kinect
• 3.1.3. Phân tích bài toán
• 3.2. Chi tiết thực hiện
• 3.3. Cài đặt thử nghiệm
• 3.3.1. Mô tả dữ liệu
• 3.3.2. Môi trường cài đặt
• 3.3.3. Quy trình thực hiện
• DANH MỤC TÀI LIỆU THAM KHẢO
• QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)

I. Tổng quan về nhận dạng trạng thái của con người

Chương này cung cấp cái nhìn tổng quan về nhận dạng trạng thái của con người, bao gồm các khái niệm cơ bản và các phương pháp hiện có. Nhận dạng đối tượng là một lĩnh vực quan trọng trong công nghệ hiện đại, với nhiều ứng dụng trong các lĩnh vực như an ninh, y tế và giải trí. Các nghiên cứu đã chỉ ra rằng việc phát hiện và theo dõi các khớp xương của con người có thể được thực hiện thông qua các thiết bị cảm biến như Kinect. Việc sử dụng công nghệ này giúp cải thiện độ chính xác trong việc nhận dạng các tư thế và trạng thái của con người. Theo đó, các phương pháp như Haarcascade và Lucas-Kanade đã được áp dụng để phát hiện và theo dõi các khớp xương. Những nghiên cứu này không chỉ giúp nâng cao hiệu quả trong việc nhận dạng mà còn mở ra nhiều cơ hội ứng dụng trong thực tiễn.

1.1 Nhận dạng đối tượng

Nhận dạng đối tượng là một trong những thách thức lớn trong lĩnh vực khoa học máy tính. Công nghệ cảm biến chuyển động, như Kinect, đã mang lại những bước tiến đáng kể trong việc phát hiện và theo dõi cơ thể con người. Hệ thống này sử dụng cảm biến hồng ngoại để xác định vị trí và trạng thái của các khớp xương. Việc phát triển các thuật toán như Haarcascade giúp tăng cường khả năng nhận diện và theo dõi, từ đó cải thiện độ chính xác trong các ứng dụng thực tế. Hệ thống này có thể được áp dụng trong nhiều lĩnh vực, từ y tế đến giải trí, mở ra nhiều cơ hội nghiên cứu và phát triển mới.

1.2 Bài toán nhận dạng trạng thái cơ thể

Bài toán nhận dạng trạng thái cơ thể đã thu hút sự quan tâm lớn từ các nhà nghiên cứu. Các phương pháp hiện có thường dựa vào việc phân tích hình ảnh và sử dụng các thuật toán học máy để nhận diện các tư thế khác nhau. Tuy nhiên, việc nhận dạng vẫn gặp nhiều khó khăn do ảnh hưởng của các yếu tố như ánh sáng và góc chụp. Các nghiên cứu gần đây đã chỉ ra rằng việc sử dụng dữ liệu từ Kinect có thể cải thiện đáng kể độ chính xác trong việc nhận dạng các tư thế. Điều này cho thấy tiềm năng lớn của công nghệ cảm biến trong việc phát triển các ứng dụng nhận dạng tư thế trong tương lai.

II. Nhận dạng trạng thái khung xương

Chương này tập trung vào việc nhận dạng trạng thái khung xương, một lĩnh vực quan trọng trong nghiên cứu nhận dạng tư thế. Hệ thống nhận dạng khung xương bao gồm các bước như trích chọn đặc trưng và xây dựng mô hình nhận dạng. Việc trích chọn đặc trưng khung xương là một bước quan trọng, giúp xác định các điểm khớp và theo dõi chuyển động của cơ thể. Các mô hình như Markov ẩn đã được áp dụng để phát hiện bất thường trong trạng thái khung xương. Điều này không chỉ giúp cải thiện độ chính xác trong việc nhận dạng mà còn mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế và thể thao.

2.1 Trích chọn đặc trưng khung xương

Trích chọn đặc trưng khung xương là một bước quan trọng trong quá trình nhận dạng. Các thuật toán như Haarcascade và Lucas-Kanade được sử dụng để phát hiện và theo dõi các khớp xương. Việc sử dụng các phương pháp này giúp cải thiện độ chính xác trong việc nhận dạng các tư thế khác nhau. Hệ thống này có thể được áp dụng trong nhiều lĩnh vực, từ y tế đến thể thao, mở ra nhiều cơ hội nghiên cứu và phát triển mới. Các nghiên cứu đã chỉ ra rằng việc sử dụng dữ liệu từ Kinect có thể cải thiện đáng kể độ chính xác trong việc nhận dạng các tư thế.

2.2 Mô hình Markov

Mô hình Markov là một trong những phương pháp quan trọng trong việc nhận dạng trạng thái khung xương. Mô hình này cho phép xác định các trạng thái khác nhau của khung xương và phát hiện bất thường trong chuyển động. Việc áp dụng mô hình Markov giúp cải thiện độ chính xác trong việc nhận dạng các tư thế và mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế và thể thao. Các nghiên cứu đã chỉ ra rằng việc sử dụng mô hình này có thể giúp phát hiện sớm các vấn đề liên quan đến sức khỏe và cải thiện chất lượng cuộc sống.

III. Xây dựng ứng dụng

Chương này trình bày quy trình xây dựng ứng dụng nhận dạng tư thế dựa trên dữ liệu khung xương thu được từ camera Kinect. Việc phát triển ứng dụng này bao gồm các bước như phân tích bài toán, xây dựng thuật toán và cài đặt thử nghiệm. Mục tiêu cuối cùng là tạo ra một hệ thống có khả năng nhận dạng các tư thế võ của con người, từ đó ứng dụng vào thực tiễn trong các lĩnh vực như thể thao và y tế. Các kết quả thực nghiệm cho thấy hệ thống có khả năng nhận dạng chính xác các tư thế, mở ra nhiều cơ hội ứng dụng trong tương lai.

3.1 Phát biểu bài toán

Phát biểu bài toán là bước đầu tiên trong quá trình xây dựng ứng dụng. Mục tiêu của bài toán là nhận dạng các tư thế võ của con người dựa trên dữ liệu khung xương thu được từ camera Kinect. Việc xác định rõ ràng bài toán giúp định hướng cho các bước tiếp theo trong quá trình phát triển ứng dụng. Các nghiên cứu đã chỉ ra rằng việc sử dụng dữ liệu từ Kinect có thể cải thiện đáng kể độ chính xác trong việc nhận dạng các tư thế, từ đó mở ra nhiều cơ hội ứng dụng trong thực tiễn.

3.2 Chi tiết thực hiện

Chi tiết thực hiện là bước quan trọng trong quá trình xây dựng ứng dụng. Các bước thực hiện bao gồm cài đặt thử nghiệm, mô tả dữ liệu và quy trình thực hiện. Việc thực hiện các bước này giúp đảm bảo rằng hệ thống hoạt động hiệu quả và có khả năng nhận dạng chính xác các tư thế. Các kết quả thực nghiệm cho thấy hệ thống có khả năng nhận dạng chính xác các tư thế, mở ra nhiều cơ hội ứng dụng trong tương lai. Điều này cho thấy tiềm năng lớn của công nghệ cảm biến trong việc phát triển các ứng dụng nhận dạng tư thế trong tương lai.

Tổng quan nghiên cứu

Nhận dạng trạng thái khung xương người là một lĩnh vực nghiên cứu quan trọng trong khoa học máy tính, đặc biệt trong thị giác máy tính và xử lý ảnh. Theo ước tính, việc nhận dạng tư thế người có ứng dụng rộng rãi trong y tế, giải trí, an ninh và thể thao. Tuy nhiên, bài toán này gặp nhiều thách thức do ảnh hưởng của các yếu tố môi trường như ánh sáng, góc chụp, nhiễu và che khuất. Mục tiêu của luận văn là xây dựng mô hình nhận dạng một số trạng thái khung xương dựa trên dữ liệu thu thập từ camera Kinect, thiết bị cung cấp ảnh độ sâu và tọa độ các khớp xương người với chi phí thấp và độ chính xác cao.

Phạm vi nghiên cứu tập trung vào dữ liệu thu nhận từ camera Kinect tại một số địa phương, với trường hợp camera cố định và chỉ theo dõi một người. Luận văn nhằm phát triển mô hình nhận dạng tư thế võ cổ truyền Việt Nam, đặc biệt là các tư thế phòng thủ và tấn công, qua đó ứng dụng vào chương trình nhận dạng tư thế võ. Ý nghĩa nghiên cứu được thể hiện qua việc nâng cao độ chính xác nhận dạng tư thế, hỗ trợ các ứng dụng trong y tế, thể thao và giải trí, đồng thời góp phần phát triển công nghệ nhận dạng hành động người trong thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mô hình Markov ẩn (Hidden Markov Model - HMM) và thuật toán máy vector hỗ trợ (Support Vector Machine - SVM). HMM được sử dụng để mô hình hóa quá trình biến đổi trạng thái khung xương theo thời gian, với khả năng xử lý dữ liệu tuần tự và biểu diễn các trạng thái ẩn không quan sát được trực tiếp. SVM là thuật toán phân lớp mạnh mẽ, được áp dụng để phân loại các trạng thái tư thế dựa trên các đặc trưng trích xuất từ dữ liệu khung xương.

Các khái niệm chính bao gồm:

• Khung xương (Skeleton): tập hợp các điểm khớp nối trên cơ thể người, biểu diễn vị trí và chuyển động của các bộ phận.
• Dòng quang học (Optical Flow): mô hình chuyển động của các điểm ảnh giữa các khung hình liên tiếp, dùng để theo dõi chuyển động khớp.
• Phân đoạn đối tượng (Object Segmentation): tách người ra khỏi nền ảnh để trích xuất đặc trưng chính xác.
• Trích chọn đặc trưng (Feature Extraction): chuyển đổi dữ liệu khung xương thành các vector đặc trưng số hoặc nhị phân phục vụ cho việc nhận dạng.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các chuỗi ảnh và tọa độ khung xương thu thập từ camera Kinect, với cỡ mẫu khoảng 100 người thực hiện nhiều tư thế võ khác nhau. Phương pháp chọn mẫu là ngẫu nhiên trong phạm vi nghiên cứu tại Bình Định, đảm bảo tính đại diện cho các tư thế võ cổ truyền.

Phân tích dữ liệu sử dụng kết hợp các thuật toán:

• Thuật toán Haarcascade - Viola Jones để phát hiện các khớp cơ thể trong ảnh.
• Thuật toán Lucas-Kanade với kim tự tháp Gaussian để theo dõi chuyển động các điểm khớp.
• Thuật toán k-means để phân cụm và chuyển đổi vector đặc trưng thành các giá trị vô hướng phục vụ mô hình HMM.
• Mô hình Markov ẩn rời rạc để xây dựng mô hình trạng thái khung xương và nhận dạng tư thế.

Timeline nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, cài đặt ứng dụng và đánh giá kết quả thực nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác nhận dạng tư thế: Mô hình HMM kết hợp với trích chọn đặc trưng khung xương đạt độ chính xác nhận dạng tư thế phòng thủ và tấn công lên đến khoảng 92%, vượt trội so với các phương pháp truyền thống chỉ sử dụng ảnh màu.
2. Hiệu quả trích chọn đặc trưng: Việc sử dụng các đặc trưng nhị phân dựa trên quan hệ hình học giữa các khớp giúp giảm thiểu ảnh hưởng của góc nhìn và che khuất, tăng độ ổn định của mô hình lên khoảng 15% so với đặc trưng số thuần túy.
3. Tốc độ xử lý: Thuật toán theo dõi và nhận dạng hoạt động trong thời gian thực với độ trễ trung bình dưới 200 ms, phù hợp cho các ứng dụng tương tác trực tiếp.
4. So sánh với các nghiên cứu khác: Kết quả nhận dạng tư thế đa dạng hơn (bao gồm 5 tư thế võ) so với các nghiên cứu trước đây chỉ nhận dạng 3-5 tư thế cơ bản, đồng thời giảm thiểu sai số do điều kiện ánh sáng và nhiễu môi trường.

Thảo luận kết quả

Nguyên nhân chính của độ chính xác cao là do dữ liệu khung xương thu thập từ Kinect cung cấp thông tin 3D chính xác về vị trí các khớp, giúp mô hình nhận dạng ít bị ảnh hưởng bởi các yếu tố môi trường như ánh sáng hay góc chụp. Việc áp dụng mô hình Markov ẩn cho phép mô hình hóa chuỗi trạng thái liên tục của tư thế, phù hợp với đặc tính chuyển động tự nhiên của con người.

So với các nghiên cứu sử dụng ảnh màu truyền thống, phương pháp này giảm thiểu đáng kể sai số do nhiễu và che khuất. Kết quả có thể được trình bày qua biểu đồ so sánh độ chính xác nhận dạng giữa các phương pháp, cũng như bảng thống kê thời gian xử lý trung bình trên mỗi khung hình.

Ý nghĩa của kết quả là mở rộng khả năng ứng dụng nhận dạng tư thế trong các lĩnh vực như võ thuật, y tế và giải trí, đồng thời cung cấp nền tảng cho các nghiên cứu tiếp theo về nhận dạng hành động phức tạp hơn.

Đề xuất và khuyến nghị

1. Phát triển hệ thống nhận dạng đa người: Mở rộng phạm vi nhận dạng để theo dõi và phân loại tư thế của nhiều người cùng lúc, nhằm nâng cao ứng dụng trong các môi trường đông người như phòng tập võ hoặc sân vận động. Chủ thể thực hiện: nhóm nghiên cứu và phát triển phần mềm, timeline 12 tháng.
2. Tối ưu thuật toán cho thiết bị di động: Giảm thiểu chi phí tính toán và bộ nhớ để triển khai trên các thiết bị di động như smartphone, tablet, giúp ứng dụng rộng rãi hơn trong thực tế. Chủ thể thực hiện: đội ngũ kỹ thuật phần mềm, timeline 6 tháng.
3. Mở rộng bộ dữ liệu huấn luyện: Thu thập thêm dữ liệu từ nhiều tư thế võ khác nhau và các điều kiện môi trường đa dạng để tăng tính tổng quát và độ chính xác của mô hình. Chủ thể thực hiện: nhóm nghiên cứu, timeline liên tục.
4. Tích hợp phản hồi người dùng: Phát triển giao diện tương tác cho phép người tập võ nhận biết và điều chỉnh tư thế sai, nâng cao hiệu quả luyện tập và phòng tránh chấn thương. Chủ thể thực hiện: nhóm phát triển ứng dụng, timeline 9 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính: Nắm bắt các phương pháp xử lý ảnh, trích chọn đặc trưng và mô hình hóa dữ liệu chuyển động người.
2. Chuyên gia phát triển ứng dụng y tế và thể thao: Áp dụng công nghệ nhận dạng tư thế để theo dõi bệnh nhân, hỗ trợ vật lý trị liệu và cải thiện hiệu quả luyện tập thể thao.
3. Giáo viên và huấn luyện viên võ thuật: Sử dụng hệ thống nhận dạng tư thế để đánh giá và hướng dẫn học viên luyện tập chính xác, giảm thiểu sai sót kỹ thuật.
4. Nhà phát triển phần mềm tương tác và giải trí: Tích hợp công nghệ nhận dạng khung xương vào các trò chơi tương tác, ứng dụng thực tế ảo và tăng cường trải nghiệm người dùng.

Câu hỏi thường gặp

1. Camera Kinect có ưu điểm gì so với camera thường trong nhận dạng tư thế?
   Camera Kinect cung cấp ảnh độ sâu và tọa độ 3D các khớp xương, giúp giảm thiểu ảnh hưởng của ánh sáng và góc chụp, nâng cao độ chính xác nhận dạng so với camera thường chỉ thu ảnh màu 2D.

2. Mô hình Markov ẩn được sử dụng như thế nào trong nhận dạng tư thế?
   HMM mô hình hóa chuỗi trạng thái ẩn của tư thế người theo thời gian, cho phép dự đoán và phân loại các trạng thái dựa trên chuỗi quan sát các đặc trưng trích xuất từ dữ liệu khung xương.

3. Đặc trưng nhị phân có lợi ích gì trong bài toán này?
   Đặc trưng nhị phân biểu diễn quan hệ hình học giữa các khớp bằng giá trị 0 và 1, giúp giảm thiểu ảnh hưởng của góc nhìn và che khuất, đồng thời giảm số chiều dữ liệu, tăng hiệu quả xử lý.

4. Phương pháp theo dõi dòng quang Lucas-Kanade có vai trò gì?
   Thuật toán này theo dõi chuyển động các điểm khớp giữa các khung hình liên tiếp, giúp duy trì thông tin vị trí khớp chính xác trong quá trình chuyển động liên tục.

5. Ứng dụng thực tế của nghiên cứu này là gì?
   Ngoài võ thuật, hệ thống có thể ứng dụng trong y tế để theo dõi bệnh nhân tập vật lý trị liệu, trong giải trí để phát triển trò chơi tương tác, và trong an ninh để nhận dạng hành vi người.

Kết luận

• Luận văn đã xây dựng thành công mô hình nhận dạng một số trạng thái khung xương người dựa trên dữ liệu từ camera Kinect với độ chính xác khoảng 92%.
• Phương pháp kết hợp trích chọn đặc trưng nhị phân và mô hình Markov ẩn giúp xử lý hiệu quả các vấn đề về che khuất và biến đổi tư thế.
• Hệ thống nhận dạng hoạt động trong thời gian thực, phù hợp cho các ứng dụng tương tác và huấn luyện võ thuật.
• Kết quả nghiên cứu mở ra hướng phát triển các ứng dụng đa người, tối ưu cho thiết bị di động và mở rộng bộ dữ liệu huấn luyện.
• Đề nghị các nhà nghiên cứu và phát triển ứng dụng tiếp tục hoàn thiện và ứng dụng rộng rãi công nghệ nhận dạng tư thế trong nhiều lĩnh vực.

Hãy bắt đầu áp dụng các giải pháp nhận dạng khung xương để nâng cao hiệu quả luyện tập và chăm sóc sức khỏe ngay hôm nay!