Nhận Dạng Hình Trạng Người Từ Nhiều Kinect

Tài liệu nghiên cứu Nhận dạng hình trạng người từ nhiều kinect, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Văn Long
• Người hướng dẫn: TS. Lê Thị Lan
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật điều khiển và tự động hóa
• Đề tài: Nhận Dạng Hình Trạng Người Từ Nhiều Kinect
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG I: TỔNG QUAN VỀ NHẬN DẠNG HÌNH TRẠNG NGƯỜI
• 1.1. Nhận dạng hình trạng người từ camera màu
• 1.2. Nhận dạng hình trạng người từ Kinect
• 1.3. Mô hình đề xuất
• 2. CHƯƠNG II: NHẬN DẠNG HÌNH TRẠNG NGƯỜI TỪ NHIỀU KINECT
• 3. CHƯƠNG III: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Dạng Hình Trạng Người Cách Tiếp Cận

Nhận dạng hình trạng người là một bài toán phổ biến, đã được nghiên cứu và ứng dụng rộng rãi trong nhiều thập kỷ. Có nhiều phương pháp tiếp cận, chia thành 3 nhóm chính: sử dụng cảm biến vật lý, cảm biến hình ảnh (camera), và cảm biến Kinect. Mỗi phương pháp có ưu, nhược điểm riêng. Các phương pháp sử dụng cảm biến vật lý cho độ chính xác cao nhưng tốn kém và chỉ áp dụng được trên từng đối tượng riêng rẽ. Cảm biến hình ảnh chi phí thấp, áp dụng chung được cho nhiều đối tượng nhưng độ chính xác không cao do nhiễu môi trường. Kinect kết hợp ưu điểm của cả hai, giảm thiểu tác động của nhiễu và không phụ thuộc vào điều kiện ánh sáng, tuy nhiên có thể không chính xác trong một số trường hợp. Luận văn này tập trung vào phương pháp sử dụng cảm biến hình ảnh và Kinect để nhận dạng hình thể người một cách hiệu quả. Điều quan trọng là phải xem xét đến các ưu và nhược điểm của mỗi phương pháp để đưa ra một giải pháp tối ưu. Các nghiên cứu đã chỉ ra rằng việc kết hợp các phương pháp có thể mang lại kết quả tốt hơn.

1.1. Lịch Sử Nghiên Cứu Nhận Dạng Hình Thể Người

Đã có nhiều nghiên cứu về nhận dạng hình thể người trên thế giới. Mỗi nghiên cứu tập trung vào một hoặc một vài hình trạng cụ thể, sử dụng các phương pháp khác nhau, và có những ưu, nhược điểm riêng. Việc tìm hiểu lịch sử nghiên cứu giúp xác định hướng đi mới và tránh lặp lại những sai lầm trước đây. Ví dụ, một số nghiên cứu tập trung vào nhận dạng dáng đi người trong khi những nghiên cứu khác tập trung vào nhận dạng hành vi người.

1.2. Mục Tiêu và Phạm Vi Nghiên Cứu Sử Dụng Kinect

Luận văn tập trung nghiên cứu, đề xuất giải pháp và thực nghiệm nhận dạng bốn hình trạng cơ bản của người là đứng, cúi, ngồi và nằm dựa vào thông tin về khớp xương thu được từ nhiều Kinect. Các đánh giá thực nghiệm được xây dựng trên một tập mẫu thu thập trong phòng thí nghiệm. Mục tiêu là xây dựng một hệ thống nhận dạng hình trạng người chính xác và hiệu quả, có thể ứng dụng trong nhiều lĩnh vực khác nhau.

II. Giải Quyết Bài Toán Phương Pháp Sử Dụng Nhiều Kinect V2

Các phương pháp hiện tại có những hạn chế. Ảnh màu dễ bị nhiễu bởi ánh sáng và môi trường. Kinect có thể không chính xác khi người nằm hoặc bị che khuất. Để giải quyết vấn đề này, luận văn đề xuất mô hình nhận dạng hình trạng người dựa vào nhiều Kinect, cụ thể là Kinect V2. Sử dụng nhiều Kinect giúp thu thập nhiều hình ảnh của cơ thể từ nhiều góc độ, tăng độ chính xác. Đề tài thực hiện việc nhận dạng hình trạng người từ nhiều hướng nhìn khác nhau đối với Kinect. Việc sử dụng nhiều hơn một Kinect giúp cải thiện đáng kể độ chính xác nhận dạng. Dữ liệu thu được từ mỗi Kinect sẽ được hợp nhất và xử lý để đưa ra kết quả cuối cùng.

2.1. Ưu Điểm Của Phương Pháp Đa Kinect

Sử dụng nhiều Kinect cho phép thu thập dữ liệu từ nhiều góc độ khác nhau, giảm thiểu ảnh hưởng của việc che khuất và cải thiện độ chính xác nhận dạng. Phương pháp này đặc biệt hữu ích trong các ứng dụng yêu cầu độ chính xác cao, chẳng hạn như ứng dụng Kinect trong y tế hoặc ứng dụng Kinect trong thể thao. Việc hợp nhất dữ liệu Kinect đòi hỏi các thuật toán xử lý phức tạp, nhưng mang lại kết quả vượt trội.

2.2. Cách Bố Trí Đa Kinect Tối Ưu Góc Nhìn Vuông Góc

Để đạt được mục tiêu nhận dạng hình trạng người trong mọi góc nhìn, cần nhiều hơn một Kinect. Trong đề tài này, ta sẽ sử dụng 2 Kinect và bố trí sao cho 2 Kinect vuông góc với nhau. Bằng cách này, ta có thể đảm bảo rằng người luôn hướng thẳng vào một Kinect nào đó. Việc bố trí này giúp bao phủ một không gian rộng hơn và cải thiện khả năng tracking chuyển động của đối tượng.

2.3. Đồng bộ dữ liệu từ nhiều Kinect

Dữ liệu các khớp xương thu được từ 2 Kinect sẽ được đồng bộ nhằm mục đích chọn ra khớp xương tương ứng chính xác. Để nhận dạng hình trạng người từ các khớp xương đã được đồng bộ, ta có thể sử dụng nhiều phương pháp khác nhau như dùng các phép logic if-else, các phương pháp học máy (machine learning) như mạng nơ ron, SVM …

III. Nhận Dạng Dáng Đi Người Trích Xuất Đặc Trưng Mô Hình SVM

Để nhận dạng hình trạng người, cần trích xuất các đặc trưng quan trọng từ dữ liệu Kinect. Có thể sử dụng nhiều phương pháp khác nhau để trích xuất đặc trưng, chẳng hạn như tính toán các góc giữa các khớp xương. Sau khi trích xuất đặc trưng, cần xây dựng một mô hình nhận dạng để phân loại các hình trạng khác nhau. Trong đề tài này, tác giả đề xuất sử dụng mô hình SVM cho việc nhận dạng bởi các phân lớp hình trạng trong đề tài này tương đối đơn giản (chỉ có 4 lớp tương ứng với 4 hình trạng cơ thể người).

3.1. Các Đặc Trưng Quan Trọng Cho Nhận Dạng Hình Thể

Các đặc trưng quan trọng bao gồm vị trí và hướng của các khớp xương, khoảng cách giữa các khớp xương, và các góc tạo bởi các khớp xương. Các đặc trưng này có thể được sử dụng để phân biệt giữa các hình trạng khác nhau, chẳng hạn như đứng, cúi, ngồi và nằm. Việc lựa chọn các đặc trưng phù hợp là rất quan trọng để đạt được độ chính xác cao trong nhận dạng hình thể.

3.2. Ưu Điểm Của Thuật Toán SVM Trong Bài Toán Này

Mô hình SVM đã được nhiều nghiên cứu đánh giá là có độ chính xác cao, đơn giản cho sử dụng và thời gian huấn luyện nhanh chóng. Hơn nữa mô hình SVM đã được nhiều nghiên cứu đánh giá là có độ chính xác cao, đơn giản cho sử dụng và thời gian huấn luyện nhanh chóng.

IV. Thực Nghiệm và Đánh Giá Độ Chính Xác Nhận Dạng Bằng Kinect

Để đánh giá hiệu quả của phương pháp đề xuất, đã tiến hành thực nghiệm với dữ liệu thu thập từ 2 Kinect. Chương trình thực nghiệm bao gồm các module thu thập dữ liệu, huấn luyện và nhận dạng, và hiển thị kết quả. Cơ sở dữ liệu thực nghiệm được xây dựng trong phòng thí nghiệm. Kết quả thử nghiệm cho thấy phương pháp sử dụng nhiều Kinect cải thiện đáng kể độ chính xác nhận dạng so với phương pháp sử dụng một Kinect. Độ chính xác nhận dạng đạt được là khá cao, chứng tỏ tính khả thi của phương pháp.

4.1. Xây Dựng Cơ Sở Dữ Liệu Thực Nghiệm Hình Trạng Người

Cơ sở dữ liệu thực nghiệm bao gồm các mẫu dữ liệu của bốn hình trạng cơ bản: đứng, cúi, ngồi và nằm. Mỗi hình trạng được thu thập từ nhiều góc độ khác nhau để đảm bảo tính đa dạng của dữ liệu. Việc xây dựng một cơ sở dữ liệu lớn và đa dạng là rất quan trọng để huấn luyện một mô hình nhận dạng mạnh mẽ.

4.2. So Sánh Kết Quả Nhận Dạng Với Một và Hai Kinect

Kết quả thử nghiệm cho thấy phương pháp sử dụng hai Kinect đạt độ chính xác cao hơn so với phương pháp sử dụng một Kinect. Điều này chứng tỏ lợi ích của việc thu thập dữ liệu từ nhiều góc độ khác nhau. Cụ thể, độ chính xác nhận dạng tăng lên đáng kể khi sử dụng hai Kinect trong các trường hợp người bị che khuất hoặc không hướng thẳng về phía Kinect.

V. Ứng Dụng Kinect Trong Tương Lai Tiềm Năng và Hướng Phát Triển

Nghiên cứu này mở ra nhiều tiềm năng ứng dụng của Kinect trong các lĩnh vực khác nhau. Ứng dụng Kinect trong y tế có thể giúp theo dõi bệnh nhân, phát hiện té ngã, và hỗ trợ phục hồi chức năng. Ứng dụng Kinect trong thể thao có thể giúp phân tích kỹ thuật, cải thiện hiệu suất, và ngăn ngừa chấn thương. Ứng dụng Kinect trong an ninh có thể giúp phát hiện hành vi bất thường và bảo vệ an toàn. Ứng dụng Kinect trong game có thể tạo ra trải nghiệm tương tác chân thực và hấp dẫn. Việc tiếp tục nghiên cứu và phát triển các ứng dụng Kinect sẽ mang lại nhiều lợi ích cho xã hội.

5.1. Ứng Dụng Kinect Trong Giám Sát Sức Khỏe Từ Xa

Với khả năng nhận dạng hành vi người và tracking chuyển động, Kinect có thể được sử dụng để giám sát sức khỏe của người cao tuổi hoặc người bệnh tại nhà. Hệ thống có thể phát hiện các dấu hiệu bất thường như té ngã hoặc giảm hoạt động thể chất và cảnh báo cho người thân hoặc nhân viên y tế.

5.2. Ứng Dụng Kinect Trong Thiết Kế Không Gian Làm Việc Ảo

Kinect có thể được sử dụng để tạo ra các không gian làm việc ảo, cho phép người dùng tương tác với các đối tượng ảo và cộng tác với nhau từ xa. Hệ thống có thể theo dõi tracking chuyển động của người dùng và tái tạo chúng trong môi trường ảo, tạo ra trải nghiệm làm việc chân thực và hiệu quả.

VI. Kết Luận Nhận Dạng Hình Trạng Đa Kinect Hướng Đi Mới

Luận văn đã trình bày một phương pháp mới để nhận dạng hình trạng người dựa trên nhiều Kinect. Phương pháp này có nhiều ưu điểm so với các phương pháp truyền thống, đặc biệt là khả năng cải thiện độ chính xác nhận dạng trong các điều kiện khác nhau. Kết quả nghiên cứu cho thấy tính khả thi và hiệu quả của phương pháp đề xuất. Trong tương lai, có thể tiếp tục nghiên cứu và phát triển phương pháp này để ứng dụng trong nhiều lĩnh vực khác nhau.

6.1. Đề Xuất Các Hướng Nghiên Cứu Tiếp Theo Về Nhận Dạng

Các hướng nghiên cứu tiếp theo có thể bao gồm việc sử dụng các thuật toán học sâu để trích xuất đặc trưng tự động từ dữ liệu Kinect, phát triển các phương pháp hiệu chỉnh Kinect để giảm thiểu sai số, và nghiên cứu các phương pháp tương tác người máy dựa trên nhận dạng hình trạng.

6.2. Thách Thức và Cơ Hội Phát Triển Phần Mềm Nhận Dạng

Thách thức lớn nhất là phát triển các thuật toán xử lý ảnh 3D hiệu quả và chính xác để hợp nhất dữ liệu Kinect từ nhiều nguồn khác nhau. Tuy nhiên, cơ hội phát triển là rất lớn, đặc biệt là trong lĩnh vực giao diện người máy và không gian làm việc ảo.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng hình trạng người là một lĩnh vực nghiên cứu quan trọng trong kỹ thuật điều khiển và tự động hóa, với ứng dụng rộng rãi trong giám sát an ninh, chăm sóc sức khỏe, tương tác người-máy và robot. Theo ước tính, việc nhận dạng chính xác các hình thái cơ bản của con người như đứng, ngồi, cúi và nằm có thể nâng cao hiệu quả của các hệ thống tự động hóa và tương tác thông minh. Luận văn tập trung nghiên cứu nhận dạng hình trạng người dựa trên dữ liệu khớp xương thu thập từ nhiều thiết bị Kinect phiên bản 2.0, nhằm khắc phục hạn chế của việc sử dụng một Kinect đơn lẻ như mất dữ liệu do che khuất hoặc góc nhìn không thuận lợi.

Mục tiêu cụ thể của nghiên cứu là đề xuất mô hình nhận dạng hình trạng người từ nhiều Kinect, xây dựng hệ thống thu thập và đồng bộ dữ liệu khớp xương, trích chọn đặc trưng phù hợp và áp dụng thuật toán học máy SVM để phân loại bốn hình thái cơ bản: đứng, ngồi, cúi và nằm. Phạm vi nghiên cứu được thực hiện tại phòng thí nghiệm Viện Nghiên cứu Quốc tế MICA, Trường Đại học Bách Khoa Hà Nội, với dữ liệu thu thập từ hai Kinect đặt vuông góc nhau, trong khoảng thời gian năm 2016.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác nhận dạng hình trạng người trong các điều kiện thực tế khác nhau, giảm thiểu sai số do góc nhìn và che khuất, đồng thời cung cấp nền tảng cho các ứng dụng tự động hóa và tương tác thông minh trong đời sống và công nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: lý thuyết nhận dạng hình dạng người từ dữ liệu hình ảnh và lý thuyết học máy phân lớp SVM (Support Vector Machine).

1. Nhận dạng hình dạng người từ Kinect: Kinect phiên bản 2.0 cung cấp dữ liệu tọa độ 3D của 25 khớp xương trên cơ thể người, cho phép mô hình hóa hình thái cơ thể dựa trên các đặc trưng hình học như góc giữa các khớp và tỉ lệ khoảng cách giữa các điểm khớp xương. Việc sử dụng nhiều Kinect giúp thu thập dữ liệu đa chiều từ nhiều góc nhìn, tăng độ chính xác và giảm thiểu mất mát thông tin do che khuất.

2. Thuật toán SVM: SVM là thuật toán học có giám sát, phân lớp dữ liệu dựa trên siêu phẳng tối ưu với khoảng cách lề cực đại giữa các lớp. Thuật toán này phù hợp với bài toán phân loại bốn hình thái cơ bản của cơ thể người do tính đơn giản, độ chính xác cao và thời gian huấn luyện ngắn. Hàm nhân RBF được lựa chọn để xử lý dữ liệu đặc trưng rời rạc và không tuyến tính.

Các khái niệm chính bao gồm: đồng bộ dữ liệu theo thời gian và không gian, trích chọn đặc trưng góc và tỉ lệ khoảng cách giữa các khớp xương, ma trận chuyển đổi hệ tọa độ giữa các Kinect, và mô hình phân lớp SVM với các tham số huấn luyện được tối ưu.

Phương pháp nghiên cứu

Nguồn dữ liệu được thu thập trực tiếp từ hai thiết bị Kinect phiên bản 2.0 đặt vuông góc nhau tại phòng thí nghiệm Viện Nghiên cứu Quốc tế MICA. Mỗi Kinect kết nối với một máy tính client, dữ liệu khớp xương được truyền về máy chủ để đồng bộ và xử lý.

Phương pháp phân tích bao gồm:

• Đồng bộ dữ liệu theo thời gian: Dữ liệu được chuẩn hóa về 25 khung hình mỗi giây, chọn khung hình gần nhất với mốc thời gian chuẩn để đồng bộ.
• Đồng bộ dữ liệu theo không gian: Xác định ma trận quay và vector tịnh tiến giữa hai hệ tọa độ Kinect dựa trên các điểm khớp xương chung, sử dụng phép quay quanh trục Y với góc 90 độ.
• Trích chọn đặc trưng: Lựa chọn 10 đặc trưng chính gồm các góc giữa các khớp xương và tỉ lệ khoảng cách đặc trưng cho từng hình thái cơ thể.
• Huấn luyện mô hình SVM: Sử dụng tập dữ liệu đã gán nhãn gồm 4 lớp hình thái, áp dụng hàm nhân RBF với tham số σ = 2.0, loại hình C-Support Vector Classification (C_SVC).
• Thời gian nghiên cứu: Quá trình thu thập và xử lý dữ liệu diễn ra trong năm 2016, với các bước thử nghiệm và đánh giá kết quả thực nghiệm tại phòng thí nghiệm.

Cỡ mẫu thu thập gồm 50 mẫu cho mỗi hình thái và mỗi góc nhìn, tổng cộng khoảng 1600 mẫu dữ liệu cho bốn hình thái và nhiều góc độ khác nhau.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác nhận dạng tăng khi sử dụng nhiều Kinect: Kết quả thử nghiệm cho thấy, khi sử dụng một Kinect, độ chính xác nhận dạng hình thái người đạt khoảng 85-90%, trong khi khi sử dụng hai Kinect đồng bộ, độ chính xác tăng lên trên 95%. Việc đồng bộ dữ liệu không gian và thời gian giúp giảm thiểu sai số do che khuất và góc nhìn không thuận lợi.

2. Đặc trưng góc và tỉ lệ khoảng cách có khả năng phân biệt cao: Các đặc trưng như góc BEH đặc trưng cho hình thái cúi, tỉ lệ chiều cao các điểm A, B, E so với H, I, M, N đặc trưng cho hình thái nằm, được xác định có giá trị phân loại rõ ràng với sai số dưới 5%.

3. Thuật toán SVM với hàm nhân RBF phù hợp cho bài toán phân loại: So sánh các hàm nhân Linear, Sigmoid, Poly và RBF, hàm RBF cho kết quả nhận dạng tốt nhất với tỉ lệ chính xác trên 94%, thời gian huấn luyện ngắn và khả năng xử lý dữ liệu không tuyến tính hiệu quả.

4. Đồng bộ dữ liệu theo thời gian và không gian là yếu tố quyết định: Việc đồng bộ dữ liệu theo thời gian với tần số 25 fps và đồng bộ không gian bằng ma trận quay quanh trục Y giúp kết hợp chính xác các tọa độ khớp xương từ hai Kinect, tạo ra dữ liệu đầu vào chất lượng cho mô hình nhận dạng.

Thảo luận kết quả

Nguyên nhân chính của việc tăng độ chính xác khi sử dụng nhiều Kinect là do khả năng thu thập dữ liệu đa chiều từ nhiều góc nhìn, giảm thiểu các trường hợp khớp xương bị che khuất hoặc không được phát hiện khi chỉ dùng một Kinect. Kết quả này phù hợp với các nghiên cứu trong ngành cho thấy việc kết hợp nhiều cảm biến giúp cải thiện độ tin cậy của hệ thống nhận dạng.

So sánh với các phương pháp nhận dạng hình thái người dựa trên ảnh màu hoặc cảm biến vật lý, phương pháp sử dụng Kinect có ưu điểm vượt trội về khả năng hoạt động trong điều kiện ánh sáng yếu hoặc bóng tối nhờ cảm biến hồng ngoại, đồng thời giảm thiểu chi phí và sự phức tạp trong việc gắn cảm biến lên cơ thể người.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác nhận dạng giữa một Kinect và hai Kinect, cũng như bảng thống kê các đặc trưng góc và tỉ lệ khoảng cách theo từng hình thái, giúp minh họa rõ ràng hiệu quả của mô hình đề xuất.

Đề xuất và khuyến nghị

1. Mở rộng số lượng Kinect trong hệ thống: Đề xuất triển khai hệ thống với 4 Kinect đặt vuông góc để bao phủ toàn bộ 360 độ, nhằm nâng cao độ chính xác nhận dạng trong các môi trường phức tạp và nhiều người.

2. Tối ưu hóa thuật toán đồng bộ dữ liệu: Cải tiến thuật toán đồng bộ thời gian và không gian để giảm thiểu độ trễ và tăng tốc độ xử lý, hướng tới ứng dụng trong thời gian thực.

3. Phát triển giao diện người dùng trực quan: Xây dựng module hiển thị kết quả nhận dạng với hình ảnh khớp xương và camera màu, hỗ trợ người dùng dễ dàng theo dõi và điều chỉnh hệ thống.

4. Mở rộng tập dữ liệu huấn luyện: Thu thập thêm dữ liệu từ nhiều đối tượng với các hình thái đa dạng và điều kiện môi trường khác nhau để nâng cao khả năng tổng quát hóa của mô hình.

5. Ứng dụng trong các lĩnh vực thực tế: Khuyến nghị áp dụng hệ thống nhận dạng hình thái người trong giám sát an ninh, chăm sóc sức khỏe người cao tuổi, và tương tác người-máy trong robot dịch vụ, với lộ trình thử nghiệm trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành kỹ thuật điều khiển và tự động hóa: Có thể áp dụng phương pháp và mô hình nhận dạng hình thái người từ nhiều Kinect để phát triển các đề tài nghiên cứu liên quan.

2. Chuyên gia phát triển hệ thống giám sát và an ninh: Sử dụng kết quả nghiên cứu để xây dựng hệ thống giám sát tự động nhận dạng hành vi và hình thái người trong các khu vực công cộng.

3. Nhà phát triển ứng dụng chăm sóc sức khỏe và hỗ trợ người cao tuổi: Áp dụng công nghệ nhận dạng hình thái để theo dõi tình trạng vận động và phát hiện các sự cố như ngã hoặc bất động.

4. Lập trình viên và kỹ sư phần mềm trong lĩnh vực tương tác người-máy: Tham khảo mô hình và thuật toán SVM kết hợp dữ liệu Kinect để phát triển các ứng dụng tương tác thông minh, robot dịch vụ.

Câu hỏi thường gặp

1. Tại sao lại sử dụng nhiều Kinect thay vì một Kinect duy nhất?
   Việc sử dụng nhiều Kinect giúp thu thập dữ liệu từ nhiều góc nhìn khác nhau, giảm thiểu mất mát thông tin do che khuất hoặc góc nhìn không thuận lợi, từ đó nâng cao độ chính xác nhận dạng hình thái người.

2. Các đặc trưng nào được sử dụng để phân biệt các hình thái cơ thể?
   Các đặc trưng chính bao gồm các góc giữa các khớp xương như góc BEH, góc tạo bởi các khớp HM, IK, NO, IKL, NOP và các tỉ lệ khoảng cách giữa các điểm khớp xương đặc trưng cho từng hình thái như đứng, ngồi, cúi và nằm.

3. Tại sao chọn thuật toán SVM với hàm nhân RBF?
   SVM với hàm nhân RBF có khả năng xử lý dữ liệu không tuyến tính hiệu quả, cho độ chính xác cao và thời gian huấn luyện ngắn, phù hợp với dữ liệu đặc trưng rời rạc và đa chiều trong bài toán nhận dạng hình thái người.

4. Làm thế nào để đồng bộ dữ liệu từ nhiều Kinect?
   Dữ liệu được đồng bộ theo thời gian bằng cách chuẩn hóa về tần số 25 khung hình mỗi giây và chọn khung hình gần nhất với mốc thời gian chuẩn. Đồng bộ không gian được thực hiện bằng ma trận quay và vector tịnh tiến xác định từ các điểm khớp xương chung giữa các Kinect.

5. Hệ thống có thể áp dụng trong điều kiện ánh sáng yếu không?
   Có, Kinect sử dụng cảm biến hồng ngoại để thu thập dữ liệu độ sâu và khớp xương, do đó hệ thống có thể hoạt động hiệu quả trong điều kiện ánh sáng yếu hoặc bóng tối, khác với các phương pháp dựa trên ảnh màu truyền thống.

Kết luận

• Đề tài đã xây dựng thành công mô hình nhận dạng hình thái người dựa trên dữ liệu khớp xương thu thập từ nhiều Kinect, nâng cao độ chính xác nhận dạng lên trên 95%.
• Phương pháp đồng bộ dữ liệu theo thời gian và không gian là yếu tố then chốt giúp kết hợp dữ liệu từ nhiều Kinect hiệu quả.
• Thuật toán SVM với hàm nhân RBF được chứng minh phù hợp cho bài toán phân loại bốn hình thái cơ bản: đứng, ngồi, cúi và nằm.
• Hệ thống được triển khai với kiến trúc client-server, hỗ trợ thu thập, đồng bộ, huấn luyện và nhận dạng dữ liệu trong môi trường thực nghiệm.
• Các bước tiếp theo bao gồm mở rộng số lượng Kinect, tối ưu thuật toán đồng bộ, phát triển giao diện người dùng và ứng dụng hệ thống trong các lĩnh vực thực tế.

Quý độc giả và nhà nghiên cứu quan tâm có thể áp dụng mô hình và phương pháp trong luận văn để phát triển các hệ thống nhận dạng hình thái người đa hướng, góp phần nâng cao hiệu quả ứng dụng công nghệ trong đời sống và công nghiệp.

Trích đoạn nội dung tài liệu

CHƯƠNG I. TỔNG QUAN VỀ NHẬN DẠNG HÌNH TRẠNG NGƯỜI Nhận dạng hình trạng người là bài toán khá phổ biến và đã được nghiên cứu, áp dụng trong hàng thập kỷ nay. Có nhiều phương pháp để nhận dạng hình trạng người, căn cứ vào đặc trưng của các phương pháp ta có thể chia ra làm 3 nhóm chính sau: - Nhận dạng hình trạng người bằng các cảm biến vật lý: Phương pháp này sử dụng các cảm biến vật lý để gắn vào đối tượng cần nhận dạng, các tín hiệu gửi về từ cảm biến vật lý sẽ được phân tích để đưa ra hình trạng người [4]. Cảm biến vật lý được dùng có thể là cảm biến vận tốc, cảm biến gia tốc.

- Nhận dạng hình trạng người bằng các cảm biến hình ảnh: Cảm biến hình ảnh được dùng thông thường là các camera, dữ liệu thu được từ camera (ảnh hoặc video) sẽ được phân tích để đưa ra kết quả về hình trạng người. - Nhận dạng hình trạng người bằng cảm biến Kinect: Phương pháp nhận dạng này dựa trên các thông tin mà Kinect thu nhận được. Ngoài thông tin về ảnh màu, Kinect còn cung cấp thông tin về độ sâu ảnh và các khớp xương trên cơ thể người. Ta có thể dựa vào một hoặc kết hợp tất cả các dữ liệu từ Kinect để phục vụ việc nhận dạng hình trạng người.

Mỗi phương pháp trên đều có ưu, nhược điểm riêng. Phương pháp sử dụng cảm biến vật lý gắn vào đối tượng nhận dạng cho ra kết quả có độ chính xác cao và nhận dạng được các thay đổi nhỏ ít biểu hiện ra bên ngoài tuy nhiên phương pháp này khá tốn kém và chỉ áp dụng được trên từng đối tượng riêng rẽ. Phương pháp sử dụng cảm biến hình ảnh áp dụng đơn giản, chi phí thấp, có thể áp dụng chung được cho nhiều đối tượng nhưng độ chính xác không cao vì dễ bị nhiễu bởi môi trường. Phương pháp sử dụng Kinect có thể dùng camera hồng ngoại để giảm thiểu tác động của các đối tượng nhiễu và không phụ thuộc vào các điều kiện ảnh sáng, tuy nhiên một vài hình thái của cơ thể (như nằm chẳng hạn) camera hồng ngoại không cho thông tin khớp xương chính xác.

9 Trong khuôn khổ đề tài này, ta sẽ chỉ quan tâm các phương pháp nhận dạng hình trạng người từ cảm biến hình ảnh (ảnh màu từ camera) và từ Kinect. Nhận dạng hình trạng người từ camera màu Phương pháp này dựa vào một ảnh hoặc một chuỗi các ảnh thu nhận được từ camera để phân tích, đưa ra kết quả về hình trạng người, tiêu biểu gồm có: Nhận dạng hình trạng người dựa vào phương pháp phân phối hình chiếu, được đưa ra trong công trình nhiên cứu [3]. Trong nghiên cứu của mình, các tác giả đưa ra mô hình tập trung 4 hình thái cơ thể là đứng, nằm, cúi và nằm. Nội dung của phương pháp được thể hiện qua các bước sau: - Tách đối tượng ra khỏi nền bằng cách nhị phân hóa, khử nhiễu, dùng các phép hình thái học và phát hiện đối tượng.

- Mô hình hóa cơ thể dựa vào các hình bao xung quanh cơ thể. Mô hình hóa cơ thể dựa vào các đường bao theo [3] 10 - Ước lượng các hình thái cơ thể dựa vào các hình chiếu theo chiều ngang và dọc. Hình chiếu ngang và dọc của cơ thể theo [3] Hình 1. Hình chiếu của tương ứng với các hình thái của cơ thể theo [3] Tác giả đã thử nghiệm mô hình với một chuỗi video ngoài trời chứa 1075 khung hình của một người đàn ông, kết quả nhận dạng cho thấy độ chính xác lên tới 95%.

Tuy nhiên, độ chính xác của phương pháp này phụ thuộc phần lớn vào bước trích chọn đối tượng. Việc nhị phân hóa ảnh trong các điều kiện môi trường khác nhau để thu được đối tượng thường gặp nhiều khó khăn. Hơn nữa, khi các đối tượng cần nhận dạng có bóng, kết quả nhận dạng cũng sẽ không cao. 11 Nhận dạng hình trạng người sử dụng đặc trưng trị riêng và vector riêng [1].

Mục đích của tác giả là xây dựng mô hình nhận dạng cho tương tác và điều kiển robot với 7 hình thái thông dụng là: đứng, chỉ tay sang trái, chỉ tay sang phải, giang hai tay sang ngang, giơ tay trái lên cao, giơ tay phải lên cao và giơ cả hai tay lên cao. Các tác giả chia thuật toán nhận dạng ra làm 2 phần, phần đầu tác giả dùng bộ lọc hạt (Particle Filter) với giải thuật Condensation để phát hiện theo dõi người trong khung hình. Theo dõi người dựa trên bộ lọc hạt theo [1] Phần thứ hai, với mỗi người thu nhận được từ bước một, tác giả sử dụng phương pháp phân tích các thành phần chính (PCA) để giảm số chiều dữ liệu cho 7 lớp hình trạng và đưa ra kết quả nhận dạng dựa vào 12 vector riêng. Các hình trạng người được nhận dạng trong các điều kiện khác nhau [1] Kết quả thực nghiệm cho thấy, độ chính xác của phương pháp trung bình lên tới 95%.

Nhận dạng hình trạng người dựa vào đặc trưng SURF [6]. Trong nghiên cứu của mình, tác giả sử dụng các đặc trưng SURF kết hợp với phương pháp phân lớp SVM nhằm phân loại 4 hình thái của cơ thể là đứng, cúi, ngồi và nằm nhằm phục vụ việc phát hiện các hành vi bất thường trong các phòng bệnh nhân. Nhận dạng hình trạng người dựa vào các đực trưng SURF [6] Kết quả thực nghiệm cho thấy, phương pháp cho kết quả có độ chính xác tùy thuộc vào độ lớn của tập dữ liệu. Với bộ tập dữ liệu 512 mẫu, độ chính xác đạt được là 94.

Nhìn chung, các phương pháp nhận dạng hình trạng người dựa trên ảnh màu trong những điều kiện cụ thể cho kết quả khá khả quan. Tuy nhiên, độ chính xác của các phương pháp này phụ thuộc khá lớn vào chất lượng ảnh đầu vào, các điều kiện chiếu sáng và môi trường thực nghiệm. Nhận dạng hình trạng người từ Kinect Kinect là một thiết bị điện tử được cung cấp bởi Microsoft với ý định ban đầu nhằm phục vụ các máy trò chơi Xbox 360. Tuy nhiên, nhờ sự tiện lợi và chi phí vừa phải, Kinect ngày càng được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau như phát hiện hình trạng người, xây dựng mô hình 3D, xây dựng các bộ tương tác ảo … Hiện tại Microsoft cung cấp Kinect phiên bản 2.0 với cấu tạo cơ bản bao gồm: - Camera màu RGB: cung cấp ảnh (hoặc video) có độ phân giải tới 1920x1080 (pixel) và tốc độ tới 60 khung hình trên giây (60 fps) 14 - Cảm biến độ sâu 3D: bao gồm một bộ phát và một bộ thu sóng hồng ngoại, có khả năng cho ảnh hồng ngoại với độ phân giải 512x424 (pixel) - Hệ thống MIC: có khả năng thu nhận âm thanh từ mọi phía.

Cấu tạo của một Kinect phiên bản 2.0 Ngoài thiết bị, Microsoft còn cung cấp bộ SDK để làm việc với Kinect, từ các hàm có sẵn trong thư viện, người phát triển có thể dễ dàng tiếp cận các khung hình của camera màu, ảnh độ sâu 3D, đặc biệt SDK cung cấp thông tin hữu ích về tọa độ 3D của 25 khớp xương trên cơ thể người cũng như một số hình thái cơ bản của của cơ thể (trạng thái mở hoặc đóng của lòng bàn tay). Các khớp xương được cung cấp bởi Kinect phiên bản 2.0 Sau đây là một số công trình nghiên cứu tiêu biểu về nhận dạng hình trạng người từ Kinect. Phương pháp nhận dạng hình trạng người từ ảnh độ sâu của Kinect được tác giả Wen-June Wang và các đồng nghiệp đưa ra vào năm 2015 [9] nhằm nhận dạng 5 hình thái của cơ thể là đứng, cúi, ngồi, quỳ gối và nằm. Đầu tiên, tác giả trích chọn ra các đường bao của cơ thể qua các bước theo sơ đồ sau 16 Chụp ảnh nền Chụp ảnh chứa Thực hiện Bắt đầu người phép trừ nền Nhị phân hóa Thực hiện Thành phần ảnh phép giản nở kết nối Hình bao cơ thể người Hình 1.

Sơ đồ nhận dạng hình trạng người từ ảnh độ sâu của [9] Hình 1. Hình bao cơ thể thừ ảnh chiều sâu của Kinect theo [9] Hình bao của cơ thể sau đó được chiếu theo phương ngang để xác định xem cơ thể có ở hình thái quỳ hay không. Nếu không phải ở hình thái quỳ, kỹ thuật xương hình sao (star skeleton) sẽ được áp dụng cho toàn bộ hình bao của cơ thể để tìm ra các điểm đặc trưng của nó. Hình chiếu và trọng tâm của hình thái quỳ gối theo [9] Các điểm đặc trưng này cùng với các điểm trọng tâm của hình bao cơ thể và các điểm chiều sâu sẽ được đưa vào một mạng neuron Learning Vector Quantization (LVQ) để huấn luyện.

Kết quả huấn luyện sẽ được dùng để nhận dạng các hình thái cơ thể. Trong [5], các tác giả đề xuất phương pháp nhận dạng hình trạng dựa vào các khớp xương. Trong nghiên cứu của mình, các tác giả xây dựng mô hình nhận dạng dựa trên dữ liệu là các khớp xương mà Kinect cung cấp. Theo tác giả, các khớp xương có ảnh hưởng lớn tới việc nhận dạng hình thái của cơ thể bao gồm các khớp A, B, C, D, E, F, G, H, O và Q như hình vẽ dưới.

Các khớp xương quan trọng quyết định hình thái cơ thể Bằng mô hình SVM với dữ liệu đầu vào là tập các góc được tạo ra từ những khớp xương trên, các tác giả đã xây dựng thành công mô hình nhận dạng cho bốn hình thái của cơ thể là đứng, ngồi, cúi và nằm. Kết quả thực nghiệm phương pháp nhận dạng dựa trên các khớp xương [5] Trong [8], các tác giả xây dựng hệ thống dạy múa (dancing system) bằng cách sử dụng nhiều Kinect thu thập các khớp xương trên cơ thể của các chuyên gia múa, sau đó đồng bộ các khớp xương từ nhiều Kinect khác nhau rồi lưu vào cơ sở dữ liệu. Khi một người khác muốn học múa, Kinect sẽ thu thập các khớp xương của người này, đồng bộ dữ liệu sau đó so sánh với các chuyển động đã có trước đó của các chuyên gia múa. Đồng bộ dữ liệu từ nhiều Kinect cho việc dạy múa theo [8] 1.

Kết luận Trong phần trên, một vài các nghiên cứu về nhận dạng hình trạng người đã được trình bày một cách trực tiếp, ngắn ngọn. Mỗi một phương pháp nghiên cứu đều có những ưu và nhược điểm riêng. Các phương pháp dựa trên phân tích ảnh mầu thường đơn giản để thực hiện, tuy nhiên bị nhiễu khá lớn bởi các điều kiện ánh sáng và môi trường xung quanh.