Ứng Dụng Mô Hình Markov Ẩn Vào Nhận Diện Hành Động Con Người

Luận văn thạc sĩ kỹ thuật phân tích kỹ thuật viễn thông ứng dụng mô hình markov ẩn vào nhận diện hành động con người, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả

• Tác giả: Phạm Thế Hải
• Người hướng dẫn: TS. Hà Hoàng Kha
• Trường học: Đại học Quốc gia TP. HCM
• Chuyên ngành: Kỹ thuật Viễn Thông
• Đề tài: Ứng Dụng Mô Hình Markov Ẩn Vào Nhận Diện Hành Động Con Người
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT
• ABSTRACTS
• LỜI CAM ĐOAN
• Danh sách hình vẽ
• Danh sách bảng
• Từ viết tắt
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu và nhiệm vụ của luận văn
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn của đề tài
• 1.5.1. Ý nghĩa khoa học
• 1.5.2. Thực tiễn của đề tài
• 1.6. Nội dung luận văn
• 2. CHƯƠNG 2: TỔNG QUAN VỀ ĐỀ TÀI VÀ LÝ THUYẾT LIÊN QUAN
• 2.1. Tổng quan về đề tài
• 2.1.1. Nhìn nhận vấn đề
• 2.1.2. Các công trình liên quan
• 2.1.3. Các vấn đề mà đề tài quan tâm
• 2.2. Lý thuyết mô hình Markov Ẩn
• 2.2.1. Sơ lược về mô hình Markov Ẩn
• 2.2.2. Lý thuyết mô hình Markov Ẩn
• 2.2.3. Ba vấn đề cơ bản của mô hình Makorv ẩn
• 2.2.4. Thực hiện huấn luyện cho hệ thống sử dụng HMM - giải thuật Baum-Welch
• 2.2.5. Thực hiện huấn luyện cho hệ thống sử dụng HMM - giải thuật forward-backward
• 2.2.6. Thực hiện chạy thử hệ thống sử dụng HMM - giải thuật Viterbi
• 2.3. Thiết bị Kinect for Windows version 2 của Microsoft và lý thuyết trích xuất khung xương bằng cách gán nhãn các phần cơ thể
• 2.3.1. Giới thiệu về thiết bị Kinect v2 của Mircrosoft
• 2.3.2. Nguyên lý hoạt động của thiết bị Kinect
• 2.4. Giải thuật trích xuất khung xương hình sao - Star skeleton algorithm
• 2.4.1. Giải thuật trích xuất khung xương hình sao khi không sử dụng Kinect [1]
• 2.4.2. Mô hình tổng quan với giải thuật trích xuất khung xương
• 2.4.3. Đánh giá giải thuật trích xuất khung xương
• 3. CHƯƠNG 3: HỆ THỐNG NHẬN DIỆN HÀNH ĐỘNG CON NGƯỜI
• 3.1. Sơ đồ khối tổng quát của hệ thống
• 3.2. Trích xuất đặc trưng sử dụng thiết bị Kinect v2 - Thuật toán khung xương hình sao cải tiến
• 3.3. Gán đặc trưng bằng các ký hiệu quan sát
• 3.3.1. Thuật toán khung xương hình sao cải tiến - Modified star skeleton algorithm
• 3.3.2. Chuẩn hóa SJM để phân loại đặc trưng
• 3.3.3. Tạo cơ sở dữ liệu SJM dựa vào bình phương sai lệch khoảng cách giữa hai SJMs ∆ij
• 3.3.4. Thông số của phần gán đặc trưng trên thực tế
• 3.4. Huấn luyện và kiểm thử hệ thống nhận dạng sử dụng HMM với giải thuật Baum-Welch
• 3.4.1. Lựa chọn bộ biến trạng thái trong HMM với hệ thống nhận diện con người
• 3.4.2. Huấn luyện HMM với giải thuật Baum-Welch - tìm thông số tối ưu của các thông số trong HMM
• 3.4.3. Nhận diện hành động với các chuỗi SJM thu nhận được bằng giải thuật Baum-Welch
• 3.5. Kiểm thử hệ thống nhận dạng sử dụng HMM với giải thuật Viterbi
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ
• 4.1. Thông số các thiết bị thực nghiệm
• 4.1.1. Thiết bị trích xuất đặc trưng - Kinect for Windows version 2 của Microsoft
• 4.1.2. Máy tính được sử dụng trong hệ thống nhận diện hành động con người
• 4.1.3. Ngôn ngữ lập trình và phần mềm
• 4.2. Thiết kế thực nghiệm
• 4.2.1. Thiết kế không gian thực nghiệm
• 4.2.2. Phần mềm thực hiện hệ thống nhận diện hành động người
• 4.2.3. Cách thực hiện thực nghiệm
• 4.2.4. Huấn luyện mô hình Markov ẩn
• 4.3. Kết quả mô phỏng hệ thống nhận diện hành động con người với các videos chỉ chứa một hành động đơn lẻ
• 4.3.1. Kết quả thực nghiệm với các hành động đơn lẻ
• 4.4. Kết quả kiểm thử hệ thống nhận diện hành động con người với các hành động nối tiếp nhau và theo thời gian thực
• 4.4.1. Nhận diện với các hành động nối tiếp nhau
• 4.4.2. Nhận diện với các hành động theo thời gian thực
• 4.5. So sánh với các kết quả các bài báo khác và liên quan
• 4.6. Kết quả kiểm thử hệ thống nhận diện hành động con người với giải thuật Viterbi
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU KẾ TIẾP
• 5.2. Hướng nghiên cứu kế tiếp
• Tài liệu tham khảo
• Phụ lục A
• Phụ lục B
• Phụ lục C

Tóm tắt

I. Tổng Quan Ứng Dụng Mô Hình Markov Ẩn Nhận Diện Hành Vi

Nhận diện hành động con người là một lĩnh vực quan trọng trong thị giác máy tính và trí tuệ nhân tạo. Nó mở ra nhiều ứng dụng từ dân sự đến quân sự, bao gồm tương tác người-máy, giám sát y tế và an ninh. Tuy nhiên, việc nhận diện hành động gặp nhiều thách thức do tính chất phức tạp và phi cấu trúc của hành vi con người. Mô hình Markov Ẩn (HMM) cung cấp một phương pháp hiệu quả để mô hình hóa các chuỗi hành động, cho phép hệ thống dự đoán và phân loại hành vi một cách chính xác. Luận văn này trình bày một hệ thống nhận diện hành động tự động, có khả năng làm việc cả trong nhà và ngoài trời, sử dụng HMM và dữ liệu từ thiết bị Kinect.

1.1. Tầm Quan Trọng Của Nhận Dạng Hành Động Trong Cuộc Sống

Ứng dụng của nhận dạng hành động vô cùng đa dạng. Trong lĩnh vực y tế, nó có thể được sử dụng để phát hiện té ngã ở người lớn tuổi hoặc bệnh nhân, giúp can thiệp kịp thời. Trong an ninh, nó có thể phát hiện các hành vi đáng ngờ như trộm cắp. Trong lĩnh vực tương tác người-máy, nó cho phép điều khiển thiết bị bằng cử chỉ, tạo ra trải nghiệm tự nhiên và trực quan hơn. Theo luận văn gốc, nhận diện hành động giúp giải quyết nhiều vấn đề quan trọng từ dân sự đến quân sự, trong đó có tương tác người - máy, phát hiện té ngã trong y tế và các hành vi nguy hiểm trong quân sự.

1.2. Thách Thức Trong Phân Tích Hành Vi Con Người

Một trong những thách thức lớn nhất trong phân tích hành vi là tính phức tạp và đa dạng của hành vi con người. Các hành động có thể thay đổi tùy thuộc vào ngữ cảnh, môi trường và cá nhân. Do đó, việc xây dựng một hệ thống nhận diện hành động mạnh mẽ đòi hỏi phải có khả năng xử lý sự biến đổi này. Luận văn chỉ ra đây là một thách thức rất lớn trong nghiên cứu xử lý ảnh, giải thuật tối ưu và thị giác máy tính do đặc tính không có cấu trúc cố định của hành vi.

II. HMM và Bài Toán Nhận Diện Hành Động Giải Pháp Tối Ưu

Mô hình Markov Ẩn (HMM) là một công cụ mạnh mẽ để mô hình hóa các chuỗi sự kiện, trong đó trạng thái của hệ thống không được quan sát trực tiếp mà được suy luận từ các quan sát. Trong nhận diện hành động, HMM được sử dụng để mô hình hóa chuỗi các cử chỉ hoặc tư thế, cho phép hệ thống nhận diện hành động ngay cả khi có sự biến đổi hoặc nhiễu. Thuật toán Baum-Welch và thuật toán Viterbi đóng vai trò quan trọng trong huấn luyện và phân loại hành động sử dụng HMM.

2.1. Ưu Điểm Của Mô Hình Xác Suất Trong Nhận Dạng Cử Chỉ

Mô hình xác suất, đặc biệt là HMM, cung cấp một cách tiếp cận linh hoạt và mạnh mẽ để nhận dạng cử chỉ. Chúng cho phép hệ thống xử lý sự không chắc chắn và biến đổi trong dữ liệu, đồng thời cung cấp một khung toán học chặt chẽ để mô hình hóa các chuỗi hành động. HMM cho phép xác định xác suất của một chuỗi quan sát nhất định, từ đó đưa ra quyết định về hành động đang diễn ra. Việc sử dụng mô hình xác suất giúp tăng cường độ tin cậy và chính xác của hệ thống.

2.2. Thuật Toán Viterbi và Baum Welch Bí Quyết Huấn Luyện HMM

Thuật toán Baum-Welch là một thuật toán lặp để ước lượng các tham số của HMM từ dữ liệu huấn luyện. Nó sử dụng phương pháp Expectation-Maximization (EM) để tìm các tham số tối ưu, sao cho xác suất của dữ liệu huấn luyện là lớn nhất. Thuật toán Viterbi, ngược lại, được sử dụng để tìm chuỗi trạng thái ẩn có khả năng nhất, tương ứng với một chuỗi quan sát đã cho. Trong nhận diện hành động, thuật toán này giúp xác định chuỗi hành động chính xác nhất dựa trên chuỗi cử chỉ quan sát được. Luận văn đề cập việc sử dụng giải thuật Baum-Welch và giải thuật forward-backward để tìm các thông số tối ưu của từng mô hình Markov ẩn.

2.3. Chuỗi Markov Nền Tảng Của Mô Hình Markov Ẩn

Chuỗi Markov là một quá trình ngẫu nhiên, trong đó trạng thái tiếp theo chỉ phụ thuộc vào trạng thái hiện tại, chứ không phụ thuộc vào lịch sử các trạng thái trước đó. Mô hình Markov Ẩn mở rộng khái niệm này bằng cách thêm vào một lớp trạng thái ẩn, không được quan sát trực tiếp. Mối quan hệ giữa trạng thái ẩn và trạng thái quan sát được mô hình hóa bằng một phân phối xác suất, cho phép HMM mô hình hóa các hệ thống phức tạp với các trạng thái không chắc chắn.

III. Hướng Dẫn Ứng Dụng Kinect V2 Trích Xuất Dữ Liệu Hành Động

Thiết bị Kinect for Windows version 2 cung cấp một phương tiện hiệu quả để thu thập dữ liệu về hành động con người. Nó sử dụng cảm biến độ sâu để tạo ra bản đồ khung xương của người, cho phép trích xuất các đặc trưng quan trọng như vị trí khớp và góc giữa các chi. Giải thuật khung xương hình sao (Star skeleton algorithm) được sử dụng để đơn giản hóa quá trình trích xuất đặc trưng, giúp hệ thống hoạt động hiệu quả hơn trong thời gian thực. Dữ liệu khung xương sau đó được sử dụng để huấn luyện mô hình Markov Ẩn.

3.1. Computer Vision Sử Dụng Kinect Để Nhận Diện Khung Xương

Computer vision đóng vai trò quan trọng trong việc sử dụng Kinect để nhận diện khung xương. Các thuật toán xử lý ảnh được sử dụng để phân tích dữ liệu từ cảm biến độ sâu và camera RGB, từ đó xác định vị trí của các khớp trên cơ thể người. Quá trình này đòi hỏi phải xử lý nhiễu và biến đổi trong dữ liệu, đồng thời đảm bảo tính chính xác và độ tin cậy của kết quả. Kinect v2 cung cấp dữ liệu khung xương SJM (Skeleton Joint Mapping).

3.2. Cải Tiến Giải Thuật Trích Xuất Khung Xương Để Tăng Tốc Độ

Giải thuật trích xuất khung xương đóng vai trò quan trọng trong hiệu suất của hệ thống nhận diện hành động. Các giải thuật hiệu quả cho phép trích xuất đặc trưng khung xương một cách nhanh chóng và chính xác, giảm thiểu thời gian xử lý và tăng cường khả năng hoạt động trong thời gian thực. Luận văn đã cải tiến giải thuật trích xuất khung xương hình sao để giúp hệ thống hoạt động hiệu quả hơn và áp dụng được vào các ứng dụng thời gian thực.

3.3. Chuẩn Hóa Dữ Liệu Khung Xương Để Cải Thiện Độ Chính Xác Nhận Dạng

Chuẩn hóa dữ liệu khung xương là một bước quan trọng để đảm bảo tính nhất quán và độ tin cậy của hệ thống nhận diện hành động. Các phương pháp chuẩn hóa có thể bao gồm điều chỉnh tỷ lệ, xoay và dịch chuyển dữ liệu, nhằm loại bỏ các yếu tố gây nhiễu và làm cho dữ liệu phù hợp hơn với mô hình Markov Ẩn. Việc này giúp cải thiện độ chính xác nhận dạng và giảm thiểu sai sót.

IV. Thực Nghiệm và Kết Quả Đánh Giá Hiệu Quả Hệ Thống

Hệ thống nhận diện hành động được đánh giá bằng cách thực hiện các thử nghiệm trên một tập dữ liệu các hành động khác nhau. Kết quả cho thấy hệ thống đạt độ chính xác cao trong việc nhận diện các hành động đơn lẻ, với độ chính xác lên đến 100%. Trong các tình huống thực tế hơn, với các chuỗi hành động liên tiếp, hệ thống vẫn duy trì độ chính xác từ 75% đến 95%. Điều này chứng tỏ tính khả thi và hiệu quả của phương pháp tiếp cận sử dụng HMM và Kinect.

4.1. Thiết Kế Không Gian Thực Nghiệm và Thu Thập Dữ Liệu Huấn Luyện

Thiết kế không gian thực nghiệm cẩn thận là rất quan trọng để thu thập dữ liệu huấn luyện chất lượng cao. Không gian nên được thiết kế để mô phỏng các tình huống thực tế, đồng thời giảm thiểu các yếu tố gây nhiễu. Dữ liệu huấn luyện nên bao gồm nhiều biến thể của từng hành động, để đảm bảo tính tổng quát và khả năng thích ứng của hệ thống. Luận văn đã sử dụng Kinect for Windows version 2 để thu thập dữ liệu.

4.2. Các Yếu Tố Ảnh Hưởng Đến Độ Chính Xác Nhận Dạng Hành Động

Nhiều yếu tố có thể ảnh hưởng đến độ chính xác nhận dạng hành động, bao gồm chất lượng dữ liệu đầu vào, độ phức tạp của hành động, và độ mạnh mẽ của mô hình Markov Ẩn. Việc tối ưu hóa các yếu tố này là rất quan trọng để đạt được hiệu suất tốt nhất. Hệ thống cũng cần có khả năng xử lý nhiễu và biến đổi trong dữ liệu, để đảm bảo tính ổn định và độ tin cậy.

4.3. So Sánh Với Các Phương Pháp Nhận Diện Hành Động Khác

So sánh hiệu suất của hệ thống nhận diện hành động với các phương pháp khác là rất quan trọng để đánh giá tính ưu việt của phương pháp tiếp cận sử dụng HMM và Kinect. Các tiêu chí so sánh có thể bao gồm độ chính xác, tốc độ xử lý, khả năng thích ứng với các tình huống khác nhau, và chi phí triển khai. Luận văn đã so sánh kết quả với các bài báo khác liên quan.

V. Kết Luận và Hướng Phát Triển Ứng Dụng HMM Tương Lai

Luận văn đã trình bày một hệ thống nhận diện hành động hiệu quả, sử dụng mô hình Markov Ẩn và thiết bị Kinect. Hệ thống có khả năng nhận diện các hành động đơn lẻ và chuỗi hành động liên tiếp với độ chính xác cao. Hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện khả năng xử lý các hành động phức tạp và biến đổi, cũng như mở rộng ứng dụng của hệ thống sang các lĩnh vực khác như video analytics và theo dõi đối tượng.

5.1. Tiềm Năng Ứng Dụng Học Sâu Kết Hợp HMM

Học sâu (Deep Learning) đang nổi lên như một công cụ mạnh mẽ trong nhiều lĩnh vực, bao gồm cả nhận diện hành động. Kết hợp học sâu với HMM có thể giúp cải thiện khả năng trích xuất đặc trưng và mô hình hóa các hành động phức tạp. Ví dụ, mạng nơ-ron tích chập (Convolutional Neural Networks) có thể được sử dụng để trích xuất đặc trưng từ dữ liệu video, sau đó HMM được sử dụng để mô hình hóa chuỗi các đặc trưng này.

5.2. Ứng Dụng Trí Tuệ Nhân Tạo Để Dự Đoán Hành Động

Trí tuệ nhân tạo (AI) có thể được sử dụng để dự đoán hành động của con người, dựa trên lịch sử hành vi và ngữ cảnh hiện tại. Điều này có thể được thực hiện bằng cách sử dụng các kỹ thuật như học tăng cường (Reinforcement Learning) hoặc mạng Bayesian. Dự đoán hành động có thể được sử dụng trong nhiều ứng dụng, chẳng hạn như điều khiển robot, hỗ trợ người khuyết tật, và cảnh báo nguy hiểm.

5.3. Ứng Dụng HMM Trong Video Phân Tích và Giám Sát Tự Động

Ứng dụng HMM trong video mở ra nhiều khả năng trong việc phân tích và giám sát tự động. Hệ thống có thể được sử dụng để phát hiện các sự kiện bất thường, theo dõi đối tượng, và nhận diện các hành động đáng ngờ. Điều này có thể được ứng dụng trong nhiều lĩnh vực, chẳng hạn như an ninh công cộng, giao thông thông minh, và chăm sóc sức khỏe.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên phát triển mạnh mẽ của thị giác máy tính và các thiết bị tương tác thông minh, nhận diện hành động con người đang đạt tốc độ tăng trưởng ứng dụng trên 25% mỗi năm tại các lĩnh vực y tế, an ninh và thực tế ảo. Tuy nhiên, việc nhận diện cử chỉ tự động luôn đối mặt với rào cản lớn do đặc tính không có cấu trúc cố định và sự biến thiên liên tục theo thời gian của cơ thể người. Luận văn Thạc sĩ Kỹ thuật Viễn thông của tác giả Phạm Thế Hải, hoàn thành năm 2016 tại Trường Đại học Bách Khoa – Đại học Quốc gia TP.HCM dưới sự hướng dẫn của Tiến sĩ Hà Hoàng Kha, đã giải quyết bài toán này thông qua đề tài "Ứng dụng mô hình Markov ẩn vào nhận diện hành động con người".

Mục tiêu trọng tâm của luận văn là xây dựng một hệ thống nhận diện tự động có khả năng phân loại chính xác 7 hành động cơ bản của con người gồm: đứng yên, đi bộ, chạy, nhảy, té ngã, nằm và ngồi. Hệ thống khai thác cảm biến chiều sâu Kinect for Windows phiên bản 2 nhằm trích xuất 25 điểm khớp khung xương trong không gian 3 chiều, sau đó mô hình hóa chuỗi cử chỉ bằng mô hình Markov ẩn. Nghiên cứu được triển khai thực nghiệm từ tháng 07/2015 đến tháng 12/2015 trong không gian phòng thí nghiệm có chiều dài 5 mét. Kết quả cho thấy hệ thống đạt thời gian nhận diện cực nhanh dưới 5ms cho mỗi chuỗi cử chỉ, đạt tỷ lệ chính xác tuyệt đối 100% với các hành động đơn lẻ và duy trì độ chính xác từ 75% đến 95% trên luồng dữ liệu thời gian thực. Thành công này tạo tiền đề vững chắc cho các giải pháp giám sát té ngã tự động ở bệnh nhân và điều khiển không chạm trong môi trường thực tế ảo.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp chặt chẽ giữa lý thuyết mô hình Markov ẩn và kỹ thuật trích xuất đặc trưng hình học từ ảnh chiều sâu. Mô hình Markov ẩn là một tiến trình ngẫu nhiên rời rạc theo thời gian, được đặc trưng bởi bộ ba tham số gồm ma trận chuyển đổi trạng thái giữa 7 hành động mục tiêu, ma trận xác suất phát xạ biến quan sát tương ứng với các ký hiệu cử chỉ, và vector phân bố xác suất trạng thái khởi tạo ban đầu.

Bên cạnh lý thuyết mô hình xác suất, tác giả vận dụng giải thuật trích xuất khung xương hình sao cải tiến kết hợp công nghệ đo thời gian bay của cảm biến hồng ngoại. Thiết bị ghi nhận luồng ảnh chiều sâu ở độ phân giải 512x424 pixel với tốc độ 30 khung hình trên giây, cho phép bóc tách 25 điểm khớp khung xương đại diện cho các vị trí trọng yếu của cơ thể. Nhờ kỹ thuật lượng tử hóa vector và phương pháp tính bình phương sai lệch khoảng cách, hệ thống đã chuẩn hóa toàn bộ các tư thế cử chỉ phức tạp thành một tập hợp gồm 60 vector khung xương đặc trưng, đảm bảo tính bất biến về vóc dáng và khoảng cách của người quan sát.

Phương pháp nghiên cứu

Nguồn dữ liệu của đề tài được thu thập trực tiếp thông qua hệ thống cảm biến quang học kết nối máy tính chuyên dụng, ghi nhận hàng trăm chuỗi chuyển động với hơn 200 mẫu khung xương ban đầu. Nghiên cứu áp dụng phương pháp chọn mẫu có chủ đích, tập trung vào 7 nhóm hành động vận động thường nhật và các tình huống tai nạn nguy hiểm. Mỗi mẫu phân tích được chuẩn hóa thành một chuỗi trượt gồm 40 khung xương liên tiếp để nạp vào mô hình nhận dạng.

Lý do lựa chọn mô hình Markov ẩn thay vì các phương pháp phân loại ảnh tĩnh như máy học vector hỗ trợ xuất phát từ khả năng nắm bắt quan hệ phụ thuộc theo trục thời gian của các chuỗi cử chỉ. Để huấn luyện mô hình, tác giả sử dụng giải thuật Baum-Welch kết hợp giải thuật tiến lùi. Giải thuật này giúp giảm khối lượng tính toán từ mức xấp xỉ 10 mũ 72 phép tính xuống chỉ còn khoảng 3000 phép tính đối với chuỗi 100 trạng thái, giảm gần 69 bậc lũy thừa và đáp ứng hoàn hảo yêu cầu xử lý thời gian thực. Giai đoạn giải mã và kiểm thử sử dụng thuật toán Viterbi để tìm kiếm chuỗi trạng thái tối ưu có xác suất xuất hiện lớn nhất. Toàn bộ tiến trình nghiên cứu và thực nghiệm được hoàn thành trong thời gian 6 tháng tại Đại học Bách Khoa TP.HCM.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, việc cải tiến giải thuật trích xuất khung xương hình sao kết hợp tính toán sai lệch khoảng cách đã tinh lọc cơ sở dữ liệu từ 200 khung xương gốc xuống còn 60 khung xương đặc trưng. Sự tinh giản 70% số lượng mẫu dư thừa này giúp hệ thống loại bỏ hoàn toàn các tư thế nhiễu nhưng vẫn bao quát đầy đủ mọi chuyển động vi mô của 7 hành động.

Thứ hai, trong các thử nghiệm với video chứa hành động đơn lẻ, mô hình đạt độ chính xác nhận diện nhãn hành động tổng quát là 100%. Tỷ lệ nhận dạng chính xác trên từng chuỗi con 40 khung xương thành phần đạt trên 90%, chứng minh độ tin cậy vượt trội trong việc phân tách các trạng thái tĩnh và động.

Thứ ba, đối với luồng hành động liên tục theo thời gian thực như chuỗi đi bộ chuyển sang té ngã rồi nằm yên, hệ thống đạt độ chính xác tổng thể dao động từ 75% đến 95%. Đáng chú ý, tổng thời gian xử lý và phân loại cho mỗi chuỗi cử chỉ chỉ mất dưới 5ms, cho phép hệ thống đáp ứng tốc độ khung hình 30 khung hình trên giây của camera mà không xảy ra hiện tượng trễ khung.

Thảo luận kết quả

Hiệu năng ấn tượng của hệ thống khẳng định tính đúng đắn của việc kết hợp dữ liệu chiều sâu 3D với mô hình chuỗi thời gian. Các phương pháp truyền thống dựa trên ảnh 2D thường chỉ đạt độ chính xác từ 70% đến 82% và rất dễ mất dấu khi điều kiện ánh sáng thay đổi hoặc người mặc quần áo rộng. Trái lại, việc theo dõi 25 điểm khớp khung xương độc lập với màu sắc giúp dữ liệu đầu vào luôn ổn định.

Dữ liệu thực nghiệm khi biểu diễn qua ma trận nhầm lẫn 7x7 và bảng ma trận chuyển đổi trạng thái cho thấy hàm khả năng xác suất có sự phân hóa cực kỳ sắc nét giữa các hành động có biên độ chuyển động lớn như chạy nhảy so với hành động nguy hiểm như té ngã. Biểu đồ biến thiên xác suất cho thấy khi xảy ra sự cố té ngã, giá trị logarit hàm khả năng của mô hình tương ứng tăng vọt và đạt đỉnh chỉ sau 5 đến 8 khung hình, tương đương 0,2 giây. Một số sai lệch nhỏ ở ngưỡng chính xác 75% trong môi trường thực tế chủ yếu xảy ra ở ranh giới giữa tư thế ngồi và nằm do sự tương đồng cục bộ về tọa độ chiều sâu trên trục z, điều này hoàn toàn có thể khắc phục bằng cách bổ sung thêm góc quay phụ trợ.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, 4 giải pháp trọng tâm được đề xuất nhằm nâng cao tính ứng dụng của đề tài:

1. Mở rộng cơ sở dữ liệu cử chỉ từ 7 hành động hiện tại lên 15 đến 20 hành động phức tạp hơn bao gồm các hành vi bạo lực, trèo rào hoặc co giật bệnh lý, nhằm nâng tỷ lệ bao phủ nhận dạng đạt trên 92% trong vòng 6 đến 12 tháng, do các nhóm nghiên cứu thị giác máy tính chủ trì.
2. Tối ưu hóa thuật toán để nhúng trực tiếp lên các vi xử lý phần cứng biên chuyên dụng, hướng tới mục tiêu rút ngắn thời gian xử lý xuống dưới 3ms cho mỗi chuỗi nhận diện trong thời gian 3 đến 6 tháng, do các kỹ sư hệ thống nhúng thực hiện.
3. Chuyển giao và lắp đặt thử nghiệm hệ thống cảnh báo té ngã tự động tại 2 cơ sở y tế hoặc viện dưỡng lão, thiết lập cơ chế giám sát 24/7 với tỷ lệ báo động giả dưới 5% trong lộ trình 12 tháng, do đội ngũ kỹ thuật y sinh phối hợp triển khai.
4. Nâng cấp giải thuật để hỗ trợ nhận diện đồng thời từ 2 đến 6 người trong cùng một không gian giám sát, duy trì độ chính xác trên 85% trong mọi điều kiện ánh sáng phức tạp, thực hiện trong thời gian 18 tháng bởi các phòng thí nghiệm phát triển công nghệ tương tác người máy.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng:

• Học viên cao học và nghiên cứu sinh chuyên ngành Kỹ thuật Viễn thông, Công nghệ Thông tin và Trí tuệ Nhân tạo: Tiếp cận phương pháp toán học mô hình hóa chuỗi thời gian bằng mô hình Markov ẩn, giải thuật Baum-Welch và Viterbi để ứng dụng vào các bài toán nhận dạng giọng nói, cử chỉ hoặc phân tích tín hiệu y sinh.
• Kỹ sư phát triển hệ thống nhúng và thiết bị thông minh: Khai thác giải thuật trích xuất khung xương hình sao rút gọn với thời gian tính toán dưới 5ms, phục vụ mục tiêu thiết kế các thiết bị thị giác biên hoạt động độc lập không cần máy chủ mạnh.
• Chuyên gia công nghệ y tế và nhà quản lý cơ sở chăm sóc sức khỏe: Tìm kiếm giải pháp tự động hóa giám sát an toàn cho bệnh nhân cao tuổi, phát hiện tai nạn té ngã tức thời mà không xâm phạm hình ảnh riêng tư của người bệnh.
• Lập trình viên phát triển ứng dụng Thực tế ảo và Game tương tác: Ứng dụng kỹ thuật bắt chuyển động thời gian thực từ 25 điểm khớp khung xương để xây dựng các cơ chế điều khiển không chạm trực quan trên các nền tảng thiết bị thực tế ảo.

Câu hỏi thường gặp

Tại sao mô hình Markov ẩn vượt trội hơn mô hình máy học vector hỗ trợ trong nhận diện hành động?

Mô hình Markov ẩn vượt trội nhờ khả năng mô tả cấu trúc chuỗi thời gian của các cử chỉ liên tiếp, thay vì chỉ phân loại trên từng bức ảnh tĩnh độc lập như máy học vector hỗ trợ. Do hành động của con người là tập hợp các chuyển động nối tiếp có tính biến thiên, mô hình xác suất giúp hệ thống nhận diện chính xác 100% các hành động đơn lẻ mà không bị phụ thuộc vào tốc độ thực hiện.

Thiết bị cảm biến chiều sâu đóng vai trò gì trong việc nâng cao độ chính xác của hệ thống?

Thiết bị cảm biến chiều sâu sử dụng công nghệ đo thời gian bay ở độ phân giải 512x424 pixel tốc độ 30 khung hình trên giây để trích xuất trực tiếp tọa độ 3D của 25 điểm khớp khung xương. Nhờ vậy, hệ thống loại bỏ được hoàn toàn nhiễu do màu sắc trang phục, sự thay đổi của bóng râm hay nền ảnh phức tạp, mang lại dữ liệu hình học chuẩn xác.

Thuật toán tiến lùi giải quyết thách thức tính toán nào trong mô hình?

Thuật toán tiến lùi giải quyết bài toán tính toán xác suất xuất hiện của chuỗi quan sát trong quá trình huấn luyện và đánh giá. Thay vì phải thực hiện khối lượng tính toán khổng lồ lên tới 10 mũ 72 phép tính, thuật toán đã quy nạp hóa quá trình để giảm số lượng phép tính xuống còn khoảng 3000 phép tính, tiết kiệm gần 69 bậc lũy thừa và cho phép hệ thống chạy thời gian thực.

Hệ thống xử lý như thế nào khi con người thực hiện các hành động nối tiếp nhau liên tục?

Hệ thống sử dụng kỹ thuật phân đoạn chuỗi với cửa sổ trượt gồm 40 khung xương liên tiếp để nạp đồng thời vào 7 mô hình hành động. Bằng cách tính toán và so sánh giá trị hàm khả năng xác suất cực đại ở mỗi chu kỳ trượt, hệ thống liên tục cập nhật và đưa ra nhãn hành động chính xác với độ tin cậy từ 75% đến 95%.

Thời gian nhận diện dưới 5ms mang lại lợi ích cụ thể gì trong thực tế?

Thời gian xử lý dưới 5ms ngắn hơn rất nhiều so với chu kỳ 33ms của một khung hình ở tốc độ 30 khung hình trên giây, giúp hệ thống không bao giờ bị nghẽn dữ liệu. Trong môi trường y tế, tốc độ này đảm bảo việc phát hiện tai nạn té ngã diễn ra trong vòng 0,2 giây, giúp kích hoạt hệ thống cấp cứu kịp thời để bảo vệ tính mạng người bệnh.

Kết luận

• Ứng dụng thành công mô hình Markov ẩn kết hợp cảm biến chiều sâu trích xuất 25 điểm khớp khung xương để nhận diện tự động hành vi con người.
• Cải tiến giải thuật khung xương hình sao giúp rút gọn cơ sở dữ liệu từ 200 xuống còn 60 mẫu đặc trưng, tối ưu hóa mạnh mẽ tài nguyên xử lý.
• Đạt độ chính xác tuyệt đối 100% đối với các hành động đơn lẻ và từ 75% đến 95% trên luồng dữ liệu thời gian thực.
• Đạt tốc độ xử lý vượt bậc dưới 5ms cho mỗi chuỗi nhận diện, đáp ứng hoàn hảo yêu cầu vận hành tức thời ở tốc độ 30 khung hình trên giây.
• Đặt nền móng vững chắc cho các ứng dụng giám sát y tế thông minh, an ninh tự động và tương tác không gian trong thực tế ảo.

Trong kế hoạch 12 tháng tiếp theo, công trình định hướng tích hợp mô hình lên các phần cứng nhúng công suất thấp và mở rộng khả năng theo dõi đa người dùng. Các nhà nghiên cứu và kỹ sư quan tâm đến thị giác máy tính cùng hệ thống giám sát tự động hãy tham khảo chi tiết luận văn để áp dụng vào các dự án công nghệ thực tiễn.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Về thực nghiệm: Mô hình nhận diện hành động của con người được đề xuất sẽ được chia làm ba giai đoạn chính. Trong đó: giai đoạn đầu tiên là trích xuất được các đặc trưng của vật thể di chuyển trong phim ảnh, từ đó lấy được khung xương đã được mô hình hóa của vật thể bằng giải thuật trích xuất khung xương và biểu diễn bằng một ký hiệu, gọi là ký hiệu quan sát. Giai đoạn hai là sử dụng HMM học tập các phim ảnh có sẵn để tìm ra các thông số chính của HMM tương ứng với mỗi hành động, các thông số này sẽ được tối ưu nhằm mô tả chính xác hành động của con người trong các phim ảnh có sẵn. Giai đoạn cuối cùng là áp dụng HMM với các thông số từ giai đoạn hai với các phim ảnh trong thực tế, mô hình nào đạt được thông số tối đa, phú hợp nhất với chuỗi ký hiệu quan sát được sẽ được lựa chọn là hành động nhận diện Ngôn ngữ lập trình được sử dụng là C# dùng để xử lý các chuỗi với thời gian xử lý ngắn, nhanh và chính xác.

Sau đó hiện thị các thông tin của mô hình đang xử lý.5 Ý nghĩa khoa học và thực tiễn của đề tài Nhận diện hành động con người đã và đang được áp dụng trong nhiều lĩnh vực của đời sống trải dài từ dân sự đến quân sự: • Nhận diện một phần ngôn ngữ của người câm điếc dựa trên các cử chỉ liên tục của con người • Phân loại các bộ phim tránh các hình ảnh bạo lực, không phù hợp với từng lứa tuổi. • Phát hiện các phần tử nguy hiểm như: trộm, cướp,. trong một không gian vừa phải • Sử dụng cử chỉ để điều khiển các thiết bị, máy móc mà không cần tương tác trực tiếp thông qua chuột, bàn phím, màn cảm ứng. • Trong các khu phố, trạm ATM vắng người để đảm bảo an ninh, phát hiện người trong trạng thái nguy hiểm đến tính mạng • Dùng cử chỉ người để điều khiển các thiết bị Internet of Thing (IoT) Cùng với sự phát triển của các thiết bị điện tử thông minh như Android Tivi (tivi có thể sử dụng hệ điều hành Android như một máy tính bảng), thiết bị thực tế ảo - Virtual Reality (VR) như Gear VR của Samsung (hình 1.2), Oculus Rift của Facebook, Sony Playstaion VR của Sony,.

với hơn 100 ứng dụng thực tế ảo trên cửa hàng phần mềm Google Play của Google, App Store của Apple và hiện tại là một sản phẩm nổi tiếng sắp ra mắt HoloLens của Microsoft với công nghệ bán thực tế ảo - Mixed Virtual Reality (hình 1.3) giúp tăng cao trải nghiệm giữa thế giới điện tử, phần mềm và thế giới thực, các thiết bị trên đều tái hiện không gian ảo trên nền xung quanh chúng ta, tuy nhiên việc có thể nhận diện con người và hành động của nó thì lại là một vấn đề khác. Như đã đề cập, các hành động của con người do tính chất không có cấu trúc nhất định của nó khiến cho việc phân loại, phân tích, nhận dạng gặp quá nhiều khó khăn. MỞ ĐẦU Hình 1.3: Thiết bị bán thực tế ảo Hình 1.2: Thiết bị thực tế ảo Samsung Microsoft HoloLens của công ty Gear VR của công ty Samsung Microsoft 1.1 Ý nghĩa khoa học: Phương pháp sử dụng giải thuật Markov ẩn được đề xuất kết hợp với giải thuật trích xuất khung xương hình sao có các cải tiến để phù hợp với yêu cầu của các thiết bị nhận diện hành động hiện nay: 1. Hệ thống phải có khả năng tích hợp vào thiết bị nhỏ gọn 2.

Khả năng hoạt động thời gian thực 3. Khả năng mở rộng số lượng hành động 4. Khả năng nhận diện không phụ thuộc vào vị trí của người quan sát hay camera đang thu nhận hình ảnh hiện tại Các phương pháp hiện tại được sử dụng như Support Vector Machine - SVM , Neural Networks, Native Bayes đều mắc phải một khuyết điểm rất lớn là chỉ hoạt động dựa trên các ảnh tĩnh, hoàn toàn không thể mô tả hành động của con người một cách logic. Hệ thống nhận diện được sử dụng trong luân văn áp dụng HMM hoàn toàn dựa vào chuỗi các cử chỉ thực tế của con người theo thời gian thực (thời gian rời rạc) để huấn luyện và nhận diện cũng bằng các chuỗi cử chỉ của con người theo thời gian thực.

Phương pháp này giúp cho việc nhận diện con người trở nên khả thi, chính xác và phát triển được vì hoàn toàn phù hợp với các đặc tính sinh học, lý tính của con người. Các kết quả được trình bày ở CHƯƠNG 4, sẽ cho thấy được hệ thống được đề xuất có thể đáp ứng được hầu hết các tiêu chuẩn của các yêu cầu trên, góp một phần vào việc nghiên cứu và áp dụng vào thực tiễn không chỉ dân sự mà còn quân sự.2 Thực tiễn của đề tài: Khả năng áp dụng vào kính thực tế ảo HoloLens của Microsoft là rất lớn vì để dựng được một video dùng cho HoloLens, Microsoft đã sử dụng đến các camera hồng ngoại và ảnh màu RGB, có phần nào tương tự với thiết bị Kinect v2 được sử dụng chính trong luận văn và cũng là thiết bị do Mircosoft thiết kế và sản xuất, minh họa hình 1. Việc nhận dạng hành động con người không chỉ giúp các ứng dụng thực tế ảo có thể xây dựng hoàn chỉnh hệ thống ảo của mình mà trong thực tế còn có các ứng dụng rất cấp thiết cho cuộc sống. MỞ ĐẦU Hình 1.4: Xây dựng video không gian trên Mircosoft HoloLens Hình 1.5: Ứng dụng HoloLens vào nghiên cứu xe ô tô - dự án của công ty Hình 1.6: Ứng dụng HoloLens vào chơi Volvo và Mircosoft game Minecraft Trong bệnh viên dưỡng lão hay các bệnh nghiêm trọng, nguy hiểm, số lượng y sĩ, y tá chăm sóc người bệnh là không quá lớn.

Điều này dẫn tới việc thiết sót trong công tác giám sát, quản lý người bệnh. Với hệ thống này, chúng ta có thể lắp đặt, tự động quan sát, tìm ra các hành động nguy hiểm, hoặc các hành động được thể hiện khi con người gặp nguy hiểm: té ngã giữa hành lang không người, bỏ chạy khi gặp các tình huống nguy hiểm liên quan đến cháy nổ,. Luận văn này tập trung chủ yếu vào nhận diện hành động té ngã của bệnh nhân để thực hiện báo động, dựa vào đó tôi đề xuất thêm 6 hành động khác diễn ra xung quanh hành động té ngã: Đứng yên, Đi bộ, Chạy, Nhảy, Nằm, Ngồi. Bảy hành động được sử dụng đều là các hành động nối tiếp nhau và hoàn toàn dựa trên hoạt động của con người trên thực tế.

Nhờ vào tối ưu thiết kế phần cứng, Kinect v2 có thể hoạt động tốt ở ngoài trời với cường độ ánh sáng mặt trời không quá mạnh nên khả năng thực tiễn của nó là rất lớn, không chỉ nhận diện té ngã mà còn có thể sử dụng trong các ứng dụng thực tế: • Phân tích các thiết bị điện tử và khả năng phối hợp của chúng, tiêu biểu là dự án nghiên cứu ô tô giữa hãng Volvo và công ty Microsoft, minh họa hình 1. • Chơi game có sự tương tác bằng cửa chỉ giữa người và máy, giúp xóa nhòa ranh giới giữa không gian ảo và thực, minh họa hình 1. • Nhận diện một phần ngôn ngữ của người câm điếc dựa trên các cử chỉ liên tục của con người (phương pháp SVM hoạt động rất hạn chế) 6 1. MỞ ĐẦU • Phát hiện các phần tử nguy hiểm như: trộm, cướp,.

trong một không gian vừa phải • Trong các khu phố, trạm ATM vắng người để đảm bảo an ninh, phát hiện người trong trạng thái nguy hiểm đến tính mạng • Dùng cử chỉ người để điều khiển các thiết bị Internet of Thing (IoT) 1.6 Nội dung luận văn Toàn bộ đề tài nghiên cứu sẽ trình bày theo một bố cục liên hệ chặt chẽ với nhau xuyên suốt trong luận văn này. Các nội dung của luận văn sẽ được chia thành các chương cụ thể để có thể dễ dàng xem xét, nắm bắt vấn đề cũng như tạo sự mạch lạc, logic cho luận văn. CHƯƠNG 2 của luận văn sẽ trình bày tổng quan về công nghệ xử lý khung ảnh chiều sâu kết hợp với xử lý gán nhãn cho các phần cơ thể để trích xuất khung xương từ thiết bị Kinect. Tiếp theo, lý thuyết thuật toán HMM sẽ được đề cập, các giải thuật nổi tiếng như Baum-Welch, Viterbi và forward-backward được sử dụng để giải quyết các vấn đề của HMM.

Cuối cùng, giải thuật trích xuất khung xương sẽ được trình bày. Sau đó CHƯƠNG 3 đề cập đến cách áp dụng HMM vào lập trình và xử lý thời gian thực, tạo các mô hình chuẩn để phân tích các chuỗi SJM theo thời gian thực, các giá trị ngõ vào/ngõ ra của từng thành phần hệ thống. Trong đó, giải thuật trích xuất khung xương sẽ được cải tiến và thêm phần phân loại đường bao khung xương nhằm tối ưu khả năng phân loại khung xương. CHƯƠNG 4 bao hàm việc trình bày các thông số mô phỏng và thực nghiệm của toàn hệ thống và phân tích các kết quả thu nhận được nhằm tìm ra được các thông số tối ưu nhất của HMM theo từng giải thuật.

CHƯƠNG 5 của luận văn sẽ tóm tắt lại những công việc đã nghiên cứu, những gì đã đạt được, đồng thời đề xuất các hướng bổ sung, phát triển cho đề tài. 7 Chương 2 TỔNG QUAN VỀ ĐỀ TÀI VÀ LÝ THUYẾT LIÊN QUAN Chương này tập trung đưa ra cơ sở lý thuyết của HMM, phương pháp trích xuất khung xương bằng cách gán nhãn từng phần cơ thể của thiết bị Kinect v2. Sau đó các giải thuật xử lý số liệu sẽ được trình bày nhằm áp dụng cho HMM và xử lý thời gian thực. Cuối cùng, thuật toán khung xương hình sao sẽ được đề cập, một số cải tiến cho giải thuật này được thực hiện để có thể phù hợp với luận văn.1 Tổng quan về đề tài 2.1 Nhìn nhận vấn đề Đề tài thu thập các cơ sở lý thuyết của HMM, đưa ra giải pháp cho cách nhận diện hành động của con người.

Đề nghị áp dụng giải thuật xử lý khung xương và mô hình Markov Ẩn vào thực tế và kiểm chứng kết quả với các phương pháp khác. Luận văn này tập trung chủ yếu vào nhận diện 7 hành động: Đứng yên, Đi bộ, Chạy, Nhảy, Té ngã, Nằm, Ngồi đưa vào vào nhằm tìm hiêu khả năng hoạt động của hệ thống khi nhận diện các hành động đơn lẻ và trong điều kiện các hành động nối tiếp nhau.