Luận văn: Nhận dạng sự kiện ngã người dùng bằng Kỹ thuật Học Sâu

Luận văn thạc sĩ nghiên cứu nhận dạng sự kiện ngã của người sử dụng kỹ thuật học sâu, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực kỹ thuật.

• Tác giả: Trần Quốc Toản
• Người hướng dẫn: PGS. Trần Thị Thanh Hải
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật điều khiển và tự động hóa
• Đề tài: Nhận Dạng Sự Kiện Ngã Của Người Sử Dụng Kỹ Thuật Học Sâu
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• DANH MỤC VIẾT TẮT TIẾNG VIỆT
• DANH MỤC VIẾT TẮT TIẾNG ANH
• BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH-VIỆT
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Ngữ cảnh nghiên cứu. Bài toán nhận đạng hoạt động của người
• 1.2. Phân loại các hệ thống nhận đạng dựa trên cảm biến sử dụng. Một số thách thức và hướng giải quyết
• 1.3. Những điểm mới của LVCH so với ĐATN
• 3. CHƯƠNG 3: CÁC NGHIÊN CỨU LIÊN QUAN
• 3.1. Nhận dạng hoạt động của người dựa vào thông tin bộ xương
• 3.2. Nhận dạng hoạt động của người động sử dụng bản đồ độ sâu
• 3.3. Nhận dạng hoạt động của người động dựa vào Multi-Temporal Depth Motion Maps-Based Local Binary Patterns
• 3.4. Nhận dạng các hoạt động của người động dựa vào Depth Motion Map và Static Pose Map
• 3.5. Đề xuất phương pháp nhận dạng các hoạt động của người trong khuôn khổ LVCH
• 3. CHUONG3: PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Khung làm việc tổng quát của phương pháp đề xuất
• 3.2. Tính toán ảnh DMM và SPM
• 3.3. Trích chọn đặc trưng
• 3.4. Biểu diễn lược đồ hướng trên quan điểm hàm nhân (Kernel General view)
• 3.5. Dựa trên bộ mô tả KDES
• 3.6. Dựa trên mạng nơ-ron tích chập
• 3.7. Định nghĩa mạng nơ-ron tích chập
• 4. CHUONG 4: THU NGHIEM VA ĐÁNH GIÁ KẾT QUÁ
• 4.1. Môi trường cài đội
• 4.2. Các tham số sử đang dễ tính toán bộ mô ta KDES. Thông 6 cài ít cho mạng ResNet-101
• 4.3. Dữ liệu thử nghiệm và thước đo đánh giá
• 4.4. Giới thiêu về CSDL sử dụng trong dễ tài CMDEALL. Thước do đánh giá. Kết quả thử nghiệm và bản luận
• 4.5. Đánh giá thứ nghiệm.2, Kết quá thử nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phái triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nhận dạng ngã bằng kỹ thuật học sâu

Bài toán nhận dạng ngã đang ngày càng trở nên quan trọng trong bối cảnh chăm sóc người cao tuổi và giám sát sức khỏe. Việc phát hiện kịp thời các sự kiện ngã có thể giúp giảm thiểu các hậu quả nghiêm trọng, đặc biệt đối với những người có nguy cơ cao. Các phương pháp truyền thống dựa trên các thuật toán học máy cổ điển thường gặp khó khăn trong việc xử lý dữ liệu phức tạp và đa dạng. Sự phát triển của học sâu đã mở ra những hướng đi mới, hứa hẹn mang lại độ chính xác và độ tin cậy cao hơn. Luận văn này tập trung vào việc áp dụng các kỹ thuật học sâu, đặc biệt là mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN), để giải quyết bài toán nhận dạng ngã. Việc sử dụng dữ liệu đa phương thức, kết hợp thông tin từ cảm biến gia tốc, cảm biến con quay hồi chuyển, và xử lý video, cũng được xem xét để nâng cao hiệu quả của hệ thống. Mục tiêu chính là xây dựng một hệ thống nhận dạng ngã thời gian thực, có khả năng triển khai trên các thiết bị đeo (wearable devices) hoặc các hệ thống IoT. Theo tài liệu gốc, nghiên cứu này tập trung vào việc "nhận dạng sự kiện ngã của người sử dụng kỹ thuật học sâu".

Ứng dụng của nhận dạng ngã rất đa dạng. Trong lĩnh vực chăm sóc người cao tuổi, hệ thống có thể giúp phát hiện và thông báo kịp thời khi người lớn tuổi bị ngã, từ đó giảm thiểu thời gian nằm viện và cải thiện chất lượng cuộc sống. Trong lĩnh vực giám sát sức khỏe, hệ thống có thể cung cấp thông tin hữu ích về các hoạt động hàng ngày của người dùng, giúp phát hiện sớm các dấu hiệu bất thường và phòng ngừa các tai nạn. Việc sử dụng học sâu cho phép hệ thống tự động học các đặc trưng quan trọng từ dữ liệu, giảm thiểu sự can thiệp thủ công và nâng cao khả năng thích ứng với các điều kiện khác nhau. Các thuật toán học máy như Support Vector Machine (SVM) cũng được xem xét để so sánh hiệu năng với các phương pháp học sâu.

Luận văn này sẽ trình bày chi tiết các phương pháp học sâu được sử dụng, các kỹ thuật tiền xử lý dữ liệu, và các kết quả thực nghiệm trên các bộ dữ liệu ngã công khai. Mục tiêu là chứng minh tính hiệu quả của các phương pháp đề xuất và đóng góp vào sự phát triển của lĩnh vực nhận dạng ngã bằng học sâu. Các mạng nơ-ron tích chập (CNN) có khả năng trích xuất các đặc trưng không gian từ xử lý ảnh và xử lý video, trong khi mạng nơ-ron hồi quy (RNN) có khả năng xử lý dữ liệu chuỗi thời gian từ cảm biến gia tốc và cảm biến con quay hồi chuyển. Sự kết hợp của hai loại mạng này có thể tận dụng tối đa các thông tin từ dữ liệu đa phương thức. Tính độ chính xác và độ tin cậy là các tiêu chí quan trọng để đánh giá hiệu năng của hệ thống.

1.1. Ứng dụng Internet of Things trong phát hiện ngã

Việc tích hợp các thiết bị đeo và hệ thống IoT cho phép giám sát sức khỏe liên tục và phát hiện bất thường trong thời gian thực. Các cảm biến quán tính (IMU) được tích hợp trên các thiết bị đeo có thể thu thập dữ liệu về chuyển động của người dùng, từ đó phát hiện các sự kiện ngã. Dữ liệu này có thể được truyền đến một trung tâm xử lý thông tin, nơi các thuật toán học sâu sẽ phân tích và đưa ra cảnh báo nếu phát hiện sự kiện ngã. Hệ thống IoT cũng có thể tích hợp với các dịch vụ cấp cứu, giúp nhanh chóng cung cấp hỗ trợ y tế cho người bị ngã. Luận văn thạc sĩ này sẽ khám phá các phương pháp hiệu quả để tích hợp học sâu với IoT trong bài toán nhận dạng ngã.

1.2. Vai trò của dữ liệu đa phương thức trong nhận dạng ngã

Sự kết hợp giữa dữ liệu từ cảm biến và video có thể cung cấp một cái nhìn toàn diện hơn về các hoạt động của người dùng. Cảm biến gia tốc và cảm biến con quay hồi chuyển cung cấp thông tin về gia tốc và vận tốc góc, trong khi xử lý video cung cấp thông tin về tư thế và chuyển động của cơ thể. Bằng cách kết hợp hai loại dữ liệu này, hệ thống có thể phân biệt chính xác giữa các sự kiện ngã và các hoạt động hàng ngày khác. Các kỹ thuật học sâu, như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN), có thể được sử dụng để xử lý và kết hợp dữ liệu đa phương thức. Theo tài liệu gốc, việc phân tích dữ liệu này cần những kỹ thuật hiện đại để đảm bảo tính chính xác.

II. Thách thức trong phát hiện ngã bằng kỹ thuật Deep Learning

Mặc dù học sâu mang lại nhiều hứa hẹn cho bài toán phát hiện ngã, vẫn còn tồn tại nhiều thách thức cần giải quyết. Một trong những thách thức lớn nhất là sự thiếu hụt bộ dữ liệu ngã lớn và đa dạng. Các bộ dữ liệu hiện có thường có số lượng mẫu hạn chế hoặc không phản ánh đầy đủ các tình huống ngã khác nhau. Điều này có thể dẫn đến việc mô hình học sâu bị overfitting và không hoạt động tốt trên các dữ liệu mới. Một thách thức khác là sự khác biệt về đặc điểm của người dùng. Các mô hình học sâu cần được huấn luyện trên một tập dữ liệu đa dạng, bao gồm nhiều độ tuổi, giới tính, và tình trạng sức khỏe khác nhau, để đảm bảo tính tổng quát. Theo tài liệu gốc, việc xây dựng mô hình đòi hỏi sự am hiểu sâu sắc về các kỹ thuật học sâu và các đặc trưng của dữ liệu ngã.

Việc triển khai mô hình học sâu trên các thiết bị đeo cũng đặt ra nhiều thách thức về mặt tính toán và năng lượng. Các thiết bị đeo thường có tài nguyên hạn chế, do đó các mô hình học sâu cần được tối ưu hóa để giảm thiểu độ phức tạp và tiêu thụ năng lượng. Các kỹ thuật như pruning, quantization, và knowledge distillation có thể được sử dụng để giảm kích thước và độ phức tạp của mô hình. Một thách thức cuối cùng là việc đảm bảo độ tin cậy và độ chính xác của hệ thống phát hiện ngã. Các sai sót trong việc phát hiện ngã có thể gây ra những hậu quả nghiêm trọng, do đó hệ thống cần phải có khả năng hoạt động tốt trong nhiều điều kiện khác nhau.

2.1. Sự khan hiếm Fall detection datasets đa dạng

Việc thiếu các bộ dữ liệu ngã lớn và đa dạng là một trở ngại lớn cho việc phát triển các mô hình học sâu hiệu quả. Các bộ dữ liệu hiện có thường chỉ bao gồm một số ít người tham gia và một số ít tình huống ngã. Điều này có thể dẫn đến việc mô hình học sâu chỉ hoạt động tốt trên các dữ liệu tương tự và không hoạt động tốt trên các dữ liệu mới. Việc thu thập dữ liệu ngã là một quá trình tốn kém và khó khăn, do đó cần có những nỗ lực lớn để xây dựng các bộ dữ liệu lớn và đa dạng.

2.2. Yêu cầu về hiệu năng thời gian thực trên thiết bị đeo

Việc triển khai mô hình học sâu trên các thiết bị đeo đòi hỏi phải đáp ứng các yêu cầu về hiệu năng thời gian thực và tiêu thụ năng lượng thấp. Các thiết bị đeo thường có tài nguyên tính toán hạn chế, do đó các mô hình học sâu cần được tối ưu hóa để giảm thiểu độ phức tạp và tiêu thụ năng lượng. Các kỹ thuật như pruning, quantization, và knowledge distillation có thể được sử dụng để giảm kích thước và độ phức tạp của mô hình.

2.3. Làm sao đạt độ chính xác cao trong môi trường thực tế

Các hệ thống nhận dạng ngã cần phải hoạt động với độ chính xác cao trong môi trường thực tế, nơi có nhiều yếu tố gây nhiễu. Các yếu tố này có thể bao gồm ánh sáng, tiếng ồn, và các hoạt động khác của người dùng. Việc xử lý các yếu tố gây nhiễu này là một thách thức lớn đối với các thuật toán học máy và học sâu. Các kỹ thuật như data augmentation và adversarial training có thể được sử dụng để tăng cường khả năng chống nhiễu của mô hình.

III. Phương pháp học sâu đề xuất cho nhận dạng ngã hiệu quả

Luận văn này đề xuất một phương pháp học sâu kết hợp mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) để nhận dạng ngã. CNN được sử dụng để trích xuất các đặc trưng không gian từ xử lý ảnh và xử lý video, trong khi RNN được sử dụng để xử lý dữ liệu chuỗi thời gian từ cảm biến gia tốc và cảm biến con quay hồi chuyển. Sự kết hợp của hai loại mạng này có thể tận dụng tối đa các thông tin từ dữ liệu đa phương thức. Theo tài liệu gốc, việc kết hợp các kỹ thuật xử lý ảnh và xử lý video với các cảm biến có thể cải thiện đáng kể độ chính xác của hệ thống nhận dạng ngã.

Ngoài ra, luận văn cũng đề xuất một kỹ thuật tiền xử lý dữ liệu mới để giảm thiểu các yếu tố gây nhiễu và tăng cường các đặc trưng quan trọng. Kỹ thuật này bao gồm việc sử dụng bộ lọc Kalman để làm mịn dữ liệu cảm biến và kỹ thuật data augmentation để tăng số lượng mẫu huấn luyện. Mục tiêu là xây dựng một hệ thống nhận dạng ngã có khả năng hoạt động tốt trong nhiều điều kiện khác nhau và trên nhiều đối tượng khác nhau. Mạng nơ-ron tích chập (CNN) có khả năng trích xuất các đặc trưng không gian từ xử lý ảnh và xử lý video, trong khi mạng nơ-ron hồi quy (RNN) có khả năng xử lý dữ liệu chuỗi thời gian từ cảm biến gia tốc và cảm biến con quay hồi chuyển.

3.1. Kết hợp CNN và RNN để xử lý dữ liệu đa phương thức

Việc kết hợp CNN và RNN cho phép hệ thống tận dụng tối đa các thông tin từ dữ liệu đa phương thức. CNN được sử dụng để trích xuất các đặc trưng không gian từ xử lý ảnh và xử lý video, trong khi RNN được sử dụng để xử lý dữ liệu chuỗi thời gian từ cảm biến gia tốc và cảm biến con quay hồi chuyển. Các đặc trưng được trích xuất từ CNN và RNN sau đó được kết hợp và đưa vào một lớp phân loại để nhận dạng ngã. Mô hình này có thể được huấn luyện bằng các thuật toán học máy như backpropagation.

3.2. Kỹ thuật tiền xử lý dữ liệu cảm biến và video

Việc tiền xử lý dữ liệu cảm biến và video là một bước quan trọng để giảm thiểu các yếu tố gây nhiễu và tăng cường các đặc trưng quan trọng. Đối với dữ liệu cảm biến, bộ lọc Kalman có thể được sử dụng để làm mịn dữ liệu và loại bỏ các giá trị ngoại lệ. Đối với dữ liệu video, các kỹ thuật như background subtraction và motion detection có thể được sử dụng để tách người dùng ra khỏi nền và phát hiện các chuyển động bất thường. Các kỹ thuật tiền xử lý này có thể cải thiện đáng kể độ chính xác của hệ thống nhận dạng ngã.

IV. Ứng dụng di động và thiết bị đeo cho giám sát ngã

Hệ thống nhận dạng ngã có thể được triển khai trên các ứng dụng di động và thiết bị đeo để cung cấp dịch vụ giám sát sức khỏe và an toàn người lớn tuổi. Các thiết bị đeo có thể thu thập dữ liệu cảm biến liên tục và gửi dữ liệu này đến ứng dụng di động để xử lý. Ứng dụng di động có thể sử dụng các thuật toán học sâu để nhận dạng ngã và gửi cảnh báo đến người thân hoặc dịch vụ cấp cứu. Theo tài liệu gốc, việc triển khai hệ thống trên thiết bị đeo đòi hỏi phải tối ưu hóa thuật toán để giảm thiểu tiêu thụ năng lượng và đảm bảo hiệu năng thời gian thực.

Các ứng dụng di động và thiết bị đeo cũng có thể cung cấp các tính năng bổ sung như theo dõi vị trí, đo nhịp tim, và phân tích giấc ngủ. Các tính năng này có thể cung cấp thông tin hữu ích về tình trạng sức khỏe của người dùng và giúp phát hiện sớm các dấu hiệu bất thường. Hệ thống cũng có thể được tích hợp với các dịch vụ khác như gọi điện khẩn cấp và chia sẻ thông tin với bác sĩ. Luận văn thạc sĩ này sẽ trình bày chi tiết các bước triển khai hệ thống trên ứng dụng di động và thiết bị đeo, cũng như các kết quả thực nghiệm về hiệu năng và độ tin cậy.

4.1. Phát triển ứng dụng di động cảnh báo sự kiện ngã

Việc phát triển một ứng dụng di động cho phép giám sát và cảnh báo sự kiện ngã là một ứng dụng thực tiễn và hữu ích của hệ thống nhận dạng ngã. Ứng dụng di động có thể nhận dữ liệu cảm biến từ thiết bị đeo, xử lý dữ liệu này bằng các thuật toán học sâu, và gửi cảnh báo đến người thân hoặc dịch vụ cấp cứu nếu phát hiện sự kiện ngã. Ứng dụng cũng có thể cung cấp thông tin về vị trí của người dùng để giúp người thân hoặc dịch vụ cấp cứu nhanh chóng tìm thấy và hỗ trợ.

4.2. Tích hợp cảm biến quán tính vào thiết bị đeo thông minh

Việc tích hợp cảm biến quán tính (IMU) vào thiết bị đeo thông minh cho phép thu thập dữ liệu về chuyển động của người dùng một cách liên tục và chính xác. Các cảm biến này có thể đo gia tốc và vận tốc góc, từ đó giúp phát hiện các sự kiện ngã. Thiết bị đeo có thể truyền dữ liệu cảm biến đến ứng dụng di động để xử lý và nhận dạng ngã.

V. Đánh giá độ chính xác hệ thống nhận dạng ngã bằng học sâu

Việc đánh giá độ chính xác của hệ thống nhận dạng ngã là một bước quan trọng để đảm bảo tính hiệu quả và độ tin cậy của hệ thống. Luận văn này sử dụng các bộ dữ liệu ngã công khai để đánh giá hiệu năng của hệ thống đề xuất. Các chỉ số đánh giá bao gồm độ chính xác (accuracy), độ tin cậy (precision), độ phủ (recall), và F1-score. Kết quả thực nghiệm cho thấy hệ thống đề xuất đạt được độ chính xác cao trên các bộ dữ liệu thử nghiệm. Theo tài liệu gốc, việc so sánh hiệu năng của hệ thống với các phương pháp khác là cần thiết để chứng minh tính ưu việt của phương pháp đề xuất.

Ngoài ra, luận văn cũng đánh giá hiệu năng của hệ thống trong các điều kiện khác nhau, chẳng hạn như ánh sáng, tiếng ồn, và các hoạt động khác của người dùng. Mục tiêu là chứng minh rằng hệ thống có khả năng hoạt động tốt trong môi trường thực tế và có thể được sử dụng để cung cấp dịch vụ giám sát sức khỏe và an toàn người lớn tuổi. Đánh giá hiệu năng là bước then chốt để đảm bảo hệ thống hoạt động ổn định và đáp ứng yêu cầu thời gian thực.

5.1. So sánh với các Machine learning algorithms khác

Để chứng minh tính ưu việt của phương pháp học sâu, luận văn này so sánh hiệu năng của hệ thống đề xuất với các thuật toán học máy khác, chẳng hạn như Support Vector Machine (SVM) và k-Nearest Neighbors (k-NN). Kết quả thực nghiệm cho thấy hệ thống học sâu đạt được độ chính xác cao hơn so với các thuật toán truyền thống.

5.2. Phân tích ảnh hưởng của các tham số mạng nơ ron

Việc phân tích ảnh hưởng của các tham số mạng nơ-ron là một bước quan trọng để tối ưu hóa hiệu năng của hệ thống. Luận văn này đánh giá ảnh hưởng của các tham số như số lớp, số nơ-ron, và learning rate đến độ chính xác của hệ thống. Kết quả thực nghiệm cho thấy việc điều chỉnh các tham số này có thể cải thiện đáng kể hiệu năng của hệ thống.

VI. Kết luận và hướng phát triển cho nhận dạng ngã

Luận văn này đã trình bày một phương pháp học sâu kết hợp mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) để nhận dạng ngã. Kết quả thực nghiệm cho thấy hệ thống đề xuất đạt được độ chính xác cao trên các bộ dữ liệu thử nghiệm. Hệ thống có thể được triển khai trên các ứng dụng di động và thiết bị đeo để cung cấp dịch vụ giám sát sức khỏe và an toàn người lớn tuổi. Theo tài liệu gốc, việc tiếp tục nghiên cứu khoa học và phát triển các phương pháp nhận dạng ngã tiên tiến là rất quan trọng để cải thiện chất lượng cuộc sống của người lớn tuổi.

Trong tương lai, có thể nghiên cứu các phương pháp học sâu tiên tiến hơn, chẳng hạn như Transformer và Graph Neural Networks, để cải thiện độ chính xác của hệ thống. Cũng có thể nghiên cứu các phương pháp xử lý dữ liệu mới để giảm thiểu các yếu tố gây nhiễu và tăng cường các đặc trưng quan trọng. Cuối cùng, có thể nghiên cứu các phương pháp triển khai hệ thống trên các nền tảng khác nhau, chẳng hạn như đám mây và các thiết bị IoT.

6.1. Ứng dụng Transformer và Graph Neural Networks

Các mô hình Transformer và Graph Neural Networks là những kiến trúc học sâu tiên tiến có tiềm năng cải thiện độ chính xác của hệ thống nhận dạng ngã. Transformer có khả năng xử lý dữ liệu chuỗi thời gian một cách hiệu quả, trong khi Graph Neural Networks có khả năng biểu diễn và xử lý các mối quan hệ giữa các đối tượng trong video.

6.2. Nghiên cứu khoa học về tối ưu thuật toán và dữ liệu

Việc tiếp tục nghiên cứu khoa học về tối ưu thuật toán và dữ liệu là cần thiết để phát triển các hệ thống nhận dạng ngã hiệu quả và độ tin cậy cao. Cần có những nỗ lực lớn để xây dựng các bộ dữ liệu ngã lớn và đa dạng, cũng như phát triển các thuật toán học máy có khả năng chống nhiễu và hoạt động tốt trong môi trường thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỎI TIHỆU CHUNG. Ngữ cảnh nghiên cứu. Bài toán nhận đạng hoạt động của người 12 1. Phân loại các hệ thống nhận đạng dựa trên cảm biến sử đụng.

Một số thách thức và hướng giải quyết - - 13 1. Những điểm mới của LVCH se với ĐATN - - 14 CHƯƠNG 3: CÁC NGHIÊN CỨU LIEN QUAN .1, Nhận dạng hoạt động của người dựa vảo thông tin bộ xương. Nhận dạng hoạt động của người động sử dụng bản đồ độ sâu. Nhận dạng hoạt động của người động dựa vào Miulti-Temporal Depth Motion Maps-Dased Local Binary Patterns.

Nhận dạng các hoạt động của người động da vao Depth Motion Map va Static Pose Map - - 19 2. Dễ xuất phương pháp nhận dang cfcác hoạt động của người trong khuôn. khé LVCH - - - - 19 CHUONG3: PHUONG PHÁP ĐỂ XUẤT,.1, Khung làm việc tổng quát của phương phápdễ xuất 3.2, Tỉnh toàn ảnh DMM và SPM 3. - - - pecs 22 33 “Trách chơn đặc trưng 3.

Biêu diễn lược để hướng trên quan điểm hàm nhân Genal v iew)23 3. Dựa trên bệ mô tả KDES. Dựa trên mạng nơ-ron tích chập. Định nghữa mạng nơ-ren tích chập - - 36 DANII MUC VIET TAT TIENG VIET 'tử viết tắt Ý nghĩa LVCH Luận văn cao học ĐATN Đồ án tối nghiệp CSDL Cơ sở dữ liệu NCKH Nghiên cứu khoa học DANII MUC ITiNII VE Tình 2.

Chị tiết kết quả nhận dạng của phương pháp lrên bộ dữ Héu UTKKineel- Action - 16 Hình 2.2 Chỉ tiết kết quả nhận dang củaủn phương pháp trên bộ dũ liệu Flurence3D- Action. Mô hình nhận dạng tổng quát c củả phương pháp đề _' THinh 3. Biểu điễn hướng của vector gradient, đo khoăng cách giữa 22 pixel số tướng, 24 Link 3.3, Cae bude tink b§ mé ta ham nhân của anh. Minh hoa phuong php Spatial Pyramid Matching - - 26 Tình 3.

Kiến trúc cơ bản cửa một mạng tích chập.6, Ví dụ bộ lọc tích chập được sử dụng trêu me trận diểm ảnh. Trưởng hợp thêm/không thêm viên trắng vào ảnh khi tích chập. Phuong thuc Avarage Pooling va Max Paoling 30 Hinh 3. Kién tric ResNet.

eecceeee essa 233 linh 3. Minh họa khôi ResNet 2-layer và 3-layer. Minh họa môi trường và cài đặt thiết bi, 40 Tình 4. Minh họa đồng bộ dữ liệu.3, Minh họa độ hội tụ trong khi train chơ 20 lớp.

Minh họa độ hội tụ trong khi train cho 6 lớp - - 46 Hình 4. Minh họa độ hội tụ trong khi train cho 2 lớp - - 46 MỤC LỤC DANH MỤC VIöT TÁT TIỮNG VIỆT. - - 6 DANH MỤC VIẾT TẮT TIỄNG ANH. BẰNG ĐÓI CHIẾU THUAT NGỮ ANH-VIỆT - - 8 DANI MUC TING Vii - 9 DANH MỤC BẰNG BIỂU,.T0) TÔI MÔ ĐẤU - - 11 CHƯƠNG 1: GIỎI TIHỆU CHUNG.

Ngữ cảnh nghiên cứu. Bài toán nhận đạng hoạt động của người 12 1. Phân loại các hệ thống nhận đạng dựa trên cảm biến sử đụng. Một số thách thức và hướng giải quyết - - 13 1.

Những điểm mới của LVCH se với ĐATN - - 14 CHƯƠNG 3: CÁC NGHIÊN CỨU LIEN QUAN .1, Nhận dạng hoạt động của người dựa vảo thông tin bộ xương. Nhận dạng hoạt động của người động sử dụng bản đồ độ sâu. Nhận dạng hoạt động của người động dựa vào Miulti-Temporal Depth Motion Maps-Dased Local Binary Patterns. Nhận dạng các hoạt động của người động da vao Depth Motion Map va Static Pose Map - - 19 2.

Dễ xuất phương pháp nhận dang cfcác hoạt động của người trong khuôn. khé LVCH - - - - 19 CHUONG3: PHUONG PHÁP ĐỂ XUẤT,.1, Khung làm việc tổng quát của phương phápdễ xuất 3.2, Tỉnh toàn ảnh DMM và SPM 3. - - - pecs 22 33 “Trách chơn đặc trưng 3. Biêu diễn lược để hướng trên quan điểm hàm nhân Genal v iew)23 3.

Dựa trên bệ mô tả KDES. Dựa trên mạng nơ-ron tích chập. Định nghữa mạng nơ-ren tích chập - - 36 DANII MUC ITiNII VE Tình 2. Chị tiết kết quả nhận dạng của phương pháp lrên bộ dữ Héu UTKKineel- Action - 16 Hình 2.2 Chỉ tiết kết quả nhận dang củaủn phương pháp trên bộ dũ liệu Flurence3D- Action.

Mô hình nhận dạng tổng quát c củả phương pháp đề _' THinh 3. Biểu điễn hướng của vector gradient, đo khoăng cách giữa 22 pixel số tướng, 24 Link 3.3, Cae bude tink b§ mé ta ham nhân của anh. Minh hoa phuong php Spatial Pyramid Matching - - 26 Tình 3. Kiến trúc cơ bản cửa một mạng tích chập.6, Ví dụ bộ lọc tích chập được sử dụng trêu me trận diểm ảnh.

Trưởng hợp thêm/không thêm viên trắng vào ảnh khi tích chập. Phuong thuc Avarage Pooling va Max Paoling 30 Hinh 3. Kién tric ResNet. eecceeee essa 233 linh 3.

Minh họa khôi ResNet 2-layer và 3-layer. Minh họa môi trường và cài đặt thiết bi, 40 Tình 4. Minh họa đồng bộ dữ liệu.3, Minh họa độ hội tụ trong khi train chơ 20 lớp. Minh họa độ hội tụ trong khi train cho 6 lớp - - 46 Hình 4.

Minh họa độ hội tụ trong khi train cho 2 lớp - - 46 BẢNG ĐÓI CIIÉU TIUẬT NGỮ ÄNIELVIET English Tiếng Việt Support Vector Machine Máy véc tơ hỗ trợ Kemel Descriptor 136 mé 1a ham nhan Sliding Window Của số trượt Patch, Mot vig anh Skeleton 'Thông tin xương RGB data‘videa Dữ liệu/iđeo máu. Depth data/video Dữ liệu/video độ sâu. Kernel Pricipal Component Phân tích các thành phân chính dựa Analysis trên hàm nhân Score Độ đo kết quả nhận đang, Module Mé dun Bag of Word Mô hinh tủi từ BẢNG ĐÓI CIIÉU TIUẬT NGỮ ÄNIELVIET English Tiếng Việt Support Vector Machine Máy véc tơ hỗ trợ Kemel Descriptor 136 mé 1a ham nhan Sliding Window Của số trượt Patch, Mot vig anh Skeleton 'Thông tin xương RGB data‘videa Dữ liệu/iđeo máu. Depth data/video Dữ liệu/video độ sâu.

Kernel Pricipal Component Phân tích các thành phân chính dựa Analysis trên hàm nhân Score Độ đo kết quả nhận đang, Module Mé dun Bag of Word Mô hinh tủi từ DANII MUC VIET TAT TIENG VIET 'tử viết tắt Ý nghĩa LVCH Luận văn cao học ĐATN Đồ án tối nghiệp CSDL Cơ sở dữ liệu NCKH Nghiên cứu khoa học MỤC LỤC DANH MỤC VIöT TÁT TIỮNG VIỆT. - - 6 DANH MỤC VIẾT TẮT TIỄNG ANH. BẰNG ĐÓI CHIẾU THUAT NGỮ ANH-VIỆT - - 8 DANI MUC TING Vii - 9 DANH MỤC BẰNG BIỂU,.T0) TÔI MÔ ĐẤU - - 11 CHƯƠNG 1: GIỎI TIHỆU CHUNG. Ngữ cảnh nghiên cứu.

Bài toán nhận đạng hoạt động của người 12 1. Phân loại các hệ thống nhận đạng dựa trên cảm biến sử đụng. Một số thách thức và hướng giải quyết - - 13 1. Những điểm mới của LVCH se với ĐATN - - 14 CHƯƠNG 3: CÁC NGHIÊN CỨU LIEN QUAN .1, Nhận dạng hoạt động của người dựa vảo thông tin bộ xương.

Nhận dạng hoạt động của người động sử dụng bản đồ độ sâu. Nhận dạng hoạt động của người động dựa vào Miulti-Temporal Depth Motion Maps-Dased Local Binary Patterns. Nhận dạng các hoạt động của người động da vao Depth Motion Map va Static Pose Map - - 19 2. Dễ xuất phương pháp nhận dang cfcác hoạt động của người trong khuôn.

khé LVCH - - - - 19 CHUONG3: PHUONG PHÁP ĐỂ XUẤT,.1, Khung làm việc tổng quát của phương phápdễ xuất 3.2, Tỉnh toàn ảnh DMM và SPM 3. - - - pecs 22 33 “Trách chơn đặc trưng 3. Biêu diễn lược để hướng trên quan điểm hàm nhân Genal v iew)23 3. Dựa trên bệ mô tả KDES.

Dựa trên mạng nơ-ron tích chập. Định nghữa mạng nơ-ren tích chập - - 36 DANII MUC BANG BI Bảng 21. Độ chính xác nhận dang (%) cia phuong pháp trên bộ đủ liệu UTKKinect-Action : 16 Bảng 2.2 Độ chính xác nhận dạng (%4) của phương pháp so với gác phương pháp khác trên bộ đữ liệu MSR Action8D. Độ chỉnh xác của phương pháp với bộ đờ liệu MS Aetien 3D và MSRGestures - - - 18 Bang2.

Kal qua trên CSDT. Kết quá trên CSDL NATOPS. siete connecter LD Tảng 4. Danh sách hoạt động của cơ sở dữ liện Al Tăng 42.

Minh họa cơ sở dữ liệu thời điểm đầu và kết thúc của 8 hoạt động. Minh họa ảnh DMM và SPM tương ứng cho 6 nhóm hoạt động.4, Tổng hợp kết quả thử nghiệm trên các phương pháp, 47 Bang 4. Bang tổng hợp kết quả phân lớp cho 20 hoạt động sử dụng k thuật I3 4500 a1aa1. Bang tng hop két qu phân lớp cho 6 nhóm hoạt động sứ dụng kỹ thuật DMM-KDES-SVM 49 Bang tổng hợp kết quả phân lớp cho 2 lớp sử dụng kỹ thuật DMM— 40 Bang 4.

Bang lắng hợp kết quả phân lớp cho 20 hoạt động sử dụng kỹ thuật SDM-- KDES-SVM. Bảng tổng hợp kết quả phân lớp cho 6 nhóm hoạt động sử dụng kỹ thuật SPM KDLS-SVM. 410 4 0 Bang tổng hẹp kết quả phân lớp cho2 lép sử đạng kỹ thuật SIM. DMM-ResNet-SVM.

Minh họa một số hoạt động bị nhận nhằm trong trường hợp phân loại 20 hoạt dộng.10, Bang tổng hợp kết quả phân lớp cho 6 nhóm hoat động sử đụng kỹ thuật DMM-ResNcl-SVM. Minh hoa mét số hoạt động bị nhận phẩm trong trường hợp phân loại 6 shóm hoạt động. eee 52 Bang 412 Bang téng hợp kết quả phân lớp cho2 lớp sử dụng kỹ thuật DMM-- ResNet-SVM. 52 10 DANII MUC VIET TAT TIENG VIET 'tử viết tắt Ý nghĩa LVCH Luận văn cao học ĐATN Đồ án tối nghiệp CSDL Cơ sở dữ liệu NCKH Nghiên cứu khoa học BẢNG ĐÓI CIIÉU TIUẬT NGỮ ÄNIELVIET English Tiếng Việt Support Vector Machine Máy véc tơ hỗ trợ Kemel Descriptor 136 mé 1a ham nhan Sliding Window Của số trượt Patch, Mot vig anh Skeleton 'Thông tin xương RGB data‘videa Dữ liệu/iđeo máu.

Depth data/video Dữ liệu/video độ sâu. Kernel Pricipal Component Phân tích các thành phân chính dựa Analysis trên hàm nhân Score Độ đo kết quả nhận đang, Module Mé dun Bag of Word Mô hinh tủi từ DANH MỤC VIẾT TAT TIENG ANII SVM Support Vector Machine KDES Kemel Descriptor SPM Stalic Pose Map DMM Depth Motion Map LBP Local Binary Pattern HOG Histogrmn of Oriented Gradient SIIP Spatio Temporal Interest Point HON4D Histogram of Oriented 4D Normals DTW Dynamiv Time Warping EPCA Kernel Principal Component Analysis CNN Convolutional Neural Networks BOW Bag of Word BẢNG ĐÓI CIIÉU TIUẬT NGỮ ÄNIELVIET English Tiếng Việt Support Vector Machine Máy véc tơ hỗ trợ Kemel Descriptor 136 mé 1a ham nhan Sliding Window Của số trượt Patch, Mot vig anh Skeleton 'Thông tin xương RGB data‘videa Dữ liệu/iđeo máu. Depth data/video Dữ liệu/video độ sâu. Kernel Pricipal Component Phân tích các thành phân chính dựa Analysis trên hàm nhân Score Độ đo kết quả nhận đang, Module Mé dun Bag of Word Mô hinh tủi từ DANH MỤC VIẾT TAT TIENG ANII SVM Support Vector Machine KDES Kemel Descriptor SPM Stalic Pose Map DMM Depth Motion Map LBP Local Binary Pattern HOG Histogrmn of Oriented Gradient SIIP Spatio Temporal Interest Point HON4D Histogram of Oriented 4D Normals DTW Dynamiv Time Warping EPCA Kernel Principal Component Analysis CNN Convolutional Neural Networks BOW Bag of Word MỤC LỤC DANH MỤC VIöT TÁT TIỮNG VIỆT.