CHƯƠNG I TỔNG QUAN 1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI Ngày nay, khi kinh tế ngày càng phát triển cuộc sống con người cũng vì thế mà được nâng cao. Nhu cầu về chăm sóc sức khỏe trở nên là ưu tiên hàng đầu. Cùng với đó, là sự phát triển của khoa học và công nghệ trong cuộc cách mạng công nghiệp 4.0, lĩnh vực về chăm sóc sức khỏe lại được nâng lên tầm cao mới.
Việc chăm sóc sức khỏe thông qua việc phát hiện các triệu chứng bất thường như: té xỉu, đau bụng, nhức đầu, đau chân… và cảnh báo các triệu chứng cho người thân trong gia đình là vô cùng cần thiết. Từ những thực tiễn đó là một sinh viên chuyên ngành Công Nghệ Thông Tin (CNTT) tôi đã tìm hiểu, nghiên cứu và ứng dụng thị giác máy tính cũng như kỹ thuật học sâu vào tự động phát hiện các triệu chứng bất thường thông qua hành động con người. Lịch sử giải quyết vấn đề: nhận diện hành động con người đã từng được ứng dụng trong truy vấn video, phân tích thể thao và sức khỏe. Tuy nhiên, trên lĩnh vực camera giám sát chăm sóc sức khỏe, các thuật toán nhận diện hành động thông qua nhận dạng ảnh đã lỗi thời, mang lại sự chính xác không vượt trội và đòi hỏi tài nguyên phần cứng phải cao để đáp ứng được thuật toán chạy một cách mượt mà.
Vì vậy, tôi đã tìm hiểu và phát triển một thuật toán nhận dạng hành động con người không phải dựa trên nhận dạng ảnh mà sử dụng một phương pháp nhận dạng dựa trên chuyển động khung xương để xác định hành động của con người. LÝ DO CHỌN ĐỀ TÀI Cùng với sự phát triển của khoa học công nghệ trong cuộc cách mạng công nghiệp 4.0, các ứng dụng về trí tuệ nhân tạo (TTNT) và học máy ngày càng phát triển và là lĩnh vực được quan tâm nhiều nhất hiện nay, trong đó lĩnh vực học sâu (Deep Learning) là một loại phổ biến của máy học đã có những thành tựu phát triển vượt bậc. Mở ra một bước ngoặt mới trong việc giải quyết các bài toán về TTNT trước đây đã gặp khó khăn như nhận diện sự vật (Object Detection), nhận diện hình ảnh, hành động, … Trong đó phải kể đến sự phát triển của lĩnh vực thị giác máy tính (Computer Vision), đặt nền tảng cho nhiều ứng dụng thực tiễn như các hệ thống giám sát thông minh, hệ thống xe tự lái, rôbôt thông minh,… Lĩnh vực học sâu là một kỹ thuật trong máy học sử dụng mạng nơ ron nhiều lớp để giải quyết các bài toán phức tạp dựa trên phương pháp tích chập và trích chọn các đặc trưng từ các tập dữ liệu lớn và đem lại kết quả chính xác cao trong giải quyết các bài toán TTNT trong thực tế. Cụ thể là nó tập trung giải quyết các vấn đề về mạng nơ ron về thị giác máy tính, xử lý ngôn ngữ tự nhiên, xử lý giọng nói… Hiện nay, cũng có nhiều nghiên cứu về nhận diện hành động con người thông qua video để xác định hành vi của con người.
Tuy 1 nhiên đây là một lĩnh vực tương đối rộng và hiện có nhiều kỹ thuật khác nhau để giải quyết bài toán này Vì vậy phạm vi luận văn này tập trung nghiên cứu lý thuyết và sử dụng các kỹ thuật mạng nơ ron hồi quy RNN-LSTM-GRU kết hợp với sử dụng thư viện Mediapipe Pose vào việc giải quyết bài toán nhận diện hành động con người dựa trên các điểm khung xương và đưa ra các dự đoán về các triệu chứng bất thường. Trên cơ sở đó, tôi thực hiện khóa luận này để nghiên cứu ứng dụng kỹ thuật học sâu vào bài toán nhận diện hành động của con người trong video với đề tài “Nghiên cứu và ứng dụng các thuật toán nhận diện hành động bất thường của bệnh nhân”. Thông qua đề tài này góp phần phát triển hệ thống camera giám sát thông minh với độ chính xác cao và không đòi hỏi nhiều về cấu hình phần cứng. MỤC TIÊU ĐỀ TÀI Sử dụng OpenCV, Python, Keras-Tensorflow, Mediapipe, Train Pipeline để xây dựng mô hình camera giám sát thông minh với độ chính xác cao trong thực tế giúp nâng cao hiệu quả và chất lượng của quá trình giám sát đảm bảo sức khỏe cho các thành viên trong gia đình.
Ứng dụng thuật toán để xử lý và tự động gửi email thông báo, hình ảnh khi camera được kích hoạt và phát hiện các hành động, triệu chứng bất thường của các thành viên trong gia đình. MỤC TIÊU NGHIÊN CỨU Mục tiêu chính của đề tài là nghiên cứu nhận dạng hành động người, tập trung vào các hành động liên quan đến sức khỏe dựa trên phương pháp Train Pipeline kết hợp với thư viện Mediapipe Pose và mạng nơ-ron hồi quy RNN- LSTM-GRU. Thực nghiệm áp dụng phương pháp Train Pipeline kết hợp với thư viện Mediapipe Pose và mạng nơ-ron hồi quy RNN-LSTM-GRU, tạo nên hệ thống nhận dạng hành động con người dựa trên chuyển động khung xương để dự đoán hành động và phục vụ chăm sóc sức khỏe tại nhà. Từ đó phân tích, đánh giá hiệu quả và độ chính xác trên các thư viện có sẵn.
Xây dựng tập dữ liệu và thực nghiệm dự đoán một số hành động, triệu chứng bất thường trong hệ thống camera giám sát thông minh. PHƯƠNG PHÁP NGHIÊN CỨU Phương pháp nghiên cứu tài liệu: Cơ sở lý thuyết về các kỹ thuật nhận diện hành động, các nghiên cứu tương tự về đề tài. 2 Phương pháp thực nghiệm: Xây dựng mô hình camera và cài đặt chương trình chạy thử nghiệm với một số video sẵn có và đánh giá kết quả. Từ đó xây dựng mô hình camera xử lý video thời gian thực.
CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2. MỘT SỐ KHÁI NIỆM 2. Hệ thống thông minh 2. Khái niệm Hệ thống thông minh (Intelligent Systems - IS) là một hệ thống thực thi một mục đích hoạt động xã hội nào đó, nó được xem như một máy tính kết nối với các máy tính khác qua hệ thống mạng internet, có khả năng thu thập và phân tích dữ liệu và giao tiếp các hệ thống khác.
Các tiêu chí của hệ thống thông minh bao gồm khả năng học hỏi từ kinh nghiệm, bảo mật, kết nối, khả năng thích ứng theo dữ liệu hiện tại và khả năng giám sát, quản lý từ xa. Hệ thống camera thông minh Trong ngành công nghệ thông tin, một hệ thống thông minh được định nghĩa là một tập hợp các phần tử (Elements) hoặc các thành phần (Components) tạo nên một hệ thống thực hiện một mục đích chung. Như vậy, ngoài việc nó cấu thành từ các thiết bị thông minh, nó còn bao gồm các hệ thống kết nối các thiết bị lại với nhau: bao gồm mạng và các hệ thống lớn hơn, các hệ thống phần mềm thông minh (AI) như chatbots, hệ thống chăm sóc sức khỏe… và những loại phần mềm khác. Như vậy các hệ thống thông minh có các đặc điểm sau: - Cung cấp cách tiếp cận về mặt phương pháp luận chuẩn để giải quyết các vấn đề quan trọng, phức tạp và nhận được các kết quả nhất quán, đáng tin cậy qua thời gian.
- Có khả năng kết nối, giao tiếp với các hệ thống khác, quản lý từ xa. 3 - Có trí tuệ bao gồm khả năng lĩnh hội, khả năng hiểu, khả năng rút kinh nghiệm, khả năng thu lượm và duy trì tri thức, khả năng đáp ứng nhanh và thành công trong các tình huống mới. - Trí tuệ nhân tạo là cơ sở cốt yếu để xây dựng các hệ thống thông minh. Các hệ thống thông minh hiện nay được ứng dụng rất rộng rãi trong tất cả các lĩnh vực như y tế (hệ thống chẩn đoán bệnh), giáo dục (trường học thông minh), sản xuất Công nghiệp (Công nghệ in 3D), hệ thống xe tự hành, thành phố thông minh… là các hệ thống thông minh phổ biến hiện nay ở các nước phát triển.
Hệ thống hỗ trợ chăm sóc sức khỏe bệnh nhân, người già Cùng với sự phát triển của trí tuệ nhân tạo, hệ thống robot chăm sóc sức khỏe cho người già ra đời và phát triển mạnh ở các nước phát triển như Nhật Bản, rôbôt có thể thay thế con người trong một số nhiệm vụ chăm sóc người già, tuy nhiên nó vẫn mang tính hỗ trợ, giải phóng các lao động đơn giản như y tá, chưa hoàn toàn thay thế con người trong các dịch vụ chăm sóc y tế cho người già. Tổng quan về Deep Learning 2. Deep Learning là gì? Deep Learning là một chủ đề Trí tuệ nhân tạo (AI) và là một phạm trù nhỏ của máy học. Deep Learning tập trung giải quyết các vấn đề liên quan đến mạng nơ-ron nhân tạo nhầm nâng cấp công nghệ như nhận diện giọng nói, thị giác máy tính và xử lý ngôn ngữ tự nhiên.
Deep Learning đang trở thành một trong những lĩnh vực quan trọng trong khoa học máy tính. Chỉ trong vòng vài năm, Deep Learning đã thúc đẩy tiến bộ trong đa dạng lĩnh vực như nhận thức sự vật (object perception), dịch tự động (machine translation), nhận diện giọng nói – đó là những vấn đề từng rất khó khăn với các nhà nghiên cứu trí tuệ nhân tạo. Mạng nơ-ron nhân tạo Trong công nghệ thông tin, mạng nơ-ron nhân tạo là một hệ thống các chương trình và cấu trúc dữ liệu mô phỏng cách vận hành của não người. Một mạng nơ-ron như vậy thưởng bao gồm một lượng lớn các vi xử lý hoạt động song song, mỗi vi xử lý chứa đựng một vùng kiến thức riêng và có thể truy cập vào các dữ liệu trong bộ nhớ riêng của mình.
Trong mạng nơ-ron nhân tạo, các nơ-ron chính là các node (node đơn vị nơ-ron trong mạng nơ-ron nhân tạo – mỗi chiếc máy tính trong mạng nơ-ron có thể được xem như 1 node) được kết nối với nhau trong một mạng lưới lớn. Bản thân từng node này chỉ trả lời được những câu hỏi hết sức cơ bản chứ không hề 4 thông minh, nhưng khi được gộp chung lại với nhau thì chúng lại có sức mạnh xử lý được cả những tác vụ khó. Và điều quan trọng ở đây là bằng những thuật toán phù hợp, chúng ta có thể dạy và huấn luyện được chúng. Một số ứng dụng của Deep Learning - Hệ thống gợi ý trên các nền tảng - Nhận diện ảnh - Nhận diện video - Xử lý ngôn ngữ tự nhiên 2.
Bài toán nhận diện hành động con người trong thị giác máy tính 2. Tổng quan thị giác máy tính Thị giác máy tính (Computer Vision) là một lĩnh vực đã và đang rất phát triển. Khái niệm thị giác máy tính có liên quan tới nhiều ngành học và hướng nghiên cứu khác nhau.