Nghiên Cứu và Cải Tiến Thuật Toán Nhận Dạng Hành Vi Người Già cho ElderRobot

Khóa luận nghiên cứu và cải tiến thuật toán nhận dạng hành vi người già cho robot hỗ trợ, nâng cao chất lượng cuộc sống cho người cao tuổi.

• Tác giả: Danh Đức Khánh Duy
• Người hướng dẫn: TS. Nguyễn Minh Sơn
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Nghiên Cứu và Cải Tiến Thuật Toán Nhận Dạng Hành Vi Người Già cho ElderRobot
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: GIGI THIỆU ĐỀ TÀI HUMANOID ROBOT ĐỒNG HÀNH CÙNG NGƯỜI CAO TUỔI
• 1.1. Giới thiệu đề tài
• 1.2. Robot đồng hành và chăm sóc người cao tuổi
• 1.3. Humanoid robot đồng hành cùng người cao tuổi
• 1.4. Giới hạn và mục tiêu đề tài
• 2. CHƯƠNG 2: MỘT SỐ NGHIÊN CỨU LIÊN QUAN
• 2.1. Một vài mô hình thuật toán đã được phát triển
• 2.2. Xác định hành vi dựa trên đặc trưng đối tượng
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG
• 3.1. Tổng quan về hệ thống
• 3.2. Hệ thống phần cứng và linh kiện sử dụng
• 3.3. Hệ thống phần mềm
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Nghiên Cứu và Cải Tiến Thuật Toán Nhận Dạng Hành Vi Người Già

Nghiên cứu và cải tiến thuật toán nhận dạng hành vi người già cho ElderRobot là một chủ đề quan trọng trong bối cảnh dân số già hóa. Sự phát triển của công nghệ AI trong chăm sóc người già đang mở ra nhiều cơ hội mới. Robot hỗ trợ người già không chỉ giúp theo dõi sức khỏe mà còn cải thiện chất lượng cuộc sống cho họ. Đề tài này sẽ khám phá các thuật toán hiện có và cách chúng có thể được cải tiến để phục vụ tốt hơn cho người cao tuổi.

1.1. Tầm quan trọng của nghiên cứu trong chăm sóc người cao tuổi

Nghiên cứu này nhấn mạnh tầm quan trọng của việc phát triển các công nghệ hỗ trợ cho người cao tuổi. Với sự gia tăng dân số già, nhu cầu về các giải pháp chăm sóc sức khỏe hiệu quả ngày càng cao.

1.2. Mục tiêu của nghiên cứu và cải tiến thuật toán

Mục tiêu chính của nghiên cứu là cải tiến thuật toán nhận dạng hành vi người già, giúp robot có thể theo dõi và hỗ trợ người cao tuổi một cách hiệu quả hơn.

II. Vấn đề và Thách thức trong Nhận Dạng Hành Vi Người Già

Nhận dạng hành vi người già gặp nhiều thách thức do sự đa dạng trong hành vi và tình trạng sức khỏe của từng cá nhân. Các thuật toán hiện tại cần phải được cải tiến để có thể nhận diện chính xác hơn các hành vi như đi, đứng, và ngã. Việc phát hiện sớm các tình huống nguy hiểm là rất quan trọng để đảm bảo an toàn cho người cao tuổi.

2.1. Các thách thức trong việc nhận diện hành vi

Một trong những thách thức lớn nhất là sự thay đổi trong hành vi của người cao tuổi do tình trạng sức khỏe. Điều này đòi hỏi các thuật toán phải có khả năng thích ứng và học hỏi liên tục.

2.2. Tác động của công nghệ đến việc chăm sóc người cao tuổi

Công nghệ AI có thể giúp cải thiện khả năng nhận diện hành vi, nhưng cũng cần phải đảm bảo rằng các giải pháp này dễ sử dụng và thân thiện với người cao tuổi.

III. Phương Pháp Nghiên Cứu và Cải Tiến Thuật Toán Nhận Dạng Hành Vi

Nghiên cứu này sử dụng các phương pháp hiện đại trong lĩnh vực AI để cải tiến thuật toán nhận dạng hành vi. Các mô hình như OpenPose và CNN sẽ được áp dụng để phát hiện và phân tích hành vi của người cao tuổi. Việc tích hợp các công nghệ này vào hệ thống robot sẽ giúp nâng cao hiệu quả chăm sóc.

3.1. Ứng dụng của OpenPose trong nhận dạng hành vi

OpenPose cho phép nhận diện nhiều điểm trên cơ thể người, từ đó giúp robot có thể theo dõi và phân tích hành vi một cách chính xác hơn.

3.2. Tích hợp mạng nơ ron trong dự đoán hành vi

Mạng nơ-ron sẽ được sử dụng để dự đoán hành vi của người cao tuổi dựa trên các đặc trưng đã được trích xuất từ hình ảnh.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy rằng việc cải tiến thuật toán nhận dạng hành vi có thể giúp robot hoạt động hiệu quả hơn trong việc hỗ trợ người cao tuổi. Các thử nghiệm thực tế đã chỉ ra rằng robot có thể nhận diện và theo dõi hành vi của người cao tuổi một cách chính xác, từ đó đưa ra cảnh báo kịp thời khi có tình huống nguy hiểm xảy ra.

4.1. Kết quả thực nghiệm với robot ElderRobot

Robot đã thực hiện thành công việc nhận diện và theo dõi hành vi của người cao tuổi trong môi trường thực tế, cho thấy tính khả thi của nghiên cứu.

4.2. Phản hồi từ người dùng và gia đình

Phản hồi từ người dùng cho thấy rằng robot đã giúp cải thiện cảm giác an toàn cho người cao tuổi và giảm bớt lo lắng cho gia đình họ.

V. Kết Luận và Hướng Phát Triển Tương Lai

Nghiên cứu và cải tiến thuật toán nhận dạng hành vi người già cho ElderRobot mở ra nhiều cơ hội mới trong việc chăm sóc người cao tuổi. Trong tương lai, cần tiếp tục phát triển và hoàn thiện các thuật toán để đáp ứng tốt hơn nhu cầu của người dùng. Việc tích hợp thêm các công nghệ mới sẽ giúp robot trở nên thông minh và hiệu quả hơn trong việc hỗ trợ người cao tuổi.

5.1. Hướng phát triển công nghệ trong chăm sóc người cao tuổi

Cần nghiên cứu thêm về các công nghệ mới như học sâu và học máy để cải thiện khả năng nhận diện hành vi của robot.

5.2. Tương lai của robot hỗ trợ người cao tuổi

Robot sẽ ngày càng trở nên thông minh hơn, có khả năng tương tác tốt hơn với người cao tuổi, từ đó nâng cao chất lượng cuộc sống cho họ.

Trích đoạn nội dung tài liệu

Chương 1. GIGI THIỆU ĐÈ TÀI HUMANOID ROBOT DONG HANH CÙNG NGƯỜI CAO TUÔI. Giới thiệu để tài. Robot đồng hành và chăm sóc người cao tuôi.

Humanoid robot đồng hành cùng người cao tuổi. Giới hạn và mục tiêu để tài,. cá cv HH reo 4 Chương2. | MOT SO NGHIÊN CỨU LIEN QUAN.

Một vai mô hình thuật toán đã được phat triỂn:. An Eight-camera Fall Detection System. Human Fall-down Event Detection. Mô hình thuật toán Human Pose Estimation (KeyPoint Detection).

Mô hình thuật toán OpenPose .---- ch St th. Part Affinity Fields (PAF§). Kết quả của OpenPose trong MPII Multi-Person. Kết quả của OpenPose trong COCO Keypoint Challenge.

Mạng nơ-ron tích chập CNN (Convolution Neural Network). VGG Very Deep Convolutional Networks (VGƠNe)). Caffe — Deep learning framework. ccc sees eeeteteeeeeteeeeeeneneee 26 2.

Xác định hành vi dựa trên đặc trưng đối tượng. Mô hình 2D cơ thể người. Trích xuất đặc trưng đối tượng. Mô hình Neural Network .- ¿5c S+ cty 33 Chương 3.

| THIET KE HE THONG. Tổng quan về hệ thống. Hệ thống phan cứng và linh kiện sử dụng. Tổng quan hệ thống phần cứng kế thừa.

Mô hình thiết kế Humanoid Robot. Bộ bánh xíCh.-- esse - St St E112 111212111 11110121 1H hư43 3. Động co DC giảm tốc Servo JGB37-520. Mạch nguồn giảm áp XL4015.

— Pin Li-ion 7. USB Wifi N150USM. Máy Tinh AI NVIDIA Jetson Nano Developer Kit. Webcam Logitech HD C310.

Hệ thống phần mềm. Tổng quan hệ thống phần mềm. Dự đoán cơ thé người thông qua mô hình thuật toán OpenPose. _ Tính toán đặc trưng cơ thể.

Dự đoán hành vi đối tượng qua mạng nơ-ron. Tối ưu thuật toán. THỤC NGHIEM VA ĐÁNH GIA KET QUẢ. Thực nghiệm mô hình nhận diện cơ thé với OpenPose.

Thực nghiệm mô hình nhận dạng hành vi đối TƯỢNG. Đánh giá kết qua thực nghiệm Chương 5. KÉT LUẬN VÀ HƯỚNG PHÁT TRIẺN. Hướng phát triển trong tương lai.---2¿-222+z++222vverrrrxxererrrreecrr 61 TÀI LIEU THAM KHẢO.

DANH MỤC HÌNH Hình 2-1: Ví dụ về các đặc điểm của đối tượng thay đổi theo thời gian. 5 Hình 2-2: Theo dõi sự thay đôi của đối tượng qua từng frame.----- 2z: 6 Hình 2-3: Bước 1: dựa vào mang CNN trích xuất ra được mô hình 2D. 7 Hình 2-4: Bước 2: dự đoán hành vi đối tượng sau 8 ÍTan€s.--+-«++<<c+ec++ 7 Hình 2-5: Một vài ví dụ cho mô hình 2D cơ thé người .-- 2: 5 2cs+5z+s2 8 Hình 2-6: Ví dụ cho kết quả trả về của mô hình PoseNet.------¿--5¿©5s+¿ 9 Hình 2-7: Ví dụ cho kết quả trả về của OpenPOse.-----2 2+s+cx+£xzzEzrxerxeei 9 Hình 2-8: (a) Đầu vào, (b) Confidence Maps, (c) Affinity Fields.- 11 Hình 2-9: (trái)CM cho vai trái, (phai)PAF cho cặp điểm cổ và vai trái. 11 Hình 2-10: Các PAFs tương ứng từng đối trong .cecceccecsessesssessecsesssesseesessesssesseeseess 12 Hình 2-11: Kiến trúc CMUPose NetWOrk.---- 5: 2-56 SE+2E22EE+EEeEEerEerrkerkerkerex 12 Hình 2-12: Kiến trúc OpenPose Network .-------22 + x+2x++E++Ektrxerkezrxerxerkerex 13 Hình 2-13: Sang lọc PAREs qua các Stage.

- -- -- LH HH ng ưên 13 Hình 2-14: Biểu đồ CM (Sp). 15 Hình 2-15: MPII [DafaS€(.- G5 0190199 TH ng Hi ngư 16 Hình 2-16: Biểu đồ mAP.:--2vc222vt 22v tr tt tri 16 Hình 2-17: Kết qua của cái đội nhóm đầu .- 2-2 5¿©+++++£x++£x+zxzxesrxe 17 Hình 2-18: Thí nghiệm tự so sánh trên bộ xác nhận COCO.-- --<++<< «52 17 Hình 2-19: Mang ma trận RGB 6x6x3 (3 ở đây là giá tri RGB) .-- 18 Hình 2-20: Các lớp trong CÍNN. HH TH HH HH 19 Ig0¡):2200Ìiiuii0 801i: ái 1111077. 20 Hình 2-22: Tính toán và Feature 1nap.- -- c1 3111131111111 E11 EEkrerrvre 20 Hình 2-23: Pooling ÏaW€T.-- ---- < s1 HT TH Hư 21 Hình 2-24: Kiến trúc VGG Neural Network .ccscssssssessesstsssesseestessessessesstessesseeseess 23 Hình 2-25: Fully Connect ÌLaY€TS.-- -- c1 11910119119 11 2 1H ng ng ng 24 Hình 2-26: Kiến trúc của VGnet- Í 6.----+- +: ©5¿22£+2E+Ex+EE++EE+EEtExtrEezrxerxerxeree 25 Hình 2-27: (trai) COCO format, (phải) MPII format.-- 555555 «<< s++ss+ 27 Hình 2-28: Tương quan giữa góc nghiêng và độ cao của đối tượng.- 28 Hình 2-29: Sự khác biệt về chiều rộng và chiều cao giữa các tư thế khác nhau.

29 Hình 2-30: Ví dụ cho dáng “đứng' và “đi” của người cao tuổi .----- 29 Hình 2-31: Ví dụ về dang “ngã” của người cao tuôi .------¿-cs¿©cscsscc+z 29 Hình 2-32: Danh sách vị trí các điểm cơ thé theo COCO model.-------: 30 Hình 2-33: Bao viền Cy (xanh) và Cr c2. 31 Hình 2-34: Ảnh hưởng của vi trí điểm tay chân lên kích thước bao viền Cz. 32 Hình 2-36: Mô tả cách tính khoảng cách giữa thân người so với chan. 32 Hình 2-37: Mô hình một tế bào thần kinh.-------c++c++rrrxxerrrrkerrrrkrrree 33 Hình 2-38: P€rC€DTOII.- ó5 1 131 HH TH Hư 33 Hình 2-39: Biều đồ kết quả của hàm Sigmoid.--2- 5-2 2 2+s+£xezxezxezxzrszsez 34 Hình 2-40: Kiến trúc của mạng ñƠ-TOII.---- 2 + ¿5° E+SE+EE+EE£EE+EE£E£EeEEerkerxersrree 35 Hình 2-41: Tương quan giữa các lớp trong mạng nƠ-TON.- --- -«- -s«<s++s<+s++ 35 Hình 2-42: Cost FUTCLIOH.- - c1 1101113101121 1 9101 1 91011 36 Hình 3-1: Tổng quan hệ thong .----- ¿2 2 E+E£2EE+EE+EEtEEEEEESEEtEEtEEEZEErrkrrkerex 38 Hình 3-2: Hệ thống phần cứng.-------¿- 2 2 2E +E£EE#EEEEEEEEEEEEEEEEEEEEEEErkrrkrrkrree 39 Hình 3-3: VỊ trí các linh kiện trên rODOI.----- << * E333 EEE++eeeeeeeeeeezee 40 Hình 3-4: Thiết kế ban đầu của rob0t .----c:--c5c++ccvtterrxtrrrrtrrrrrtrrrrrkrrrre 4I Hình 3-5: Thiết kế khi thay đôi phần bụng .-----¿--2¿+¿2++2+++£x++zxzzeersz 41 Hình 3-6: Thiết kế thay đổi phần thân đưới.---- 2 2¿+¿+++2+++zx++zxzx+srs+ 42 Hình 3-7: Thiết kế phần than đưới (phần bánh xe).- 2-2-2 +£+z+zx+zxzsz 42 Hình 3-8: Hướng di chuyên của rObOL.---¿- + ¿5£ +E+SE+EE+EE£EE£EZEEEerEerxerkersrree 42 Hình 3-9: Bộ bánh xích — phần chân của robot.----- ¿2+ ++++zx++z++zx+zxzsz 44 Hình 3-10: Module điều khiển động cơ L298N.---¿- 2: ©2+©5z22x2zxvzxesrez 44 Hình 3-11: Động cơ DC Servo JGB32-520.-- ce LH HH HH ngư46 Hình 3-12: Mạch nguồn giảm áp XLL4015.-- 2-22 5¿22+2£++£x++£xzrxerreeree 46 Hình 3-13: Pin Li-ion 7.-- -- sgkrn47 Hinh 3-14: NISOUSM 0001177.

47 Hình 3-15: Jetson Nano. - - - ( (<< << << << 1111111111111 111111 SE E955 11k kkkkkkEk 48 Hình 3-16: Mô hình tổng quan phan mềm.- 2-2 5¿2+22++£+++£x++zxzx+zrs+ 49 Hình 3-17: Mô hình thuật toán nhận diện cơ thé TIBƯỜII. c5 + se50 Hình 3-18: Mô hình mạng nơ-ron don Qian. -- - + vs Eeeeeeeserrersessee 54 Hình 3-19: Đối tượng di chuyển ngang .---2¿ ¿©5222 22E2EEtEEterxsrxrrreeree 54 Hình 4-1: Biểu đồ tỉ lệ nhận diện điểm cơ thể.---¿¿:252cccecrcreerrrrrrkee 56 Hình 4-2: Mô hình mẫu cho 4 hành vi cơ bản.-----2--2- 25++5+2x>xzzxzzzzszse2 57 Hình 4-3: Biểu đồ kết quả huấn luyện .----¿- 2 2¿©5¿2+2++£x++zxezrxrrxesree 58 Hình 4-4: Một vài kết quả thực nghiỆm.-- 2 5 11991112 111 vn rưưn59 DANH MỤC BANG Bang 3-1: Ưu, nhược điểm của bánh xe và bánh xích .---2-- ¿22s s+zxz>sz42 Bang 4-1: Kết quả thực nghiệm trên phần cứng l.-- 2-2 +522s+z+zzxzsz 56 Bang 4-2: Kết quả thực nghiệm trên phần cứng 2.---2- 2-2 2 s2 +++£++£+z£+2 +2 57 Bảng 4-3: Kết quả huấn luyện.- ¿- 2: 552 S22EE2EE£EEESEEE2EEEEEEEEerkrrrkerrrcree 57 Bảng 4-4: Kết quả thực nghiệm dự đoán hành vi .-- 2-2 s25z22s+zx+zxzsz 58 Bảng 5-1: Bảng so sánh kết quả với một vài thuật toán khác.------- 60 DANH MỤC TỪ VIET TAT STT | Kí hiệu chữ viết tắt Chữ viết đầy đủ 1 CNN Convolution Neural Network 2 |RNN Recurrent Neural Network 3 |DNN Deep Neural Network 4 | VGG Visual Geometry Group 5 CMs Confidence Maps 6 | PAFs Affinity Fields 7 FPS Frames per second 8 |IP Internet Protocol 9 SSD Single Shot Detector 10 | ReLU Rectified Linear Unit II | FFN Feed Forward Network 12 | CUDA Nvidia’s Compute Unified Device Architecture 13 | cuDNN CUDA Deep Neural Network 14 | CPU Central Processing Unit 15 | GPU Graphics Processing Unit TÓM TÁT KHÓA LUẬN Những robot cần thiết trong tương lai gần là những robot thân thiện với con người, có thể cùng tồn tại và hỗ trợ con người một cách hiệu quả đặc biệt là người cao tuổi.

Đề có thể chăm sóc họ, robot cần thiết phải thực hiện theo dõi con người dựa vào chuyên động và đánh giá các mối nguy hiểm dựa vào hành vi của đối tượng cần theo dõi. Trong nghiên cứu này, một robot có tác vụ nhận diện hình dáng cơ thể và đưa ra dự đoán cho hành vi (cụ thể là hành vi đi, đứng, ngã) của người cao tuổi. Robot kế thừa các chức năng như nhận diện hình dáng cơ thê đối tượng bằng mô hình thuật toán RetinaFace và MobileFaceNet để theo xác định đâu là đối tượng cần theo dõi, nhận dạng thân hình bằng SSD_MobileNet để tiến hành theo dõi, tích hợp thêm mô hình thuật toán OpenPose đã được qua huấn luyện cho phép nhận các bộ phận cơ thể con người từ đó cho phép dự đoán hành vi đối tượng thông qua mạng Neural, cuối cùng là điều khiển robot di chuyển dé giữ một khoảng cách nhất định từ robot tới đối tượng theo dõi. Đồng thời tiến hành phát video theo dõi lên mạng hỗ trợ người nhà có thé theo dõi người thân.

Robot đến nay đã có thé thực hiện một số tác vụ như xác định người cần theo dõi, nhận dạng thân người, dự đoán hành vi hiện tại và điều khiển theo đõi đối tượng theo khoảng cách cũng như phát video theo dõi ở mạng nội bộ. GIỚI THIỆU DE TÀI HUMANOID ROBOT DONG HANH CUNG NGUOI CAO TUOI 1. Giới thiệu dé tài Tiến bộ công nghệ là một xu hướng phổ biến có ảnh hưởng đáng kẻ đến cuộc sống của con người. Robot là một trong những phát minh công nghệ vĩ đại nhất.

Ứng dụng của người máy đã dẫn đến sự cải thiện đáng kể trong đời sống con người và ngành công nghiệp. Ngày nay, robot là một phần quan trọng trong các lĩnh vực khác nhau bao gồm: sản xuất, dịch vụ y tế và gia dụng, hoạt động quân sự và giải trí. Theo báo cáo Triển vọng dân số thé giới 2019: Dân số thé giới đang gia đi, với nhóm 65 tuổi trở lên tăng nhanh nhất; dự báo đến năm 2050, 1/6 dân số thế giới sẽ trên 65 tuổi (khoảng 16%) và 1/4 dân số sống ở châu Âu và Bắc Mỹ có thể từ 65 tuổi trở lên tức là cứ 4 người sống ở châu Âu và Bắc Mỹ thì có 1 người trên 65 tuổi. Cũng theo báo cáo, năm 2018, lần đầu tiên trong lịch sử nhân loại, những người từ 65 tuổi trở lên có số lượng đông hơn trẻ em dưới 5 tuổi trên thế giới.

Những người cao tuổi từ 80 tuổi trở lên dự kiến có thé tăng gấp gan 3 lần, từ 143 triệu người năm 2019 lên 426 triệu người vào năm 2050. Dân số gia đang gia tăng trên toàn thé giới, điều nay cho thấy nhu cầu sức khỏe của ho là một van dé quan trọng đối với các cơ quan cung cấp dịch vụ y tế, các chính phủ, nhân viên chăm sóc và gia đình của họ. Điều này dẫn đến sự xuất hiện của các robot chăm sóc sức khỏe có vai trò có trong việc hỗ trợ người lớn tuổi hoàn thành các hoạt động thường ngày, giúp theo dõi hành vi, sức khỏe người già và là bạn đồng hành khi họ một mình.