Chương 1. GIGI THIỆU DE TÀI HUMANOID ROBOT DONG HANH CUNG b(69/989. Giới thiệu để tài. Robot đồng hành và chăm sóc người cao tuổi.
Humanoid robot đồng hành cùng người cao tuổi. | MOT SO NGHIÊN CỨU LIÊN QUAN.- <5: tt THỰ HH2 0. Person following TObOL. Sơ lược về các mô hình phát hiện đối tượng theo thời gian thực.
Xác định đối tượng dựa trên đặc điểm khuôn mặt. Fishemfa@e MP ace A WR. Deep learning CNN. Ưu nhược điểm của non-deep learning và deep learning.
Mô hình xác định đối tượng là người với SSD_MobileNet. Mạng nơ-ron nhân ta0. Mô hình mạng nơ-ron tích chập CNN (Convolution Neural Network) 17 2. Mô hình mạng MobileNet, SSD và SSDMobileNet.
Kiến trúc mang MobileNet. Kién tric SSD (Single Shot Multibox Detector). Kiến trúc SSD MobileNet. Phát hiện và nhận diện khuôn mặt với Retinaface và MobileFacenet.
Thuật toán theo dõi KCF — DSSTT. Thuật toán KCF (Kernelized Correlation Filter). Thuật toán DSST (Discriminative Scale Space Tracker). Thuật toán streaming video sử dụng WebRTC.
Ngăn xếp giao thức WebRTC. Khái niệm WeblRTTC. Ưu, nhược điểm của WebRTC.---¿- ccsc2cx+ccExxtrrxerrrkrrrrrrrer 39 2. __ Khái niệm khác.----ccccerrerkerrirrrrrirrrerer 40 Chương3.
THIET KE HE THÓNG. Tổng quan về hệ thong .-----::-:¿+22V2++++2EE+++etEEE++rettrvvrrerrrsrrrrrg 42 3. Hệ thống phần cứng và linh kiện sử dụng. Tổng quan hệ thống phan cứng.
Mô hình thiết kế Humanoid Robot. Bộ bánh xích.-cc sec AT 3. Động co DC Servo JGB37-520 .ceeeeescces se eeseseseseeeeeeseseseseeseseseeeeees 49 3. Mạch nguồn giảm áp XL4015.
Pin Li-ion 7. sàtt kề HH ghưn51 3. USB Wifi N150USM. | Máy Tinh AI NVIDIA Jetson Nano Developer Kít.
Webcam Logitech HD C31. Hệ thống phần mềm. Tổng quan hệ thống phan mêềm. __ Giải thuật streaming video sử dung WebRTC.
Ứng dụng kết hợp RetinFace và MobileFaceNet trong nhận dạng KUO MAE. Mô hình SSD_MobileNet phát hiện người 3. Giải thuật tracking KCF - DSST theo dõi chuyền động vật thé. Giải thuật điều khiển Robot di chuyền theo doi đối tượng.
Tối ưu hóa với NCNN và chạy với GPU. THỰC NGHIEM VÀ ĐÁNH GIA KET QUẢ. Thực nghiệm mô hình phát hiện đối tượng người. Thực nghiệm mô hình nhận dạng khuôn mặt.
Thực nghiệm thuật toán tracking — theo dõi đối TƯỢNE. Thực nghiệm thuật toán streaming video. Streaming video trên mạng nội bộ. __ Streaming video ra ngoài mạng internet.
Thực nghiệm Robot va quá trình đồng hành cùng đối tượng người gia. Thực nghiệm đánh giá mức độ tiêu thụ năng lượng. KÉT LUẬN VÀ HƯỚNG PHÁT TRIÊN. Hướng phát triển trong tương lai.---¿-522+z++22Ex+eerrrrxeererrrrecrrer 88 TAI LIEU THAM KHAO\.sscsscsssssessssssseccsssscscssssscscsssssceessuseecsssisesssiieesssseseessneeeee 90 DANH MỤC HÌNH Hình 2.- ¿+ + 11k ng TT HH TH rệt 5 Hình 2.2: Kiến trúc mô hình Yolo [16].:¿--¿¿©++z222++z+222++++tzvscee+rrx 8 Hình 2.3: Kiến trúc mô hình SSD [8] .4: Phương pháp SVM [ [|] .5: Mô hình của perception [ Ï3].6: Đồ thị hàm số sigmoid [13].7: Kiến trúc cơ bản của mạng nơ-ron [13] n+ Hình 2.8: Mang ma trận RGB 6x6x3 (3 ở đây là giá trị RGB) [12] 7 Hình 2.9: Các lớp trong CNN [12].10: Input va filter map [12] .----- - - ¿5+ ‡£2E‡EEk+kEkeEeEkrkekerrkrkrkrkekee 9 Hình 2.11: Tính toán và feature map [ L2].----- - ¿+5 ++s£s£e>xz++zexererezxsrsr 9 Hình 2.- ---¿-¿-¿- + +2 StS*E£E#E2kEk+kEEEEEESEEkEkrkrkrrrrkrkrkek 20 Hình 2.13: Tính toán cho Convolution [ 144].
----- ¿+ +sss+sssx+e£eeexszexeezeseexssz 22 Hình 2.14: Các bước thực hiện Depthwise Convolution [14]. -- - s:sccs++stsxseexexeereveerserererrererrree 24 Hình 2.17: Kiến trúc CNN với bộ đò SSD [§].---¿¿- 2cz+222vsc+ccvsccesrr 26 Hình 2.18: Ví dụ về ô lưới SSD [8] .-----2cccc22222vvvvrrrrrrrrrrrrerrrrrrrrrrrree 27 Hình 2.19: Kiến trúc mạng SSDmobileNet [ [].20: Mô hình RetinaFace [4] .21: Kiến trúc của Retinaface [4],.22: Sơ đồ nguyên lý thuật toán KCF [7] Hình 2.23: So đồ thuật toán theo dõi DSST với tỷ lệ thay đổi [7.24: WebRTC protocol stack [ 1©],.1: Tổng quan về hệ thống.-----22+++2222EEE+2vrrrttEEEEkrrrrrrrrrrrrrrev 42 Hình 3.2: Hệ thống phần cứng.----2--©22++22E+++tEEE+++ttEEEEvretrrrvrrrrrrrrrrrrr 43 Hình 3.3: Vi trí các linh kiện trên rObotL.- ¿52+ s+*+vx+e+vx+evexerxetrrsrrrerrsser 44 Hình 3.4: Thiết kế ban đầu của robot [ 1 5].-¿-s- + + x+s+EeEk+E+EeEE+x+EeEezksxerezezxee 45 Hình 3.5: Thiết kế khi thay đổi phần bụng .---¿--2¿5¿©2++2x+2cx+rxrrxecree 45 Hình 3.6: Thiết kế thay đổi phan thân dưới .-- 2-2 2 2 2+E£+Ee£E+£x+rxzrszxez 46 Hình 3.7: Thiết kế phan thân dưới (phần bánh xe),.8: Hướng di chuyển của rObOI.--- 2-2: 52 2+E+EE+£E£2EE+EEtEEerEerEkerkerxerex 46 Hình 3.9: Bộ bánh xích — phần chân của Robot.----- 2 2 2+s2+x+x+zx+zs+zsse2 48 Hình 3.10: Module điều khiển động cơ L298N.---2222 ++2xccx++zzzxerxcrez 49 Hình 3.11: Động co DC Servo JGB37-520 .- -- 1 1S SH Hy 50 Hình 3.12: Mạch nguồn giảm áp XLAOI5 .13: Pin Li-IOn 7.-- c1 HH TH TH TH HH TH HH, 51 Hình 3.14: NISOUSM ue eeesessesseesecsecsecsecsececseceseesesseesessessessessessesseesaseessaseneeaeeas 52 Hình 3. G0 1 01 2301991191 930v gu nh HH như 53 Hình 3.16: Lưu đồ hệ thống phần mềm.17: Giải thuật streaming video sử dụng WebR”TC.18: Lưu đồ xác minh khuôn mặt .----- 2 2 22+ £++z++zE£+£++rxerxzzsz 59 Hình 3.19: Sơ đồ thuật toán tìm đối tượng ngườii.--- 2 2 s+x+zse+ze+rxerxcrez 60 Hình 3.20: Lưu đồ theo dõi đối tượng .-----¿- 2 + E+2E£+EE+EEtEEerEerrksrkerrrex 61 Hình 3.21: Sơ đồ của Pinhole camera model [17].------==szszszszszszszx+z+zszsssz 62 Hình 3.22: Lưu đồ điều khiển Robot theo dõi mục tiêu .1: Mô ta cách thực nghiệm mô hình phát hiện người .2: Mô tả cách thực nghiệm mô hình nhận dạng khuôn mặt.3: Tập dữ liệu thực nghiệm cho trường hợp 1,2,3 .4: So sánh khả năng nhận diện khoảng cach 2.5: Thực nghiệm mô hình với tình trạng thiếu sáng.6: Kết quả thực nghiệm nhận dạng khuôn mặt góc trên 45 độ .7: Tập dữ liệu thực nghiệm cho trường hop 4 .8: Thực nghiệm tracking đối tượng trong VideO .9: Thực nghiệm tracking object ngoài thực tẾ .-------¿-z+s+cs+zxzsz 72 Hình 4.10: Thực nghiệm tracking người cao tuổi .11: Thực nghiệm tracking con người di chuyền thực tế .12: Thực nghiệm đo độ trễ streaming video với 1 client trên mạng nội bộ.13: Kịch bản trên lý thuyết của kịch bản l.14: Kết quả thực nghiệm của kịch bản l.¿- ¿5c ©5++cs+2cxzssee: 80 Hình 4.15: Kịch bản 2 trên lý thuyẾT.16: Két quả thực nghiệm của kịch ban 2. ec eeccesseceseeeeneeeeneeeseeseaeeeeaeeees 82 Hình 4.17: Kịch ban 3 trên lý thuyẾt.18: Kết quả thực nghiệm kịch bản 3.
5 <6 1+ EskEseessessrse 84 DANH MỤC BANG Bang 2.1: Các kỹ thuật theo dõi con người [2] .- -¿- sec ssssssssersersrrse 6 Bảng 2.2: So sánh các mô hình xử lý thời gian thực [6].3: So sánh tỉ lệ nhận dạng và phức tạp của học sâu với không học sâu [10]13 Bảng 2.4: Kiến trúc các lớp của MobileNet [ 14].5: So sánh Conv MobileNet và MobileNet [14].6: Lớp và tham số của kiến trúc SSD mobileNet [1].7: Bảng so sánh hiệu năng MobileFaceNets [3] .8: So sánh hiệu suất của các ứng dụng xác minh khuôn mặt trên LFW [3].9: Kiến trúc mạng dé trích xuất đặc trưng nhúng [3] .10: So sánh hiệu suất giữa MTCNN va RetinFace trong Arcface [4].11: So sánh KCF với một số thuật toán khác [ 5].-- --s- - s+secx+x+zxez 36 Bang 3.1: Ưu, nhược điểm của bánh xe và bánh xích .--¿- c s+x+x+zetezx+xers 46 Bảng 4.1: Kết quả thực nghiệm phát hiện người bất động theo tư thế đứng — ngồi .2: Kết quả thực nghiệm từ webeam Logitech HD C310 HD 720p .3: Kết quả thực nghiệm từ camera điện thoại độ phân giải FHD 1080p.4: Thực nghiệm với nhiều khuôn mặt cùng xuất hiện trong khung hình .5: So sánh giữa các kịch bản.- --- c5 + xxx ng HH ng rưệt 74 Bảng 4.6: Kết quả đo độ trễ khi streaming video với 2 client trên mạng nội bộ.7: Kết quả đo độ trễ khi streaming video với 4 client trên mạng nội bộ.8: Kết quả đo độ trễ trên khác trình duyệt khác nhau trên mạng nội bộ .9: Kết quả đo độ trễ khi streaming video với 2 client ngoài mạng internet .10: Kết quả đo độ trễ khi streaming video với 4 client ngoài mạng internet Bảng 4.11: Kết quả đo độ trễ trên khác trình duyệt khác nhau ngoài mạng internet78 Bảng 4.12: So sánh kết quả các kịch bản thực nghiệm Robot theo dõi đối tượng .13: Mức độ tiêu thụ điện điện năng của các thiết bị trong Robot.1: So sánh robot của chúng tôi với một số robot khác .2: So sánh Robot của chúng tôi với một số Robot đồng hành khác. 87 DANH MỤC TU VIET TAT STT | Kí hiệu chữ viết tắt Chữ viết đầy đủ 1 | API Application Programming Interface 2 | CNN Convolution Neural Network 3 | DSST Discriminative Scale Space Tracker 4 |ICE Interactive Communication Establishment 5 | IP Internet Protocol 6 | KCF Kernelized Correlation Filters 7 | LFW Labeled Faces in the Wild 8 | NAT Network Address Translation 9 | P2P Peer to Peer 10 | RTCPeerConnection | Real Time Control Peer Connection 11 |SDP Session Description Protocol 12 |SSD Single Shot Detector 13 | STUN Simple Traversal of User Datagram Protocol [UDP] Through Network Address Translators [NATs] 14 |SVM Support Vector Machine 15 | TURN Traversal Using NAT Relay 16 | WebRTC Web Real-Time Communication TÓM TÁT KHÓA LUẬN Những robot cần thiết trong tương lai gần là những robot thân thiện với con người, có thể cùng tồn tại và hỗ trợ con người một cách hiệu quả đặc biệt là người cao tuổi. Đề có thể chăm sóc họ, robot cần thiết phải thực hiện theo dõi con người dựa vào chuyên động của người đó cũng như phải xác định đâu là người mà robot cần theo dõi. Trong nghiên cứu này, một robot có tác vụ nhận diện và theo dõi một đối tượng được xem là người cao tuổi được tạo ra.
Robot thực hiện các chức năng như nhận dạng khuôn mặt đối tượng bằng RetinaFace và MobileFaceNet để theo xác định đâu là đối tượng cần theo dõi, nhận dạng thân hình bằng SSD_MobileNet dé tiến hành theo dõi, điều này giúp có thé theo dõi đối tượng trong những trường hợp không thể xác định khuôn mặt, theo dõi đối tượng bằng thuật toán KCF (Kernelized Correlation Filters) - DSST (Discriminative Scale Space Tracker) tracker, cuối cùng là điều khién robot di chuyên dé giữ một khoảng cách nhất định từ robot tới đối tượng theo đõi. Đồng thời tiến hành phát video theo doi lên mạng hỗ trợ người nhà có thé theo dõi người thân. Robot đến nay đã có thé thực hiện một số tác vụ như xác định người cần theo dõi, nhận dạng thân người và điều khiển theo doi đối tượng theo khoảng cách cũng như phát video theo doi ở mạng nội bộ. GIỚI THIỆU DE TÀI HUMANOID ROBOT DONG HANH CUNG NGUOI CAO TUOI 1.
Giới thiệu đề tai Tiến bộ công nghệ là một xu hướng phổ biến có ảnh hưởng đáng kẻ đến cuộc sống của con người. Robot là một trong những phát minh công nghệ vĩ đại nhất. Ứng dụng của người máy đã dẫn đến sự cải thiện đáng ké trong đời sống con người và ngành công nghiệp. Ngày nay, robot là một phần quan trọng trong các lĩnh vực khác nhau bao gồm: sản xuất, dịch vụ y tế và gia dụng, hoạt động quân sự và giải trí.