Thiết Kế và Tích Hợp Thuật Toán Theo Dõi Người Cao Tuổi

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp kỹ thuật máy tính thiết kế và tích hợp thuật toán theo dõi để đồng hành cùng người cao, điều tra thực trạng, phân tích số liệu,

• Tác giả: Pham Dang Minh Huy
• Người hướng dẫn: TS. Doan Duy
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành kỹ thuật máy tính
• Đề tài: Thiết Kế và Tích Hợp Thuật Toán Theo Dõi Người Cao Tuổi
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI HUMANOID ROBOT ĐỒNG HÀNH CÙNG NGƯỜI CAO TUỔI
• 1.1. Giới thiệu đề tài
• 1.2. Robot đồng hành và chăm sóc người cao tuổi
• 1.3. Humanoid robot đồng hành cùng người cao tuổi
• 1.4. Bài toán cần giải quyết
• 1.5. Giới hạn đề tài
• 1.6. Mục tiêu đề tài
• 2. MỘT SỐ NGHIÊN CỨU LIÊN QUAN
• 2.1. OpenBot
• 2.2. Person following robot
• 2.3. Bảng 2.1: Các kỹ thuật theo dõi con người
• 2.4. Ưu, nhược điểm của các kỹ thuật trong Bảng 2.1
• 3. THIẾT KẾ HỆ THỐNG
• 3.1. Tổng quan về hệ thống
• 3.2. Hệ thống phần cứng và linh kiện sử dụng
• 3.2.1. Tổng quan hệ thống phần cứng
• 3.2.2. Mô hình thiết kế Humanoid Robot
• 3.2.3. Bộ bánh xích
• 3.2.4. Động cơ DC Servo JGB37-520
• 3.2.5. Mạch nguồn giảm áp XL4015
• 3.2.6. Pin Li-ion
• 3.2.7. USB Wifi N150USM
• 3.2.8. Máy tính AI NVIDIA Jetson Nano Developer Kit
• 3.2.9. Webcam Logitech HD C31
• 3.3. Hệ thống phần mềm
• 3.3.1. Tổng quan hệ thống phần mềm
• 3.3.2. Giải thuật streaming video sử dụng WebRTC
• 3.3.3. Ứng dụng kết hợp RetinaFace và MobileFaceNet trong nhận dạng khuôn mặt
• 3.3.4. Mô hình SSD_MobileNet phát hiện người
• 3.3.5. Giải thuật tracking KCF - DSST theo dõi chuyển động vật thể
• 3.3.6. Giải thuật điều khiển Robot di chuyển theo dõi đối tượng
• 3.3.7. Tối ưu hóa với NCNN và chạy với GPU
• 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Thực nghiệm mô hình phát hiện đối tượng người
• 4.2. Thực nghiệm mô hình nhận dạng khuôn mặt
• 4.3. Thực nghiệm thuật toán tracking — theo dõi đối tượng
• 4.4. Thực nghiệm thuật toán streaming video
• 4.4.1. Streaming video trên mạng nội bộ
• 4.4.2. Streaming video ra ngoài mạng internet
• 4.5. Thực nghiệm Robot và quá trình đồng hành cùng đối tượng người già
• 4.6. Thực nghiệm đánh giá mức độ tiêu thụ năng lượng
• 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Giới thiệu về thiết kế và tích hợp thuật toán theo dõi người cao tuổi

Thiết kế và tích hợp thuật toán theo dõi người cao tuổi là một lĩnh vực đang thu hút sự quan tâm lớn trong nghiên cứu công nghệ. Với sự gia tăng dân số già, nhu cầu về các giải pháp công nghệ hỗ trợ người cao tuổi ngày càng trở nên cấp thiết. Các robot đồng hành có thể giúp theo dõi sức khỏe và hành vi của người cao tuổi, từ đó cải thiện chất lượng cuộc sống cho họ.

1.1. Tại sao cần thiết kế robot theo dõi người cao tuổi

Dân số già đang gia tăng nhanh chóng, với dự báo đến năm 2050, 1/6 dân số thế giới sẽ trên 65 tuổi. Điều này tạo ra áp lực lớn lên hệ thống chăm sóc sức khỏe và gia đình. Robot theo dõi có thể giúp giảm bớt gánh nặng này.

1.2. Các công nghệ hiện có trong theo dõi người cao tuổi

Nhiều công nghệ hiện đại như cảm biến, camera và trí tuệ nhân tạo đang được áp dụng để phát triển các giải pháp theo dõi người cao tuổi. Những công nghệ này giúp nhận diện và theo dõi hành vi của người cao tuổi một cách hiệu quả.

II. Vấn đề và thách thức trong thiết kế robot theo dõi người cao tuổi

Mặc dù có nhiều lợi ích, việc thiết kế robot theo dõi người cao tuổi cũng gặp phải nhiều thách thức. Các vấn đề như độ chính xác trong nhận diện, khả năng di chuyển và tương tác với người dùng là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Độ chính xác trong nhận diện đối tượng

Một trong những thách thức lớn nhất là đảm bảo robot có thể nhận diện chính xác người cao tuổi trong các tình huống khác nhau. Việc sử dụng các thuật toán như SSD_MobileNet có thể giúp cải thiện độ chính xác này.

2.2. Khả năng di chuyển và tương tác

Robot cần có khả năng di chuyển linh hoạt và tương tác với người cao tuổi một cách tự nhiên. Điều này đòi hỏi thiết kế cơ khí và phần mềm phải được tối ưu hóa để đáp ứng nhu cầu của người dùng.

III. Phương pháp thiết kế robot theo dõi người cao tuổi hiệu quả

Để thiết kế một robot theo dõi người cao tuổi hiệu quả, cần áp dụng các phương pháp và công nghệ tiên tiến. Việc tích hợp các thuật toán theo dõi và nhận diện là rất quan trọng để đảm bảo robot hoạt động hiệu quả.

3.1. Sử dụng thuật toán KCF và DSST

Thuật toán KCF (Kernelized Correlation Filter) và DSST (Discriminative Scale Space Tracker) là những công nghệ tiên tiến giúp theo dõi đối tượng một cách chính xác. Chúng cho phép robot theo dõi người cao tuổi ngay cả khi họ di chuyển.

3.2. Tích hợp công nghệ IoT vào robot

Việc tích hợp công nghệ IoT (Internet of Things) vào robot giúp cải thiện khả năng giám sát và theo dõi từ xa. Người thân có thể theo dõi tình trạng sức khỏe của người cao tuổi thông qua các ứng dụng di động.

IV. Ứng dụng thực tiễn của robot theo dõi người cao tuổi

Robot theo dõi người cao tuổi không chỉ là một ý tưởng mà đã được triển khai trong thực tế. Nhiều nghiên cứu đã chỉ ra rằng các robot này có thể cải thiện chất lượng cuộc sống cho người cao tuổi và giảm bớt gánh nặng cho gia đình.

4.1. Kết quả nghiên cứu về hiệu quả của robot

Nghiên cứu cho thấy rằng robot có thể giúp người cao tuổi duy trì sự độc lập và an toàn hơn. Các thử nghiệm thực tế đã chứng minh rằng robot có thể theo dõi và hỗ trợ người cao tuổi trong các hoạt động hàng ngày.

4.2. Các dự án robot thành công trên thế giới

Nhiều dự án robot thành công đã được triển khai trên toàn cầu, như robot Ri-man và Buddy The Emotion Robot. Những robot này đã chứng minh được khả năng hỗ trợ người cao tuổi trong cuộc sống hàng ngày.

V. Kết luận và tương lai của robot theo dõi người cao tuổi

Tương lai của robot theo dõi người cao tuổi rất hứa hẹn. Với sự phát triển không ngừng của công nghệ, các robot này sẽ ngày càng trở nên thông minh và hiệu quả hơn trong việc hỗ trợ người cao tuổi.

5.1. Xu hướng phát triển công nghệ robot

Công nghệ robot đang phát triển nhanh chóng, với nhiều cải tiến trong lĩnh vực trí tuệ nhân tạo và cảm biến. Điều này sẽ giúp robot theo dõi người cao tuổi trở nên thông minh hơn và dễ dàng tương tác với người dùng.

5.2. Tầm quan trọng của nghiên cứu và phát triển

Nghiên cứu và phát triển trong lĩnh vực robot theo dõi người cao tuổi là rất quan trọng. Các nhà nghiên cứu cần tiếp tục tìm kiếm các giải pháp mới để cải thiện hiệu quả và độ tin cậy của robot.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp tập trung vào việc nghiên cứu, thiết kế và chế tạo một mô hình robot hình người (Humanoid Robot) có khả năng tự hành theo dõi và đồng hành cùng người cao tuổi. Bối cảnh thực tiễn được các tác giả trích dẫn từ "Báo cáo Triển vọng Dân số Thế giới 2019" của Liên Hợp Quốc, chỉ ra tốc độ già hóa dân số toàn cầu đang gia tăng mạnh mẽ. Nhóm đối tượng từ 65 tuổi trở lên có tốc độ tăng trưởng nhanh nhất; dự báo đến năm 2050, khoảng 16% dân số thế giới (cứ 6 người thì có 1 người) và 25% dân số tại châu Âu cùng Bắc Mỹ sẽ thuộc nhóm này. Đặc biệt, số lượng người từ 80 tuổi trở lên được ước tính tăng gần gấp 3 lần, từ 143 triệu người (năm 2019) lên 426 triệu người vào năm 2050. Báo cáo của Tổ chức Y tế Thế giới (WHO, 2016) cũng cảnh báo tình trạng thiếu hụt trầm trọng lực lượng lao động chăm sóc người già trong tương lai gần, làm gia tăng gánh nặng kinh tế và xã hội. Việc ứng dụng robot hỗ trợ sinh hoạt, theo dõi hành vi và chăm sóc người cao tuổi trở thành một nhu cầu cấp thiết.

Để hiện thực hóa mục tiêu đồng hành cùng người cao tuổi trong môi trường sống thực tế, tác giả xác định 5 nhiệm vụ và câu hỏi nghiên cứu cụ thể:

1. Làm thế nào để xác định chính xác đối tượng cụ thể cần theo dõi trong môi trường có nhiều người.
2. Sau khi xác định được đối tượng, phương thức duy trì bám bắt đối tượng ra sao khi đối tượng di chuyển và điều kiện môi trường thay đổi.
3. Thuật toán xử lý và cơ chế truyền động điều khiển robot di chuyển đồng hành cùng đối tượng như thế nào.
4. Cơ chế xử lý của hệ thống khi rơi vào trạng thái mất dấu đối tượng (mất mục tiêu trong khung hình).
5. Phát hiện các trạng thái bất thường và tích hợp công nghệ IoT (Internet of Things) để truyền phát thông tin quan sát cho người thân.

Phạm vi và giới hạn nghiên cứu được thiết lập cụ thể:

• Phạm vi không gian: Thực nghiệm nhận diện, theo dõi và điều khiển robot di chuyển được thực hiện trong không gian phòng kín có diện tích $30\text{ m}^2$, môi trường mặt sàn phẳng và không có vật cản tĩnh phức tạp.
• Điều kiện thị giác: Hệ thống đòi hỏi camera của robot phải ghi nhận được từ 3/4 diện tích khuôn mặt của đối tượng trở lên để tiến hành xác minh danh tính ban đầu trước khi kích hoạt thuật toán đồng hành.

Cơ sở lý thuyết và phương pháp nghiên cứu

Nghiên cứu áp dụng phương pháp thiết kế kỹ thuật kết hợp thực nghiệm so sánh, kế thừa các công trình nghiên cứu đi trước về robot bám theo người (person following robot) và thị giác máy tính:

Công trình / Kỹ thuật	Cảm biến sử dụng	Đặc trưng trích xuất bám bắt	Ưu điểm	Nhược điểm được tác giả chỉ ra
OpenBot	Camera điện thoại thông minh, cảm biến khoảng cách	Mô hình mạng SSD_MobileNet phát hiện thân người	Chi phí thấp (~$50$), chạy trên Android	Tốc độ thấp (~10 FPS), dùng cảm biến đo khoảng cách, không định danh được người cụ thể
Nhóm kỹ thuật 1 (Bảng 2.1)	Laser range finder	Vùng chân người (Leg detection), suy luận mờ (Fuzzy inference)	Độ chính xác cao, điều chỉnh tốc độ tốt	Chỉ hoạt động khi có 1 đối tượng duy nhất, mất tác dụng khi có từ 2 người
Nhóm kỹ thuật 2 & 3 (Bảng 2.1)	Stereo camera kép / Stereo camera kết hợp EKF tracker	Chênh lệch điểm ảnh, thân trên (SVM verifier, Lucas Kanade)	Theo dõi được cấu trúc 3D không gian	Xử lý phức tạp, không phân biệt được danh tính cá nhân khi xuất hiện nhiều người
Nhóm kỹ thuật 4 (Bảng 2.1)	Stereo camera + SIFT + Laser range finder	Thân trên, thông tin màu sắc và đặc trưng SIFT trang phục	Phân biệt được 2 người nếu mặc trang phục khác nhau	Chi phí linh kiện cao, nhầm lẫn khi người mặc đồ giống nhau
Nhóm kỹ thuật 5 (Bảng 2.1)	Cảm biến Kinect High-Speed	Khung xương người (Human skeleton method)	Bám bắt chuyển động cơ thể chi tiết	Người cần theo dõi bắt buộc phải thực hiện thao tác giơ tay, không thực tế

Để giải quyết đồng thời bài toán định danh cá nhân và bám bắt liên tục, các tác giả kết hợp chuỗi mô hình học sâu và thị giác máy tính:

• Phát hiện đối tượng thời gian thực: So sánh giữa các kiến trúc YOLO, Faster R-CNN và SSD. Dựa trên nghiên cứu của Jonathan Huang và cộng sự, tác giả lựa chọn SSD_MobileNet nhờ khả năng cân bằng giữa độ chính xác và tốc độ xử lý trên thiết bị nhúng (mô hình sử dụng phép tích chập tách biệt theo chiều sâu - Depthwise Separable Convolution, chia tích chập truyền thống thành Depthwise Convolution và Pointwise Convolution $1 \times 1$, giúp giảm khối lượng tính toán khoảng 8 lần với hệ số 0,127 khi dùng 64 bộ lọc kích thước $3 \times 3$, trong khi độ chính xác trên ImageNet chỉ giảm $1%$ so với mạng tích chập thông thường).
• Nhận diện khuôn mặt: Thay thế các phương pháp truyền thống (Eigenface dùng PCA, Fisherface dùng LDA, SVM) bằng mạng nơ-ron học sâu tích chập. Hệ thống tích hợp RetinaFace (sử dụng Feature Pyramid từ P2 đến P6, Context Module và mạng ResNet-152 trích xuất đặc trưng) để phát hiện khuôn mặt cùng 5 điểm mốc (landmarks), kết hợp với MobileFaceNet (kích thước nén 4MB, đầu vào ảnh $112 \times 112$ pixel, trích xuất vector đặc trưng nhúng 128 chiều - 128D embedding vector, đạt độ chính xác 99,55% trên tập dữ liệu LFW) để so khớp danh tính.
• Thuật toán theo dõi chuyển động (Visual Tracking): Kết hợp bộ lọc tương quan nhân KCF (Kernelized Correlation Filters) và bộ lọc ước lượng tỉ lệ thích nghi DSST (Discriminative Scale Space Tracker). KCF khai thác tính chất ma trận tuần hoàn để chuyển bài toán hồi quy sườn (ridge regression) từ miền thời gian sang tính toán tương quan chéo trong miền tần số thông qua biến đổi nhanh Fourier (FFT), kết hợp đặc trưng HOG đa kênh. Nhược điểm khung bám cố định của KCF được khắc phục bằng bộ lọc tỉ lệ độc lập 1 chiều của DSST thông qua mô hình tháp tỉ lệ (scale pyramid).
• Giao thức truyền phát video thời gian thực: WebRTC (Web Real-Time Communication) với kiến trúc mạng ngang hàng (P2P), cho phép truyền tải luồng video trực tiếp từ robot đến trình duyệt web mà không cần cài đặt plugin trung gian. Ngăn xếp giao thức bao gồm RTCPeerConnection, SDP (Session Description Protocol) qua kênh báo hiệu WebSocket, chuẩn bảo mật DTLS, SRTP để truyền tải dữ liệu đa phương tiện qua giao vận UDP, kết hợp cơ chế vượt tường lửa NAT thông qua ICE, STUN và TURN server.

Thiết kế và triển khai hệ thống

Kiến trúc phần cứng và cơ khí

Robot được thiết kế theo cấu trúc phần cứng phân tầng, phân bố trọng tâm thấp nhằm duy trì độ ổn định khi di chuyển:

• Cơ cấu di chuyển: Sử dụng bộ khung bánh xích thay vì bánh xe thông thường để gia tăng diện tích tiếp xúc mặt sàn, hạn chế trơn trượt và giúp robot chuyển hướng linh hoạt tại chỗ.
• Cơ cấu chấp hành và điều khiển: Sử dụng 2 động cơ DC Servo JGB37-520 có gắn hộp số giảm tốc và encoder, kết hợp với module mạch điều khiển động cơ cầu H L298N để điều tiết tốc độ và đảo chiều động cơ thông qua xung PWM.
• Hệ thống xử lý trung tâm: Máy tính nhúng AI NVIDIA Jetson Nano Developer Kit đóng vai trò xử lý toàn bộ các mô hình học sâu, thuật toán thị giác máy tính và giao tiếp ngoại vi.
• Hệ thống cảm biến và truyền thông: Webcam Logitech HD C310 (độ phân giải HD 720p) gắn tại phần đầu robot đóng vai trò thu nhận hình ảnh; USB Wifi Comfast N150USM đảm bảo kết nối mạng không dây.
• Nguồn cấp: Bộ pin Li-ion kết hợp mạch nguồn giảm áp XL4015 (chuyển đổi điện áp DC-DC) cấp nguồn độc lập, ổn định cho vi xử lý Jetson Nano và khối động cơ công suất.

Kiến trúc phần mềm và luồng điều khiển

Quy trình xử lý phần mềm trên Jetson Nano được tổ chức khép kín:

1. Thu nhận và tiền xử lý khung hình: Webcam liên tục gửi luồng ảnh về bộ nhớ đệm.
2. Định danh mục tiêu: RetinaFace quét khung hình để tìm khuôn mặt; khi phát hiện khuôn mặt chiếm trên 3/4 diện tích, ảnh khuôn mặt được căn chỉnh và đưa qua MobileFaceNet để trích xuất vector 128 chiều, so sánh khoảng cách Euclid với vector mẫu của người cao tuổi đã lưu trước.
3. Chuyển đổi theo dõi thân người: Sau khi xác nhận đúng danh tính, mô hình SSD_MobileNet sẽ quét toàn bộ cơ thể của đối tượng để lấy hộp giới hạn (bounding box). Việc chuyển từ nhận diện khuôn mặt sang phát hiện thân người cho phép robot tiếp tục bám bắt ngay cả khi đối tượng quay lưng, cúi đầu hoặc che khuất mặt.
4. Theo dõi thời gian thực bằng KCF-DSST: Bounding box thân người được nạp vào thuật toán KCF-DSST để thực hiện bám bắt liên tục với tần số khung hình cao, tự động cập nhật tỉ lệ khung bám theo khoảng cách xa gần.
5. Ước lượng khoảng cách và điều khiển chuyển động: Tọa độ tâm và chiều cao bounding box được đưa vào mô hình camera lỗ kim (Pinhole camera model) để tính toán độ lệch góc và khoảng cách tương đối từ robot đến đối tượng. Hệ thống sinh tín hiệu điều khiển động cơ (tiến, lùi, quay trái, quay phải) nhằm giữ khoảng cách cố định an toàn với người cao tuổi.
6. Tối ưu hóa phần mềm: Toàn bộ các mô hình học sâu (SSD_MobileNet, MobileFaceNet, RetinaFace) được chuyển đổi và tối ưu hóa suy luận thông qua framework NCNN, tận dụng khả năng tính toán song song trên GPU của Jetson Nano.
7. Truyền luồng video qua WebRTC: Song song với luồng điều khiển, hình ảnh kèm bounding box được nén và đẩy lên luồng WebRTC để người nhà quan sát từ xa qua trình duyệt.

Nội dung chính theo từng chương

Chương 1. Giới thiệu đề tài Humanoid Robot đồng hành cùng người cao tuổi

Chương mở đầu phân tích sự chuyển dịch nhân khẩu học toàn cầu theo số liệu của Liên Hợp Quốc và WHO. Tác giả khảo sát các dòng robot thương mại và nghiên cứu điển hình hỗ trợ người cao tuổi như Ri-man (Nhật Bản, hỗ trợ nâng đỡ bệnh nhân, nghe nhịp thở) và Buddy (Blue Frog Robotics, hỗ trợ giám sát, nhắc nhở lịch trình, tương tác xã hội). Tác giả xác định bài toán kỹ thuật trọng tâm: thiết kế một robot hình người tự hành cỡ nhỏ, trang bị camera đơn và máy tính nhúng, tích hợp thị giác máy tính để tự động nhận dạng, theo dõi liên tục và duy trì khoảng cách đồng hành với một người cụ thể trong gia đình, đồng thời hỗ trợ người thân giám sát qua mạng. Giới hạn thực nghiệm của đề tài được chốt ở không gian phòng $30\text{ m}^2$ không vật cản và khuôn mặt đối tượng phải lộ diện tối thiểu 3/4 diện tích ban đầu.

Chương 2. Một số nghiên cứu liên quan

Tác giả hệ thống hóa các nghiên cứu bám theo người hiện nay (OpenBot và 5 nhóm giải pháp phần cứng bám theo người). Tiếp đó, chương đi sâu phân tích cơ sở toán học và kiến trúc của các khối thuật toán:

• Mạng nơ-ron nhân tạo, hàm kích hoạt (Sigmoid, ReLU), thuật toán lan truyền tiến (feedforward) và lan truyền ngược (backpropagation).
• Mạng nơ-ron tích chập (CNN), vai trò của các lớp Convolution, Pooling (Max pooling, Average pooling), Fully Connected, cơ chế bất biến tịnh tiến và trường tiếp nhận cục bộ (local receptive field).
• Kiến trúc MobileNet với tích chập tách biệt chiều sâu (Depthwise Separable Convolution), mạng SSD (Single Shot MultiBox Detector) với cơ chế phân chia ô lưới (Grid Cell) và hộp neo (Anchor Box). Bảng số liệu tham chiếu chỉ ra SSD_MobileNet đạt mAP 19,6 trên tập kiểm thử Minival/Test-dev, vượt trội về tốc độ xử lý thời gian thực so với Faster R-CNN (32 mAP nhưng tốc độ chỉ 1 FPS).
• Kỹ thuật xác minh khuôn mặt truyền thống (Eigenface, Fisherface, SVM) so sánh với mô hình học sâu. Mạng MobileFaceNet đạt 99,55% trên LFW với dung lượng 4MB; RetinaFace tích hợp 5 điểm mốc giúp cải thiện độ chính xác nhận diện so với MTCNN.
• Thuật toán KCF trên ma trận dịch chuyển tuần hoàn kết hợp biến đổi Fourier trong miền tần số và bộ lọc tỉ lệ thích nghi DSST.
• Ngăn xếp giao thức WebRTC (gồm RTCPeerConnection, DataChannel, WebSocket, SDP, STUN, TURN, ICE, DTLS, SRTP, SCTP) cho bài toán truyền phát video thời gian thực.

Chương 3. Thiết kế hệ thống

Chương này mô tả chi tiết thiết kế kỹ thuật từ mô hình vật lý đến sơ đồ luồng phần mềm. Phần cứng làm rõ các linh kiện: khung gầm bánh xích, động cơ DC Servo JGB37-520, module cầu H L298N, vi xử lý NVIDIA Jetson Nano, camera Logitech HD C310, module giảm áp XL4015, pin Li-ion và USB Wifi Comfast N150USM. Phần mềm trình bày chi tiết các lưu đồ giải thuật:

• Lưu đồ giải thuật xác minh danh tính người cao tuổi kết hợp RetinaFace và MobileFaceNet.
• Lưu đồ bám bắt thân người bằng SSD_MobileNet khi mất dấu khuôn mặt.
• Lưu đồ theo dõi liên tục bằng thuật toán phối hợp KCF - DSST.
• Lưu đồ điều khiển động cơ robot dựa trên mô hình hình học Pinhole camera model để giữ khoảng cách ổn định.
• Quy trình tối ưu hóa trọng số mô hình bằng thư viện NCNN chạy trực tiếp trên GPU Jetson Nano.

Chương 4. Thực nghiệm và đánh giá kết quả

Chương tập trung trình bày các kịch bản kiểm thử định lượng hệ thống:

• Thực nghiệm phát hiện thân người bằng SSD_MobileNet trên các tư thế đứng và ngồi.
• Thực nghiệm nhận dạng khuôn mặt bằng Webcam Logitech HD C310 (HD 720p) và so sánh đối chứng với camera điện thoại độ phân giải FHD 1080p; kiểm thử trong điều kiện thiếu sáng, trường hợp góc nghiêng khuôn mặt lệch trên 45 độ, và trường hợp xuất hiện nhiều khuôn mặt cùng lúc trong khung hình.
• Thực nghiệm bám bắt đối tượng bằng KCF - DSST trên chuỗi video mẫu và kiểm thử chuyển động người thực tế trong phòng.
• Thực nghiệm đo lường độ trễ của luồng video streaming qua WebRTC: đo đạc với 1 client, 2 clients và 4 clients truy cập đồng thời; kiểm thử chéo trên mạng nội bộ (LAN) và mạng diện rộng (Internet); đo độ trễ trên nhiều trình duyệt web khác nhau.
• Thực nghiệm quá trình robot di chuyển đồng hành cùng đối tượng thực tế qua 3 kịch bản vận hành độc lập (Kịch bản 1, Kịch bản 2, Kịch bản 3).
• Đo đạc thực tế mức độ tiêu thụ điện năng của từng linh kiện phần cứng (Jetson Nano, động cơ, mạch điều khiển, camera) và thời lượng hoạt động của hệ thống pin.
• Đánh giá tổng hợp và so sánh tính năng của robot chế tạo với các mẫu robot đồng hành khác trong tài liệu tham khảo.

Chương 5. Kết luận và hướng phát triển

Tác giả đúc kết các mục tiêu kỹ thuật đã hoàn thành: tích hợp thành công hệ thống phần cứng robot bánh xích tự hành trên nền tảng Jetson Nano; nhận diện chính xác danh tính người cao tuổi bằng khuôn mặt (RetinaFace + MobileFaceNet); duy trì bám bắt đối tượng chuyển động thông qua thân người (SSD_MobileNet và KCF-DSST); điều khiển robot di chuyển giữ khoảng cách ổn định và truyền phát video giám sát qua WebRTC trong mạng nội bộ. Đồng thời, chương chỉ rõ các định hướng nâng cấp trong tương lai về cảm biến tránh vật cản và cơ chế nhận diện khi người cao tuổi thay đổi tư thế phức tạp.

Kết quả và đóng góp

Nghiên cứu mang lại các kết quả kỹ thuật cụ thể đã được đo đạc trong khóa luận:

• Tích hợp phần cứng và phần mềm hoàn chỉnh: Chế tạo thành công mô hình Humanoid Robot di chuyển bằng hệ bánh xích, điều khiển độc lập 2 động cơ DC Servo thông qua Jetson Nano Developer Kit, tích hợp đầy đủ hệ thống nguồn pin Li-ion và mạch giảm áp XL4015.
• Hiệu năng nhận diện và bám bắt đối tượng:
  • Mô hình SSD_MobileNet tối ưu hóa qua NCNN trên GPU Jetson Nano phát hiện chính xác thân người ở các tư thế đứng và ngồi.
  • Chuỗi thuật toán RetinaFace kết hợp MobileFaceNet xác minh chính xác danh tính mục tiêu khi khuôn mặt hiển thị từ 3/4 diện tích trở lên, trích xuất vector nhúng 128 chiều với kích thước mô hình siêu nhẹ chỉ 4MB.
  • Thuật toán phối hợp KCF - DSST duy trì bám bắt liên tục vị trí và tỉ lệ kích thước của người cao tuổi khi di chuyển, giải quyết được hiện tượng thay đổi kích thước khung hình do khoảng cách xa - gần mà KCF đơn thuần không xử lý được.
• Khả năng truyền thông giám sát qua WebRTC: Xây dựng thành công kênh streaming video độ trễ thấp từ camera robot lên trình duyệt web qua cơ chế kết nối P2P. Hệ thống kiểm thử thành công trên cả mạng nội bộ (LAN) và Internet với số lượng kết nối đồng thời từ 1, 2 đến 4 client trên các trình duyệt khác nhau.
• Đóng góp so với các nghiên cứu trước: Khắc phục triệt để hạn chế của dự án OpenBot (chỉ phát hiện người chung chung mà không định danh được đối tượng cụ thể) và các hệ thống bám bắt truyền thống dùng cảm biến laser/Kinect (vốn phụ thuộc vào việc người dùng phải giơ tay hoặc chỉ chạy được khi có duy nhất 1 người). Hệ thống đề xuất hoạt động tự động dựa hoàn toàn vào camera thị giác đơn, phân biệt được người nhà cần theo dõi và tiếp tục bám bắt bằng thân người khi mất dấu mặt.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được chính các tác giả nêu rõ trong văn bản:

• Phạm vi hoạt động của robot hiện chỉ giới hạn trong môi trường phòng phẳng có diện tích $30\text{ m}^2$ và hoàn toàn không có vật cản.
• Robot chưa được trang bị cảm biến khoảng cách chuyên dụng (như LiDAR hay cảm biến siêu âm) để tự động phát hiện và chủ động né tránh chướng ngại vật phát sinh trên đường đi.
• Thuật toán nhận diện danh tính ban đầu phụ thuộc chặt chẽ vào góc nhìn của camera; robot bắt buộc phải nhìn thấy trên 3/4 diện tích khuôn mặt của đối tượng mới có thể kích hoạt chế độ đồng hành.
• Khả năng streaming video ra ngoài mạng Internet còn phụ thuộc vào đường truyền mạng và cấu hình máy chủ trung gian (STUN/TURN), độ trễ cao hơn đáng kể so với môi trường mạng nội bộ.

Hướng phát triển tiếp theo được đề xuất:

• Tích hợp thêm cảm biến phát hiện va chạm và vật cản (cảm biến siêu âm, laser hoặc cảm biến chiều sâu) để xây dựng thuật toán tránh chướng ngại vật trong môi trường thực tế phức tạp.
• Nâng cấp thuật toán nhận diện khuôn mặt và nhận dạng dáng đi hoặc trang phục để xác định đối tượng ngay cả khi khuôn mặt bị che khuất nhiều hơn hoặc khi đối tượng quay lưng hoàn toàn ngay từ đầu.
• Tối ưu hóa băng thông và độ trễ của giao thức WebRTC khi truyền phát qua môi trường Internet ra ngoài gia đình.

Giá trị tham khảo

Báo cáo khóa luận có giá trị tham khảo ứng dụng thực tiễn cao đối với:

• Sinh viên và học viên chuyên ngành Kỹ thuật Máy tính, Hệ thống Nhúng, Khoa học Máy tính và Robot: Cung cấp tài liệu tham khảo chi tiết về toàn bộ quy trình thiết kế từ cơ khí (khung gầm bánh xích), mạch điều khiển công suất (L298N, động cơ DC Servo), đến thiết kế mạch nguồn hạ áp (XL4015) trên máy tính nhúng NVIDIA Jetson Nano.
• Kỹ sư và nhà nghiên cứu thị giác máy tính trên thiết bị biên (Edge AI): Cung cấp phương pháp mẫu trong việc phối hợp chuỗi mô hình thị giác: kết hợp mô hình phát hiện khuôn mặt (RetinaFace), trích xuất đặc trưng danh tính (MobileFaceNet), phát hiện thân người (SSD_MobileNet) và thuật toán bám bắt nhẹ (KCF-DSST), cùng kỹ thuật tối ưu hóa mô hình bằng thư viện NCNN chạy trên GPU nhúng.
• Người phát triển ứng dụng IoT và giám sát từ xa: Tham khảo cấu trúc ngăn xếp giao thức WebRTC (kết hợp signaling WebSocket, SDP, STUN/TURN, DTLS/SRTP) để truyền luồng dữ liệu video độ trễ thấp từ thiết bị di động về web browser.

Câu hỏi thường gặp

1. Robot giải quyết bài toán mất dấu đối tượng khi người cao tuổi quay mặt đi hướng khác như thế nào?
Robot giải quyết thông qua cơ chế chuyển tầng thị giác: ban đầu sử dụng RetinaFace và MobileFaceNet để xác minh khuôn mặt đối tượng (yêu cầu thấy trên 3/4 diện tích mặt). Ngay sau khi xác nhận đúng danh tính, mô hình SSD_MobileNet sẽ phát hiện và đóng khung bounding box toàn bộ thân người của đối tượng đó. Từ thời điểm này, thuật toán KCF-DSST sẽ bám theo đặc trưng thân người, cho phép duy trì việc theo dõi ngay cả khi người cao tuổi quay lưng, cúi đầu hoặc đi khuất góc mặt.

2. Tại sao nhóm tác giả lại kết hợp KCF với DSST thay vì chỉ sử dụng thuật toán KCF độc lập?
KCF sử dụng ma trận tuần hoàn và đặc trưng HOG trong miền tần số giúp tốc độ bám bắt rất nhanh, nhưng nhược điểm lớn của KCF là kích thước khung tìm kiếm bị cố định. Khi người cao tuổi di chuyển lại gần hoặc ra xa robot, kích thước đối tượng trên khung hình thay đổi liên tục khiến KCF dễ bị mất dấu hoặc sai lệch biên. Thuật toán DSST bổ sung một bộ lọc tương quan tỉ lệ 1 chiều độc lập dựa trên tháp tỉ lệ để ước lượng sự thay đổi kích thước của đối tượng, giúp khung bám tự động co giãn chính xác theo khoảng cách di chuyển thực tế.

3. Khung gầm di chuyển của robot được thiết kế bằng loại cơ cấu nào và sử dụng động cơ gì?
Khung gầm di chuyển của robot sử dụng bộ bánh xích để tăng ma sát, hạn chế trượt bánh trên mặt sàn nhà và giúp robot quay góc linh hoạt. Hệ thống dẫn động sử dụng 2 động cơ DC Servo JGB37-520, nhận tín hiệu điều khiển vận tốc và chiều quay từ mạch cầu H L298N kết nối với cổng điều khiển của NVIDIA Jetson Nano.

4. Mô hình nhận diện khuôn mặt MobileFaceNet có đặc điểm kỹ thuật gì nổi bật trên thiết bị nhúng?
MobileFaceNet là mạng tích chập tối ưu cho thiết bị di động và máy tính nhúng với dung lượng tệp mô hình siêu nhẹ chỉ khoảng 4MB. Mạng nhận đầu vào là ảnh kích thước $112 \times 112$ pixel và xuất ra vector đặc trưng 128 chiều (128D embedding vector), đạt độ chính xác xác minh khuôn mặt lên đến 99,55% trên tập dữ liệu chuẩn LFW (Labeled Faces in the Wild).

5. Giới hạn không gian và điều kiện thực nghiệm đồng hành của đề tài được thiết lập như thế nào?
Thực nghiệm đồng hành và điều khiển bám theo người của robot được thực hiện trong phạm vi phòng kín có diện tích $30\text{ m}^2$, điều kiện mặt sàn phẳng, không có vật cản trên đường di chuyển, và yêu cầu ban đầu robot phải nhìn thấy được từ 3/4 diện tích khuôn mặt của đối tượng trở lên để kích hoạt định danh.

Kết luận

Khóa luận tốt nghiệp của sinh viên Phạm Đặng Minh Huy và Thân Thế Tùng đã nghiên cứu và chế tạo thành công mô hình Humanoid Robot di động bánh xích hỗ trợ đồng hành cùng người cao tuổi. Bằng cách tích hợp chuỗi giải pháp thị giác gồm RetinaFace, MobileFaceNet, SSD_MobileNet và KCF-DSST được tối ưu hóa qua framework NCNN trên vi xử lý nhúng NVIDIA Jetson Nano, hệ thống giải quyết đồng thời bài toán định danh cá nhân và bám bắt bám đuổi theo thời gian thực. Mặc dù còn giới hạn trong không gian phẳng không chướng ngại vật, công trình đã chứng minh tính khả thi của việc kết hợp trí tuệ nhân tạo biên và giao thức truyền thông WebRTC trong việc chăm sóc sức khỏe và hỗ trợ người cao tuổi.

Trích đoạn nội dung tài liệu

Chương 1. GIGI THIỆU DE TÀI HUMANOID ROBOT DONG HANH CUNG b(69/989. Giới thiệu để tài. Robot đồng hành và chăm sóc người cao tuổi.

Humanoid robot đồng hành cùng người cao tuổi. | MOT SO NGHIÊN CỨU LIÊN QUAN.- <5: tt THỰ HH2 0. Person following TObOL. Sơ lược về các mô hình phát hiện đối tượng theo thời gian thực.

Xác định đối tượng dựa trên đặc điểm khuôn mặt. Fishemfa@e MP ace A WR. Deep learning CNN. Ưu nhược điểm của non-deep learning và deep learning.

Mô hình xác định đối tượng là người với SSD_MobileNet. Mạng nơ-ron nhân ta0. Mô hình mạng nơ-ron tích chập CNN (Convolution Neural Network) 17 2. Mô hình mạng MobileNet, SSD và SSDMobileNet.

Kiến trúc mang MobileNet. Kién tric SSD (Single Shot Multibox Detector). Kiến trúc SSD MobileNet. Phát hiện và nhận diện khuôn mặt với Retinaface và MobileFacenet.

Thuật toán theo dõi KCF — DSSTT. Thuật toán KCF (Kernelized Correlation Filter). Thuật toán DSST (Discriminative Scale Space Tracker). Thuật toán streaming video sử dụng WebRTC.

Ngăn xếp giao thức WebRTC. Khái niệm WeblRTTC. Ưu, nhược điểm của WebRTC.---¿- ccsc2cx+ccExxtrrxerrrkrrrrrrrer 39 2. __ Khái niệm khác.----ccccerrerkerrirrrrrirrrerer 40 Chương3.

THIET KE HE THÓNG. Tổng quan về hệ thong .-----::-:¿+22V2++++2EE+++etEEE++rettrvvrrerrrsrrrrrg 42 3. Hệ thống phần cứng và linh kiện sử dụng. Tổng quan hệ thống phan cứng.

Mô hình thiết kế Humanoid Robot. Bộ bánh xích.-cc sec AT 3. Động co DC Servo JGB37-520 .ceeeeescces se eeseseseseeeeeeseseseseeseseseeeeees 49 3. Mạch nguồn giảm áp XL4015.

Pin Li-ion 7. sàtt kề HH ghưn51 3. USB Wifi N150USM. | Máy Tinh AI NVIDIA Jetson Nano Developer Kít.

Webcam Logitech HD C31. Hệ thống phần mềm. Tổng quan hệ thống phan mêềm. __ Giải thuật streaming video sử dung WebRTC.

Ứng dụng kết hợp RetinFace và MobileFaceNet trong nhận dạng KUO MAE. Mô hình SSD_MobileNet phát hiện người 3. Giải thuật tracking KCF - DSST theo dõi chuyền động vật thé. Giải thuật điều khiển Robot di chuyền theo doi đối tượng.

Tối ưu hóa với NCNN và chạy với GPU. THỰC NGHIEM VÀ ĐÁNH GIA KET QUẢ. Thực nghiệm mô hình phát hiện đối tượng người. Thực nghiệm mô hình nhận dạng khuôn mặt.

Thực nghiệm thuật toán tracking — theo dõi đối TƯỢNE. Thực nghiệm thuật toán streaming video. Streaming video trên mạng nội bộ. __ Streaming video ra ngoài mạng internet.

Thực nghiệm Robot va quá trình đồng hành cùng đối tượng người gia. Thực nghiệm đánh giá mức độ tiêu thụ năng lượng. KÉT LUẬN VÀ HƯỚNG PHÁT TRIÊN. Hướng phát triển trong tương lai.---¿-522+z++22Ex+eerrrrxeererrrrecrrer 88 TAI LIEU THAM KHAO\.sscsscsssssessssssseccsssscscssssscscsssssceessuseecsssisesssiieesssseseessneeeee 90 DANH MỤC HÌNH Hình 2.- ¿+ + 11k ng TT HH TH rệt 5 Hình 2.2: Kiến trúc mô hình Yolo [16].:¿--¿¿©++z222++z+222++++tzvscee+rrx 8 Hình 2.3: Kiến trúc mô hình SSD [8] .4: Phương pháp SVM [ [|] .5: Mô hình của perception [ Ï3].6: Đồ thị hàm số sigmoid [13].7: Kiến trúc cơ bản của mạng nơ-ron [13] n+ Hình 2.8: Mang ma trận RGB 6x6x3 (3 ở đây là giá trị RGB) [12] 7 Hình 2.9: Các lớp trong CNN [12].10: Input va filter map [12] .----- - - ¿5+ ‡£2E‡EEk+kEkeEeEkrkekerrkrkrkrkekee 9 Hình 2.11: Tính toán và feature map [ L2].----- - ¿+5 ++s£s£e>xz++zexererezxsrsr 9 Hình 2.- ---¿-¿-¿- + +2 StS*E£E#E2kEk+kEEEEEESEEkEkrkrkrrrrkrkrkek 20 Hình 2.13: Tính toán cho Convolution [ 144].

----- ¿+ +sss+sssx+e£eeexszexeezeseexssz 22 Hình 2.14: Các bước thực hiện Depthwise Convolution [14]. -- - s:sccs++stsxseexexeereveerserererrererrree 24 Hình 2.17: Kiến trúc CNN với bộ đò SSD [§].---¿¿- 2cz+222vsc+ccvsccesrr 26 Hình 2.18: Ví dụ về ô lưới SSD [8] .-----2cccc22222vvvvrrrrrrrrrrrrerrrrrrrrrrrree 27 Hình 2.19: Kiến trúc mạng SSDmobileNet [ [].20: Mô hình RetinaFace [4] .21: Kiến trúc của Retinaface [4],.22: Sơ đồ nguyên lý thuật toán KCF [7] Hình 2.23: So đồ thuật toán theo dõi DSST với tỷ lệ thay đổi [7.24: WebRTC protocol stack [ 1©],.1: Tổng quan về hệ thống.-----22+++2222EEE+2vrrrttEEEEkrrrrrrrrrrrrrrev 42 Hình 3.2: Hệ thống phần cứng.----2--©22++22E+++tEEE+++ttEEEEvretrrrvrrrrrrrrrrrrr 43 Hình 3.3: Vi trí các linh kiện trên rObotL.- ¿52+ s+*+vx+e+vx+evexerxetrrsrrrerrsser 44 Hình 3.4: Thiết kế ban đầu của robot [ 1 5].-¿-s- + + x+s+EeEk+E+EeEE+x+EeEezksxerezezxee 45 Hình 3.