ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN HỮU NHÂN HỆ THỐNG NHẬN DIỆN VẬT THỂ TRÊN ĐƯỜNG SỬ DỤNG MẠNG CAPSULE Chuyên ngành: Kỹ thuật điện tử Mã số: 8520203 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 01 năm 2022 Công trình được hoàn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM Cán bộ hướng dẫn khoa học: TS. Trương Quang Vinh Cán bộ chấm nhận xét 1: TS. Bùi Trọng Tú Cán bộ chấm nhận xét 2: TS.
Huỳnh Phú Minh Cường Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 16 tháng 01 năm 2022. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Chủ tịch: PGS.TS Hoàng Trang 2.
Nguyễn Lý Thiên Trường 3. Phản biện 1: TS. Huỳnh Phú Minh Cường 4. Phản biện 2: TS.
Ủy viên: TS. Trần Hoàng Linh Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN ĐIỆN TỬ PGS.TS Hoàng Trang ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập – Tự do – Hạnh phúc -----✩----- -----✩----- NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Hữu Nhân MSHV: 1970429 Ngày, tháng, năm sinh: 08/03/1997 Nơi sinh: Khánh Hòa Chuyên ngành: Kỹ thuật Điện tử Mã số: 8520203 I. TÊN ĐỀ TÀI: Hệ thống nhận diện vật thể trên đường sử dụng mạng Capsule The road object detection system using Capsule Network NHIỆM VỤ VÀ NỘI DUNG Thiết kế hệ thống nhận diện vật thể trên đường.
Nghiên cứu Capsule Network và áp dụng vào hệ thống nhận diện để nhận biết được người đi đường, các loại phương tiện lưu thông trên đường. Hiện thực và đánh giá hệ thống nhận diện. NGÀY GIAO NHIỆM VỤ: 01/01/2021 III. NGÀY HOÀN THÀNH NHIỆM VỤ: 15/01/2022 IV.
CÁN BỘ HƯỚNG DẪN: TS. Trương Quang Vinh Tp.HCM, ngày 16 tháng 01 năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TS. Trương Quang Vinh TRƯỞNG KHOA ĐIỆN ĐIỆN TỬ Lời cảm ơn GVHD: TS. Trương Quang Vinh LỜI CẢM ƠN Lời đầu tiên, chúng em xin gửi lời cảm ơn tới tiến sĩ Trương Quang Vinh đã quan tâm, hướng dẫn, cung cấp thông tin và giúp em trong quá trình hoàn thành luận văn này.
Hơn nữa em xin cảm ơn tất cả thầy cô trường Đại học Bách Khoa TP Hồ Chí Minh đã giúp đỡ, truyền đạt những kiến thức chuyên ngành quý giá giúp em hoàn thành những nội dung cần thiết trong đề tài. Và cuối cùng, em xin chân thành cảm ơn gia đình và bạn bè đã động viên khích lệ em trong quá trình học tập và hoàn thành luận văn tốt nghiệp. Do thời gian thực hiện không nhiều nên luận văn không tránh khỏi những sai sót. Em rất mong nhận được lời khuyên và sự đóng góp ý kiến của các thầy cô giáo và các bạn quan tâm đến đề tài này để em có thể bổ sung và tiếp tục phát triển đề tài trong thời gian tới.
Em xin chân thành cảm ơn! Tp. Hồ Chí Minh, ngày 16 tháng 01 năm 2022. Học viên Nguyễn Hữu Nhân i Lời cam đoan GVHD: TS. Trương Quang Vinh TÓM TẮT LUẬN VĂN THẠC SĨ Luận văn này trình bày về thiết kế hệ thống nhận diện vật thể trên đường sử dụng mạng Capsule.
Đề tài tập trung vào thực hiện, huấn luyện mạng capsule và thiết kế sơ bộ phần mềm nhận diện vật thể dựa trên board NVIDIA Jetson Nano cùng camera Raspherry Pi V1. Phần mềm nhận diện sử dụng mạng capsule. Mạng Capsule này được thực hiện và huấn luyện lấy ý tưởng từ bài báo của Hinton. Luận văn đã hiện thực mạng Capsule nhận diện phương tiện lưu thông trên đường (xe ô tô, xe buýt) với độ chính xác 91% đồng thời đưa ra thiết kế cho hệ thống nhận diện áp dụng mạng Capsule.
Tuy nhiên, luận văn chưa hoàn thành phần mềm cho hệ thống nhận diện, và đây là thiếu sót lớn của luận văn, học viên sẽ cố gắng bổ sung trong tương lai. ABSTRACT This thesis presents the design of the object recognition system on the road using the Capsule network. The topic focuses on implementation, training of the capsule network and preliminary design of object recognition software based on NVIDIA Jetson Nano board and Raspherry Pi V1 camera. The identification software uses the capsule network.
This Capsule network is implemented and trained based on Hinton's paper. The thesis has implemented the Capsule network to identify vehicles on the road (cars, buses) with 91% accuracy and proposed a design for the identification system applying the Capsule network. However, the thesis has not yet completed the software for the recognition system, and this is a major shortcoming of the thesis, I will try to supplement in the future. ii Lời cam đoan GVHD: TS.
Trương Quang Vinh LỜI CAM ĐOAN CỦA TÁC GIẢ LUẬN VĂN Tôi xin cam đoan luận văn là công trình nghiên cứu của riêng cá nhân tôi, không sao chép của ai do tôi tự nghiên cứu, đọc, dịch tài liệu, tổng hợp và thực hiện. Nội dung lý thuyết trong luận văn tôi có sử dụng một số tài liệu tham khảo như đã trình bày trong phần tài liệu tham khảo. Các số liệu, chương trình phần mềm và những kết quả trong luận văn là trung thực và chưa được công bố trong bất kỳ một công trình nào khác. Học viên/Tác giả Nguyễn Hữu Nhân iii Luận văn Thạc sĩ GVHD: TS.
Trương Quang Vinh MỤC LỤC 1.1 Lý do chọn đề tài .2 Mục đích, đối tượng, phạm vi nghiên cứu .3 Ý nghĩa khoa học và thực tiễn của đề tài .1 Tình hình nghiên cứu trong và ngoài nước .2 Nhiệm vụ luận văn. NHỮNG NGHIÊN CỨU THỰC NGHIỆM HOẶC LÝ THUYẾT .1 Hạn chế của pooling layers trong CNN .2 Nghiên cứu mạng Capsule .2 Higher Layer Capsules. TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN CÁC KẾT QUẢ.1 Thiết kế mạng Capsule .1 Sơ đồ tổng khối tổng quát .2 Sơ đồ chi tiết từng khối .3 Kết quả huấn luyện mạng Capsule.2 Thiết kế hệ thống nhận diện .1 Mô tả hệ thống phần cứng .2 Thiết kế phần mềm .3 Kết quả chương trình phần mềm .3 Đánh giá kết quả đạt được, nêu các hạn chế trong luận văn. 33 DANH MỤC TÀI LIỆU THAM KHẢO.
34 iv Luận văn Thạc sĩ GVHD: TS. Trương Quang Vinh DANH SÁCH HÌNH MINH HỌA Hình 2-1. Kết quả nhận diện khuôn mặt người bằng CNN. So sánh hoạt động của neural và capsule.
5 Hình 3-1 Hình ảnh chiếc thuyền, ngôi nhà. 8 Hình 3-2 Phân chia thành hình chữ nhật và tam giác. 8 Hình 3-3 Biểu diễn vị trí của đối tượng trong khung hình. 9 Hình 3-4 Xác định đối tượng trong khung hình.
10 Hình 3-5 Quá trình biểu diễn đối tượng trong khung hình. 11 Hình 3-6 Dự đoán đối tượng. 12 Hình 3-7 Định tuyến theo thỏa thuận. 13 Hình 3-8 Thiết lập trọng số định tuyến.
14 Hình 3-9 Tính tổng trọng số. 14 Hình 3-10 So sánh các dự đoán. 15 Hình 3-11 So sánh trọng số giữa các dự đoán. 16 Hình 3-12 Quá trình tính toán diễn ra trong 2 vòng lặp.
17 Hình 3-13 Tham số decoder network. 18 Hình 3-14 Mô hình capsule network do Hinton đề xuất. 19 Hình 3-15 Kết nối giữa higher layer và FC layer. 20 Hình 4-1 Sơ đồ khối tổng quát mạng capsule.
20 Hình 4-2 Sơ đồ thiết kế mạng capsule. 21 Hình 4-3 Sơ đồ thiết kế tóm tắt. 22 Hình 4-4 Quá trình tính toán trong primary capsule. 22 Hình 4-5 Sơ đồ khối primary capsule.
23 v Luận văn Thạc sĩ GVHD: TS. Trương Quang Vinh Hình 4-6 Mã giả thuật toán routing. 24 Hình 4-7 Quá trình tính toán trong khối higher layer. 25 Hình 4-8 Quá trình forward propagation và back propagation.
27 Hình 4-9 Thông số training loss trong quá trình huấn luyện. 29 Hình 4-10 Thông số training accuracy và validation accuracy trong quá trình huấn luyện. 29 Hình 4-11 Sơ đồ khối phần cứng. Kit NVIDIA Jetson Nano.
30 Hình 4-13 Camera Raspberry Pi V1. 32 Hình 4-14 Sơ đồ khối phần mềm. 33 vi Luận văn Thạc sĩ GVHD: TS. Trương Quang Vinh DANH SÁCH BẢNG SỐ LIỆU Bảng 2-1.
Bảng so sánh cách hoạt động giữa Capsule và Neural truyền thống. 4 Bảng 4-1 Bảng liệt kê các hàm cần thiết của class PrimaryCap. Bảng liệt kê các hàm cần thiết của class Mask. Bảng liệt kê các hàm cần thiết của lớp Length.
Bảng liệt kê các hàm cần thiết của lớp squash. Bảng liệt kê các hàm của class Capsule Layers. Bảng liệt kê các hàm cần thiết khác cho mạng Capsule. 27 vii Luận văn Thạc sĩ GVHD: TS.
Trương Quang Vinh 1.1 Lý do chọn đề tài Ngày nay, với sự tiến bộ vượt bậc về khoa học công nghệ, các sản phẩm ứng dụng trí tuệ nhân tạo (AI) ngày càng được quan tâm phát triển, và ứng dụng rộng rãi trong nhiều lĩnh vực. Cùng với sự phát triển mạnh mẽ của phần cứng (điển hình là các dòng chip NVIDIA), các sản phẩm AI được triển khai ngày rộng rãi hơn. Nhờ những yếu tố khách quan đó, các hệ thống nhúng được tích hợp thêm các tính năng thông minh, làm cho các sản phẩm trở nên chất lượng hơn. Bản thân học viên hiện đang làm việc trong các dự án cho xe hơi, nên rất mong muốn được tiếp thu kiến thức, học hỏi kinh nghiệm trong lĩnh vực trí tuệ nhân tạo.
Chính vì lý do đó, cùng với sự gợi ý của thầy hướng dẫn, học viên chọn đề tài “Hệ thống nhận diện đối tượng trên đường sử dụng mạng Capsule”. Đây là một lĩnh vực tương đối mới đối với bản thân học viên, đồng thời cũng là cơ hội để học viên bước ra vùng an toàn, thử sức ở lĩnh vực mới.2 Mục đích, đối tượng, phạm vi nghiên cứu Mục đích của đề tài là thiết kế hệ thống nhận diện đối tượng trên đường thông qua việc sử dụng mạng Capsule. Đối tượng nghiên cứu sẽ là mạng Capsule, thiết kế hệ thống nhận diện, board Jetson Nano và camera Raspherry Pi V1. Phạm vi nghiên cứu xung quanh việc thiết kế mạng Capsule, xây dựng các layers trong mạng.3 Ý nghĩa khoa học và thực tiễn của đề tài Cuộc cách mạng công nghiệp lần thứ tư đang diễn ra mạnh mẽ và sâu rộng trên nhiều lĩnh vực trong đời sống.
Thị trường xe ô tô cũng không đứng ngoài xu thế đó.