Nghiên Cứu Cải Tiến Khối Nhận Dạng YOLOV2 Tích Hợp Trên Board Ultra96V2 Cho Camera Thông Minh

• Tác giả: Lê Hữu Kiên
• Người hướng dẫn: Tiến Sĩ Nguyễn Minh Sơn
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành Kỹ thuật máy tính
• Đề tài: Nghiên Cứu Cải Tiến Khối Nhận Dạng YOLOV2 Tích Hợp Trên Board Ultra96V2 Cho Camera Thông Minh
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Một số nghiên cứu liên quan
• 1.2.1. Nghiên cứu ngoài nước
• 1.2.2. Nghiên cứu trong nước
• 1.3. Mục tiêu đề tài
• 1.4. Giới hạn đề tài
• 1.5. Kết quả mong muốn
• 1.6. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Field Programmable Gate Array (FPGA)
• 2.2. Kiến trúc tổng quát
• 2.3. Ưu và nhược điểm của FPGA
• 2.4. Hệ thống SoC (System on Chip)
• 2.4.1. Định nghĩa hệ thống SoC
• 2.4.2. Cấu trúc phần cứng của một SoC
• 2.4.3. Ưu và nhược điểm của hệ thống SoC
• 2.5. Hệ thống nhúng
• 2.5.1. Phần mềm của một hệ thống nhúng
• 2.5.2. Phần cứng của một hệ thống nhúng
• 2.5.3. Đặc điểm của một hệ thống nhúng
• 2.5.4. Ưu và nhược điểm của hệ thống nhúng
• 2.6. Thuật toán YOLOV2
• 2.6.1. High resolution classifier
• 2.6.2. Kiến trúc Anchor BOX
• 2.6.3. K-means clustering
• 2.6.4. Direction location prediction
• 2.6.5. Fine-grained feature
• 2.6.6. Multi-scale training
• 2.6.7. Light-weight backbone
• 2.7. Các công cụ xử lý audio, video của FFmpeg
• 2.8. Các gói thư viện của FFmpeg
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG VÀ HIỆN THỰC SMART CAMERA
• 3.1. Hệ thống Zynq UltraScale+ MPSoC
• 3.2. Thiết kế tổng quát của hệ thống
• 3.3. Tích hợp IP DPU trên Vivado 2019
• 3.4. Hiện thực Smart camera
• 3.5. Xây dựng hệ điều hành Linux để boot lên board Ultra96-V2
• 3.6. Xây dựng chương trình thực thi bằng công cụ Vitis 2019
• 3.7. Xây dựng luồng streaming cho Smart Camera
• 3.7.1. Streaming với camera hình ảnh thường
• 3.7.2. Streaming camera hình ảnh xử lý YOLOV2
• 3.7.3. Sử dụng ZoneMinder để theo dõi camera
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Kịch bản thực nghiệm và phương pháp đánh giá
• 4.1.1. Kịch bản thực nghiệm
• 4.1.2. Phương pháp đánh giá
• 4.2. Kết quả thực nghiệm
• 4.2.1. Kết quả nhận diện
• 4.2.2. Kết quả thực nghiệm khi streaming trong phạm vi Internet
• 4.2.3. Kết quả thực nghiệm kết nối Ethernet
• 4.3. Đánh giá hệ thống
• 4.4. Đóng gói sản phẩm
• 4.4.1. Những linh kiện cần dùng
• 4.4.2. Đóng gói smart camera
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được
• 5.2. Hướng phát triển của đề tài
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

I. Giới thiệu về Nghiên Cứu Cải Tiến Khối Nhận Dạng YOLOV2

Nghiên cứu này tập trung vào việc cải tiến khối nhận dạng YOLOV2 tích hợp trên board Ultra96V2 cho camera thông minh. Sự phát triển của công nghệ vi điện tử đã mở ra nhiều cơ hội cho việc tích hợp các hệ thống phức tạp trong một thiết bị nhỏ gọn. Smart camera không chỉ đơn thuần là một thiết bị chụp ảnh mà còn có khả năng phân tích hình ảnh và nhận diện đối tượng. Đề tài này nhằm nâng cao hiệu suất nhận diện và giảm độ trễ trong quá trình xử lý hình ảnh.

1.1. Lý do chọn đề tài nghiên cứu

Sự phát triển nhanh chóng của camera thông minh đã thu hút sự quan tâm từ nhiều lĩnh vực. Việc áp dụng các thuật toán học sâu như YOLOV2 vào smart camera giúp cải thiện khả năng nhận diện và phân tích hình ảnh. Đề tài này được chọn nhằm giải quyết các vấn đề về độ trễ và hiệu suất trong nhận diện đối tượng.

1.2. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là cải tiến tốc độ nhận diện của smart camera từ 1.4 giây xuống còn 0.8-1 giây cho mỗi hình ảnh. Đồng thời, nghiên cứu cũng hướng đến việc tối ưu hóa tốc độ streaming hình ảnh xử lý YOLOV2 với độ phân giải cao.

II. Thách thức trong việc cải tiến khối nhận dạng YOLOV2

Việc cải tiến khối nhận dạng YOLOV2 trên board Ultra96V2 gặp phải nhiều thách thức. Đầu tiên là vấn đề về hiệu suất xử lý, khi mà các thuật toán học sâu yêu cầu tài nguyên tính toán lớn. Thứ hai là độ trễ trong quá trình truyền tải hình ảnh qua mạng, điều này ảnh hưởng đến trải nghiệm người dùng. Cuối cùng, việc tích hợp các công nghệ mới vào hệ thống cũng đòi hỏi sự nghiên cứu và thử nghiệm kỹ lưỡng.

2.1. Vấn đề hiệu suất xử lý

Khối nhận dạng YOLOV2 yêu cầu một lượng lớn tài nguyên tính toán, điều này có thể gây ra tình trạng quá tải cho board Ultra96V2. Cần có các phương pháp tối ưu hóa để giảm thiểu tài nguyên sử dụng mà vẫn đảm bảo hiệu suất cao.

2.2. Độ trễ trong truyền tải hình ảnh

Độ trễ trong quá trình streaming hình ảnh là một vấn đề lớn. Việc truyền tải qua mạng không dây có thể gây ra độ trễ không mong muốn, ảnh hưởng đến khả năng nhận diện thời gian thực của smart camera.

III. Phương pháp cải tiến khối nhận dạng YOLOV2

Để cải tiến khối nhận dạng YOLOV2, nhóm nghiên cứu đã áp dụng nhiều phương pháp khác nhau. Sử dụng IP DPU (Deep Learning Processing Unit) là một trong những giải pháp chính. IP DPU giúp tối ưu hóa quá trình xử lý các mô hình học sâu, từ đó nâng cao tốc độ nhận diện. Bên cạnh đó, việc sử dụng các thư viện hỗ trợ như GStreamer và OpenCV cũng đóng vai trò quan trọng trong việc cải thiện hiệu suất.

3.1. Sử dụng IP DPU để tối ưu hóa

IP DPU là một khối xử lý được tối ưu hóa cho các tác vụ học sâu, giúp tăng tốc độ nhận diện của YOLOV2. Việc tích hợp IP DPU vào hệ thống giúp giảm thiểu thời gian xử lý và nâng cao hiệu suất tổng thể.

3.2. Tích hợp các thư viện hỗ trợ

Sử dụng các thư viện như GStreamer và OpenCV giúp cải thiện khả năng xử lý hình ảnh và truyền tải video. Những thư viện này cung cấp các công cụ mạnh mẽ để xử lý và phân tích hình ảnh, từ đó nâng cao hiệu suất của smart camera.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu

Nghiên cứu đã cho thấy những kết quả khả quan trong việc cải tiến khối nhận dạng YOLOV2. Hệ thống smart camera đã đạt được tốc độ nhận diện dưới 1 giây cho mỗi hình ảnh và tốc độ streaming ổn định ở độ phân giải cao. Những kết quả này không chỉ chứng minh tính khả thi của giải pháp mà còn mở ra hướng đi mới cho các nghiên cứu tiếp theo trong lĩnh vực này.

4.1. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy hệ thống có thể nhận diện đối tượng với độ chính xác cao, đạt từ 64% đến 96% ở độ phân giải 1280x960. Điều này cho thấy sự cải tiến đáng kể so với các nghiên cứu trước đó.

4.2. Ứng dụng trong thực tế

Hệ thống smart camera có thể được ứng dụng trong nhiều lĩnh vực như giám sát an ninh, tự động hóa trong sản xuất và các ứng dụng IoT. Việc cải tiến khối nhận dạng sẽ giúp nâng cao hiệu quả và độ tin cậy của các hệ thống này.

V. Kết luận và hướng phát triển tương lai

Nghiên cứu đã đạt được những kết quả tích cực trong việc cải tiến khối nhận dạng YOLOV2 trên board Ultra96V2. Tuy nhiên, vẫn còn nhiều thách thức cần phải giải quyết trong tương lai. Việc tiếp tục nghiên cứu và phát triển các công nghệ mới sẽ giúp nâng cao hiệu suất và khả năng ứng dụng của smart camera.

5.1. Kết luận về nghiên cứu

Nghiên cứu đã chứng minh rằng việc cải tiến khối nhận dạng YOLOV2 có thể nâng cao hiệu suất nhận diện và giảm độ trễ. Những kết quả đạt được mở ra hướng đi mới cho các nghiên cứu tiếp theo.

5.2. Hướng phát triển trong tương lai

Trong tương lai, cần tiếp tục nghiên cứu các phương pháp tối ưu hóa mới và tích hợp các công nghệ tiên tiến để nâng cao hiệu suất của smart camera. Việc áp dụng trí tuệ nhân tạo và học sâu sẽ là xu hướng chính trong lĩnh vực này.