Luận văn thạc sĩ về hệ thống phát hiện người đi bộ sử dụng mô hình YOLOv5 cải tiến

Luận văn thạc sĩ kỹ thuật nghiên cứu kỹ thuật viễn thông hệ thống phát hiện người đi bộ sử dụng mô hình yolov5 cải tiến, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải

• Tác giả: Phạm Hiển Long
• Người hướng dẫn: PGS.TS Trương Quang Vinh
• Trường học: Trường Đại Học Bách Khoa
• Chuyên ngành: Kỹ Thuật Viễn Thông
• Đề tài: Hệ Thống Phát Hiện Người Đi Bộ Sử Dụng Mô Hình Yolov5 Cải Tiến
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC CÁC KÝ HIỆU CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Thách thức trong thuật toán phát hiện người đi đường
• 1.3. Nội dung Luận Văn
• 1.4. Đóng góp của Luận Văn
• 1.5. Cấu trúc Luận Văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tình hình nghiên cứu ngoài nước
• 2.2. Mạng Yolo Network
• 2.2.1. Tiêu chí đánh giá chất lượng hệ thống
• 2.2.2. Intersection over Union (IoU)
• 2.2.3. Giải thuật Non-Max suppression (NMS)
• 2.2.4. Hộp mỏ neo (Anchor Box) và giới hạn của thuật toán
• 2.2.5. IoU cho các bounding box
• 2.3. YOLO và các phiên bản khác
• 2.3.1. Cấu trúc phần mềm của mạng Yolo
• 2.3.2. Khảo sát từ Yolov1 đến Yolov5
• 2.4. Cơ chế tập trung trong thị giác máy tính
• 2.4.1. Tổng quan về phương tập trung trong thị giác máy tính
• 2.4.2. Phân vùng của Mô-đun tập trung
• 2.4.3. Efficient Channel Attention cho Deep Convolutional Neural Networks [28] (ECA)
• 2.4.4. Global Attention Mechanism [23] (GAM)
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT CHO MÔ-ĐUN GLOBAL ATTENTION MECHANISM
• 3.1. Đề xuất cho mạng Global Attention Mechanism
• 3.1.1. Phân tích và lựa chọn r
• 3.1.2. Thêm lớp shuffle
• 3.1.3. Thay đổi hàm kích hoạt
• 3.2. Cấu trúc mới cho GAM
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT CHO MÔ-ĐUN EFFICIENT CHANNEL ATTENTION
• 4.1. Đề xuất thay đổi cho mạng Efficient Channel Attention
• 4.1.1. Đề xuất thông số k cho ECA
• 4.1.2. Thay đổi hàm kích hoạt
• 4.2. Đề xuất mô hình C3 nối tiếp với ECA
• 5. CHƯƠNG 5: ĐỀ XUẤT CẤU TRÚC MỚI CHO MẠNG YOLOV5
• 5.1. Cải thiện Backbone mô hình Yolov5
• 5.2. Cải thiện Head của mô hình Yolov5
• 5.3. Đề xuất mô hình Yolov5 mới
• 6. CHƯƠNG 6: KẾT QUẢ ĐẠT ĐƯỢC VÀ ĐÁNH GIÁ
• 6.1. Tiền xử lý với dataset PenFudan
• 6.2. Training trên Google Colab
• 6.3. Kết quả thí nghiệm
• 6.4. Lợi ích khi sử dụng GPU
• 6.5. Thông số và cấu trúc cơ bản của phần cứng Jetson Orin Nano
• 6.5.1. Sơ đồ khối của hệ thống
• 6.5.2. Cấu trúc system on chip (SOC) của Jetson Orin Module
• 6.6. Kết quả khi thực hiện thuật toán trên kit với thời gian thực
• 6.7. Kết quả khi thực hiện thuật toán trên kit với Video
• 7. CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG MỞ RỘNG
• 7.1. Hướng phát triển
• Danh mục công trình nghiên cứu khoa học
• Tài Liệu Tham Khảo
• PHẦN LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Tổng quan về đề tài

Đề tài 'Hệ thống phát hiện người đi bộ bằng mô hình YOLOv5 cải tiến' tập trung vào việc phát triển và cải thiện mô hình YOLOv5 nhằm nâng cao chất lượng phát hiện người đi bộ. Việc phát hiện người đi bộ là một thách thức lớn trong lĩnh vực thị giác máy tính, đặc biệt trong các tình huống đông người. Mô hình YOLOv5, với khả năng phát hiện nhanh chóng và chính xác, đã trở thành một trong những lựa chọn hàng đầu cho các ứng dụng thực tế như giám sát video và xe tự lái. Đề tài này không chỉ nghiên cứu lý thuyết mà còn thực hiện trên kit Jetson, cho thấy tính ứng dụng cao của mô hình trong thực tế.

1.1 Lý do chọn đề tài

Việc phát hiện người đi bộ là một vấn đề quan trọng trong nhận diện vật thể, có ứng dụng rộng rãi trong các hệ thống giao thông thông minh và an ninh. Mô hình YOLOv5 được chọn vì nó cung cấp sự cân bằng giữa độ chính xác và tốc độ phát hiện. Nghiên cứu này nhằm cải thiện khả năng phát hiện trong các tình huống phức tạp, nơi mà người đi bộ có thể chồng lấn lên nhau. Điều này không chỉ giúp nâng cao hiệu suất của hệ thống mà còn góp phần vào sự phát triển của công nghệ nhận diện trong các ứng dụng thực tế.

1.2 Thách thức trong thuật toán phát hiện người đi đường

Một trong những thách thức lớn nhất trong việc phát hiện người đi bộ là sự đa dạng về màu sắc và kiểu dáng quần áo. Các phụ kiện như túi xách hay ba lô cũng có thể làm thay đổi hình dạng của người đi bộ. Hơn nữa, trong các tình huống đông người, việc phát hiện chính xác người đi bộ trở nên khó khăn hơn do sự chồng lấn. Đề tài này hướng đến việc cải thiện khả năng phát hiện trong những tình huống này bằng cách kết hợp thông tin toàn diện và cục bộ, từ đó nâng cao độ chính xác của hệ thống.

II. Cơ sở lý thuyết

Chương này sẽ phân tích các khái niệm cơ bản liên quan đến mô hình YOLOv5 và các phiên bản trước đó. Mô hình YOLO đã trở thành một trong những cấu trúc phổ biến nhất cho phát hiện đối tượng trong thời gian thực. Các chỉ số như Precision, Recall và mAP sẽ được sử dụng để đánh giá hiệu suất của mô hình. Việc hiểu rõ về các thuật toán như Non-Max Suppression (NMS) và Intersection over Union (IoU) là rất quan trọng để cải thiện khả năng phát hiện. Chương này cũng sẽ đề cập đến các phương pháp tập trung trong thị giác máy tính, như Global Attention Mechanism và Efficient Channel Attention, nhằm tối ưu hóa quá trình phát hiện.

2.1 Tình hình nghiên cứu ngoài nước

Nghiên cứu về phát hiện người đi bộ đã thu hút sự quan tâm lớn từ cộng đồng khoa học. Nhiều nghiên cứu đã chỉ ra rằng các mô hình dựa trên học sâu, đặc biệt là YOLO, có khả năng phát hiện nhanh chóng và chính xác. Các nghiên cứu gần đây đã tập trung vào việc cải thiện độ chính xác và tốc độ của các mô hình này, với nhiều phương pháp mới được đề xuất. Việc áp dụng các mô hình này trong các lĩnh vực như xe tự lái và giám sát video đã chứng minh tính khả thi và hiệu quả của chúng.

2.2 Mạng Yolo Network

Mạng YOLO đã trải qua nhiều phiên bản, từ YOLOv1 đến YOLOv5, với mỗi phiên bản đều có những cải tiến đáng kể. YOLOv5, với cấu trúc mạng tối ưu và khả năng xử lý nhanh, đã trở thành lựa chọn hàng đầu cho nhiều ứng dụng thực tế. Chương này sẽ phân tích chi tiết về cấu trúc của YOLOv5, bao gồm các thành phần chính như Backbone, Head và các mô-đun tập trung. Việc hiểu rõ về cấu trúc này sẽ giúp trong việc phát triển và cải thiện mô hình cho các ứng dụng cụ thể.

III. Mô hình đề xuất cho mô đun Global Attention Mechanism

Mô-đun Global Attention Mechanism (GAM) được đề xuất nhằm cải thiện khả năng phát hiện của mô hình YOLOv5. Mô-đun này tập trung vào việc tối ưu hóa thông tin toàn diện từ các vùng khác nhau trong ảnh, giúp tăng cường độ chính xác trong việc phát hiện người đi bộ. Việc tích hợp GAM vào YOLOv5 không chỉ cải thiện độ chính xác mà còn giúp mô hình hoạt động hiệu quả hơn trong các tình huống phức tạp. Các thử nghiệm cho thấy rằng việc sử dụng GAM đã mang lại kết quả khả quan, với độ chính xác cao hơn so với các mô hình trước đó.

3.1 Đề xuất cho mạng Global Attention Mechanism

Đề xuất cho mô-đun GAM bao gồm việc sử dụng các kỹ thuật học sâu để tối ưu hóa quá trình phát hiện. Mô-đun này sẽ phân tích các đặc trưng toàn diện từ ảnh đầu vào, từ đó cải thiện khả năng phát hiện trong các tình huống đông người. Việc áp dụng GAM vào YOLOv5 đã cho thấy sự cải thiện đáng kể về độ chính xác và tốc độ phát hiện, giúp mô hình hoạt động hiệu quả hơn trong các ứng dụng thực tế.

3.2 Cấu trúc mới cho GAM

Cấu trúc mới cho mô-đun GAM được thiết kế để tối ưu hóa quá trình xử lý thông tin. Việc sử dụng các lớp shuffle và thay đổi hàm kích hoạt đã giúp cải thiện khả năng phát hiện của mô hình. Các thử nghiệm cho thấy rằng cấu trúc mới này không chỉ tăng cường độ chính xác mà còn giảm thiểu thời gian xử lý, từ đó nâng cao hiệu suất của hệ thống. Điều này cho thấy rằng việc cải tiến cấu trúc mô-đun là rất cần thiết để đáp ứng yêu cầu ngày càng cao trong lĩnh vực phát hiện người đi bộ.

Nội dung chính

Tổng quan nghiên cứu

Thống kê từ Tổ chức Y tế Thế giới ghi nhận hơn 1,35 triệu người tử vong do tai nạn giao thông mỗi năm trên toàn cầu, trong đó người đi bộ chiếm khoảng 23% tổng số thương vong. Nhận diện người đi bộ (Pedestrian Detection) giữ vai trò then chốt trong việc xây dựng các hệ thống giao thông thông minh, xe tự hành và camera giám sát an ninh công cộng. Tuy nhiên, bài toán thị giác máy tính này đối mặt với nhiều thách thức nghiêm trọng do người đi bộ thường xuyên bị che khuất một phần, mật độ tập trung đông đúc dẫn đến hiện tượng chồng lấn hình thể, cùng sự biến thiên liên tục về trang phục, tỷ lệ khung hình và điều kiện ánh sáng môi trường.

Về mặt giải thuật, các mô hình phát hiện hai giai đoạn như Faster R-CNN đạt độ chính xác tương đối cao nhưng tốc độ phản hồi rất chậm, không đáp ứng được yêu cầu thời gian thực của các thiết bị di động. Ngược lại, kiến trúc phát hiện một giai đoạn tiêu biểu như YOLOv5 sở hữu tốc độ xử lý nhanh hơn tới 300 lần so với các mô hình hai giai đoạn truyền thống, song vẫn gặp hạn chế lớn về độ chính xác khi phát hiện các đối tượng người đi bộ bị che khuất hoặc có kích thước thay đổi đột ngột.

Mục tiêu cụ thể của nghiên cứu là phát triển một kiến trúc YOLOv5 cải tiến thông qua việc tích hợp các mô-đun cơ chế chú ý mới gồm M-ECA và M-GAM nhằm tăng cường chất lượng trích xuất đặc trưng không gian và kênh. Đồng thời, đề tài hiện thực hóa giải thuật tối ưu trên kit phần cứng nhúng biên NVIDIA Jetson Orin Nano để đánh giá độ trễ và độ chính xác thực tế. Phạm vi nghiên cứu được thực hiện từ năm 2023 đến tháng 1 năm 2024 tại Trường Đại học Bách Khoa – ĐHQG-HCM, sử dụng tập dữ liệu chuẩn Penn-Fudan Pedestrian kết hợp kiểm thử video giao thông. Kết quả nghiên cứu mang lại ý nghĩa thực tiễn to lớn khi giúp cải thiện chỉ số mAP thêm hơn 2,8% so với mô hình gốc và duy trì tốc độ suy luận ổn định trên 32 khung hình trên giây.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng của lý thuyết mạng nơ-ron tích chập sâu và kiến trúc nhận diện vật thể một giai đoạn YOLO. Mạng YOLO phân chia hình ảnh đầu vào thành lưới S × S ô và dự đoán đồng thời tọa độ hộp bao (bounding box), điểm tin cậy (confidence score) cùng xác suất phân loại lớp đối tượng.

Trong không gian lý thuyết thị giác máy tính, cơ chế tập trung (Attention Mechanism) đóng vai trò điều chỉnh trọng số đặc trưng động, mô phỏng cách hệ thống thị giác người tập trung vào các vùng ảnh nổi bật. Hai mô hình tập trung trọng tâm được khai thác gồm:

• Cơ chế chú ý kênh hiệu quả (Efficient Channel Attention - ECA): Tận dụng phép tích chập một chiều cục bộ kích thước k để nắm bắt tương tác giữa các kênh mà không làm giảm chiều dữ liệu.
• Cơ chế chú ý toàn cục (Global Attention Mechanism - GAM): Giảm thiểu sự phân tán thông tin và khuếch đại biểu diễn đặc trưng toàn cục trên cả chiều không gian và chiều kênh.

Nghiên cứu ứng dụng 5 khái niệm cốt lõi: Chỉ số tương đồng giao trên hợp (IoU), thuật toán triệt tiêu phi cực đại (NMS) với ngưỡng chọn lọc 0,5, hàm tổn thất hồi quy Complete IoU (CIoU Loss), hộp mỏ neo (Anchor Box) đa tỷ lệ và hàm kích hoạt phi tuyến H-swish thay thế hàm ReLU truyền thống để tối ưu hóa đạo hàm gradient.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu Penn-Fudan Pedestrian Dataset gồm 170 hình ảnh chụp từ nhiều góc độ khác nhau với 345 đối tượng người đi bộ được gán nhãn chi tiết. Phương pháp lấy mẫu ngẫu nhiên phân tầng được thực hiện với tỷ lệ phân chia chuẩn mực: 80% dữ liệu dùng cho huấn luyện (136 ảnh) và 20% dữ liệu dùng cho kiểm định (34 ảnh). Quy trình tiền xử lý qua nền tảng Roboflow áp dụng kỹ thuật tăng cường dữ liệu: xoay góc từ -15 độ đến +15 độ và cắt ngẫu nhiên 50% khung hình nhằm nhân rộng tính đa dạng cho tập mẫu huấn luyện.

Phương pháp phân tích dựa trên việc can thiệp cấu trúc mạng YOLOv5:

• Thay thế các khối C3 trong Backbone bằng mô-đun kết hợp C3-ECA để tăng khả năng học trọng số kênh quan trọng với chi phí tham số thấp.
• Tích hợp mô-đun M-GAM cải tiến có bổ sung lớp Channel Shuffle vào phần Head (PANet) nhằm liên kết đặc trưng không gian đa tỷ lệ và khắc phục hiện tượng mất dấu khi người đi bộ chồng lấn.

Timeline nghiên cứu kéo dài 10 tháng: giai đoạn huấn luyện 100 epoch trên môi trường điện toán đám mây Google Colab trang bị GPU công suất cao, sau đó chuyển đổi mô hình sang định dạng tối ưu và thực nghiệm đo lường runtime trực tiếp trên kit nhúng NVIDIA Jetson Orin Nano.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm nghiệm mô hình YOLOv5 cải tiến trên tập dữ liệu kiểm tra và video thực tế đã mang lại 4 phát hiện khoa học quan trọng:

1. Mô-đun C3-ECA kết hợp hàm kích hoạt H-swish nâng cao độ chính xác Precision đạt mức 89,4% và độ bao phủ Recall đạt 87,6%, tăng lần lượt 3,5% và 2,8% so với mô hình YOLOv5 gốc.
2. Cấu trúc M-GAM giúp cải thiện rõ rệt khả năng nhận diện người đi bộ bị che khuất trong khung cảnh phức tạp, đưa chỉ số mAP@0.5 tổng thể đạt 91,6%, vượt trội hơn mức 87,4% của YOLOv3 và 90,5% của YOLOv4 trên cùng tập dữ liệu thực nghiệm.
3. Đồ thị hàm tổn thất Loss Function hội tụ ổn định sau 85 epoch, nhanh hơn 15 epoch so với kiến trúc ban đầu. Đường cong F1-Confidence Score đạt giá trị đỉnh 0,88 tại ngưỡng tin cậy 0,55, chứng minh sự cân bằng tối ưu giữa Precision và Recall.
4. Khi triển khai trên phần cứng nhúng biên Jetson Orin Nano, thuật toán cải tiến đạt tốc độ xử lý thực tế 34 khung hình trên giây (FPS) đối với luồng video độ phân giải cao, với mức tiêu thụ điện năng trung bình duy trì dưới 12W.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình xuất phát từ việc loại bỏ sự suy giảm thông tin qua các tầng tích chập sâu nhờ cơ chế phân bổ trọng số động. Việc bổ sung lớp Channel Shuffle trong mô-đun M-GAM giúp các kênh đặc trưng trao đổi thông tin chéo liên tục, cho phép mạng nhận diện chính xác các đường nét cơ thể người đi bộ ngay cả khi màu sắc trang phục bị hòa lẫn vào hậu cảnh hoặc bị che khuất bởi hành lý, phương tiện khác.

So sánh với nghiên cứu của tác giả Gou và các cộng sự năm 2022 khi sử dụng YOLOv5 thuần cho bối cảnh đông đúc chỉ đạt Precision và Recall dao động ở mức 71%, kiến trúc đề xuất trong luận văn này đã nâng cao độ chính xác lên hơn 18%. Dữ liệu thực nghiệm được trực quan hóa thông qua bảng ma trận nhầm lẫn (Confusion Matrix) và biểu đồ đường cong F1-Score đối chiếu giữa hai khung giờ ánh sáng ban ngày và ánh sáng ban trưa, thể hiện rõ tính ổn định cao của hệ thống trước sự biến đổi cường độ sáng môi trường.

Đề xuất và khuyến nghị

1. Tích hợp thuật toán theo dõi đa đối tượng Deep SORT: Đề xuất các kỹ sư phần mềm thị giác máy tính tích hợp thuật toán Deep SORT hoặc ByteTrack vào sau luồng phát hiện của YOLOv5 cải tiến trong vòng 6 tháng tới, nhằm duy trì ID theo dõi đối tượng liên tục với mục tiêu chỉ số MOTA đạt trên 68% khi người đi bộ bị che khuất hoàn toàn trong thời gian ngắn.
2. Thực hiện lượng tử hóa mô hình sang chuẩn INT8: Khuyến nghị các nhóm phát triển AI biên ứng dụng bộ công cụ NVIDIA TensorRT để lượng tử hóa trọng số mô hình từ FP32/FP16 sang INT8 trong quý 3 năm 2024, nhằm tăng tốc độ xử lý đạt mốc trên 50 FPS trên các phần cứng nhúng công suất thấp.
3. Mở rộng quy mô tập dữ liệu đa điều kiện thời tiết: Các cơ quan nghiên cứu giao thông cần phối hợp thu thập và gán nhãn bổ sung khoảng 5.000 hình ảnh người đi bộ trong điều kiện ban đêm, trời mưa và sương mù dày đặc trong vòng 12 tháng, hướng tới mục tiêu nâng cao mAP môi trường thiếu sáng từ 74% lên trên 86%.
4. Chuẩn hóa hạ tầng giám sát giao thông thông minh: Đề xuất các đơn vị quản lý đô thị đầu tư nâng cấp hệ thống camera IP có độ phân giải tối thiểu 1080p kết hợp bộ xử lý biên GPU tại các giao lộ trọng điểm giai đoạn 2024-2026, nhằm giảm thiểu khoảng 25% nguy cơ va chạm giữa phương tiện giao thông và người đi bộ.

Đối tượng nên tham khảo luận văn

1. Kỹ sư thị giác máy tính và lập trình AI nhúng: Nắm vững kỹ thuật tùy biến kiến trúc mạng YOLO, tích hợp các khối Attention Mechanism (M-GAM, M-ECA) và quy trình chuyển đổi triển khai mô hình học sâu lên phần cứng biên NVIDIA Jetson.
2. Nhà phát triển hệ thống xe tự hành và ADAS: Khai thác thuật toán phát hiện người đi bộ thời gian thực với độ trễ cực thấp dưới 30ms để tích hợp vào các phân hệ phanh tự động khẩn cấp (AEB) và cảnh báo tiền va chạm (FCW).
3. Chuyên gia quy hoạch và vận hành đô thị thông minh: Tham khảo giải pháp đếm và phân tích lưu lượng người đi bộ tự động qua camera giám sát để tối ưu hóa chu kỳ đèn tín hiệu giao thông tại các nút giao phức tạp.
4. Học viên cao học và nghiên cứu sinh chuyên ngành Viễn thông - Điện tử: Sử dụng luận văn như một tài liệu tham khảo chuẩn mực về phương pháp nghiên cứu thực nghiệm, kỹ thuật tăng cường dữ liệu và quy trình đánh giá mô hình học sâu toàn diện.

Câu hỏi thường gặp

Mô hình YOLOv5 cải tiến có điểm gì khác biệt so với các phiên bản YOLO gốc? Mô hình cải tiến thay thế khối C3 tiêu chuẩn trong Backbone bằng khối C3-ECA sử dụng hàm kích hoạt H-swish, đồng thời tích hợp mô-đun M-GAM bổ sung lớp Channel Shuffle vào phần Head. Cải tiến này giúp tăng cường khả năng trích xuất đặc trưng toàn cục và cục bộ, nâng cao mAP thêm 2,8% mà không làm tăng đáng kể kích thước mô hình.

Tại sao luận văn lựa chọn kit NVIDIA Jetson Orin Nano để thử nghiệm phần cứng? Jetson Orin Nano sở hữu kiến trúc GPU Ampere với hiệu năng tính toán AI lên đến 40 TOPS và bộ nhớ chia sẻ tốc độ cao. Phần cứng này cung cấp khả năng xử lý song song vượt trội, cho phép chạy mô hình ở tốc độ 34 FPS thời gian thực với mức tiêu thụ điện năng chỉ khoảng 10W đến 15W, rất phù hợp cho các thiết bị di động.

Thuật toán xử lý trường hợp người đi bộ bị che khuất hoặc chồng lấn ra sao? Mô-đun M-GAM cải tiến giúp mô hình duy trì sự chú ý đồng thời trên cả chiều không gian và chiều kênh. Kết hợp với hàm tổn thất CIoU và thuật toán NMS tối ưu, hệ thống phân biệt chính xác các vùng biên của từng cá thể, giảm thiểu tỷ lệ bỏ sót đối tượng bị che khuất xuống dưới 12% so với mức 25% ở các mô hình truyền thống.

Kỹ thuật tăng cường dữ liệu trên Roboflow đóng góp như thế nào vào kết quả huấn luyện? Các phép biến đổi gồm xoay ảnh từ -15 độ đến +15 độ và cắt ngẫu nhiên 50% diện tích giúp tăng độ phong phú của dữ liệu mẫu gấp 3 lần. Điều này giúp mạng nơ-ron học được các đặc trưng bất biến của người đi bộ dưới nhiều góc quan sát, ngăn ngừa hiện tượng quá khớp (overfitting) và giúp hàm mất mát hội tụ nhanh hơn 15 epoch.

Hệ thống có thể hoạt động tốt trong điều kiện ánh sáng thay đổi giữa các thời điểm trong ngày không? Các thử nghiệm thực tế đối chiếu giữa khung giờ sáng và khung giờ trưa cho thấy mô hình duy trì độ ổn định nhận diện cao. Sự kết hợp giữa chuẩn hóa Batch Normalization và hàm kích hoạt H-swish giúp hệ thống thích ứng linh hoạt với độ tương phản cao và hiện tượng bóng đổ, giữ vững độ chính xác Precision trên mức 88%.

Kết luận

• Luận văn đã thiết kế và hiện thực thành công kiến trúc YOLOv5 cải tiến tích hợp hai mô-đun chú ý M-ECA và M-GAM.
• Nâng cao hiệu năng nhận diện người đi bộ với độ chính xác Precision đạt 89,4%, Recall đạt 87,6% và mAP@0.5 đạt 91,6%.
• Đẩy nhanh tốc độ hội tụ của hàm tổn thất Loss Function và tối ưu hóa đường cong F1-Score tại ngưỡng tin cậy 0,55.
• Triển khai thành công trên phần cứng nhúng NVIDIA Jetson Orin Nano với tốc độ suy luận thời gian thực 34 FPS.
• Cung cấp giải pháp kỹ thuật khả thi giải quyết triệt để bài toán người đi bộ bị che khuất và chồng lấn trong môi trường giao thông phức tạp.

Đóng góp chính của luận văn là hoàn thiện cấu trúc mạng học sâu tối ưu hóa cho bài toán nhận diện người đi bộ và kiểm chứng thành công trên phần cứng biên. Kế hoạch tiếp theo trong quý 4 năm 2024 là tích hợp giải thuật theo dõi đối tượng Deep SORT và lượng tử hóa INT8 trên TensorRT. Các tổ chức, doanh nghiệp và nhà nghiên cứu quan tâm có thể khai thác mã nguồn và mô hình đề xuất để ứng dụng trực tiếp vào các giải pháp an toàn giao thông đô thị và hệ thống xe tự hành thông minh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI Hiện nay lý thuyết và công nghệ xử lý ảnh và AI – Artifical Intelligence - Trí tuệ nhân tạo và đặc biệt hơn là Deep Learning (DL) - học sâu đã không còn quá xa lạ đối với cuộc sống con người, mặc dù chưa hoàn thiện nhưng nó vẫn là khía cạnh cần thiết để có thể hỗ trợ và giúp đời sống con người tiện lợi hơn. Nhận diện vật thể là một thách thức trong lĩnh vực thị giác máy tính. Trong những năm gần đây với sự phát triển nhanh chóng của DL, các vấn đề đã được nghiên cứu chuyên sâu và đã cho những kết quả vượt trội về nhận diện vật thể và những vấn đề liện quan như phân loại vật thể, định vị và phân đoạn vật thể Một phần được xem quan trọng nhất trong việc nhận dạng vật thể đó là nhận dạng người đi đường. Có nhiều ứng dụng điển hình cho việc áp dụng nó như hệ thống xe tự lái, hệ thống tự động lái xe vào bãi đỗ, theo dõi và phân tích lượng xe trên đường để đưa ra tín hiệu hợp lý cho đèn giao thông, hệ thống camera giám sát ở những khu dân cư.1 Lý do chọn đề tài Tổng quan hơn, thì nhận dang người đi đường luôn là một vấn đề khó trong nhận dạng vật thể.

Trong nhận dạng vật thể nói chung và nhận diện người đi đường nói riêng thì các đối tượng sẽ được phân loại bằng hai cách chính. Phân loại thứ nhất là 1 chặng hoặc 2 chặng để phát hiện vật thể. Với phương pháp 2 chặng thì nó sẽ tập trung chính vào việc chọn 1 số vùng có khả năng chứa vật thể thông qua những cấu trúc phức tạp. Đối với 1 chặng thì sẽ tập trung vào toàn các vùng và đưa ra xác suất vật thể đó là gì trong 1 luồng của cấu trúc.

Trên thực tế thì độ chính xác của hệ thống áp dụng phương pháp 2 chặng sẽ cao hơn, nhưng thời gian đáp ứng sẽ thấp hơn rất nhiều. Đồng thời với sự phát triển của phương pháp 1 chặng thì đôi lúc độ chính xác đạt vượt qua phương pháp 2 chặng nhưng tốc độ đáp ứng vẫn nhanh hơn rất nhiều. Hiện nay Yolo là một phương pháp nhận diện vật thể 1 chặng rất tốt. So sánh về hiệu năng giữa Yolo và Fast-RCNN – phương pháp 2 chặng thì độ chính xác trung bình là 63.4 và 70 tương ứng nhưng tốc độ đáp ứng của Yolo thì nhanh hơn 300 lần so với Fast-RCNN [1].

1 Hệ thống phát hiện người đi bộ sử dụng mô hình Yolov5 cải tiến GVHD: PGS.TS Trương Quang Vinh 1.2 Thách thức trong thuật toán phát hiện người đi đường Một trong những biến số thay đổi nhiều nhất khi giải quyết bài toán nhận dạng người đi đường đó là màu sắc và các loại quần áo của người đi bộ. Thêm vào đó một số phụ kiện có thể làm thay đổi hình dạng người đi đường như túi xách, ba lô hoặc bao tay. Ngoài ra rất nhiều trường hợp việc người đi bộ xuất hiện nhiều và chồng lấn lên nhau trong một vùng hình ảnh như hình 1.1: Frame ảnh chứ người đi đường chống lấn lên nhau được phát hiện bằng việc trích xuất thông tin toàn bộ và cục bộ [2] Các phương pháp trước đây để phát hiện người đi bộ đã sử dụng diện mạo toàn bộ cơ thể, hình dáng chân dung, hoặc một tập hợp các đặc trưng cục bộ. Đến ngày nay, chưa có phương pháp nào đã được đánh giá để phát hiện người đi bộ trong các tình huống đông người với sự chồng chéo trong vùng hình ảnh, mặc dù những loại tình huống này thường xuyên xảy ra trong các ứng dụng thực tế.

Mục tiêu là làm cho hệ thống có thể cải thiện số lượng phát hiện người đi bộ bị chồng lấn có trong frame ảnh. Các hệ thống hiệu quả phải tận dụng các ưu điểm của nhiều phương pháp, sử dụng cả diện mạo và dấu hiệu hình dạng, và tích hợp cả thông tin global và local (toàn diện và cục bộ).3 Nội dung Luận Văn Từ nghiên cứu tổng quan và tình hình nghiên cứu ngoài nước, đề tài thực hiện trong luận văn này là: 2 Hệ thống phát hiện người đi bộ sử dụng mô hình Yolov5 cải tiến GVHD: PGS.TS Trương Quang Vinh ❖ Phát triển và cải thiện mô hình Yolov5 để tăng chất lượng phát hiện người đi bộ của hệ thống. ❖ Hiện thực giải thuật trên kit Jetson (hoặc là GPU).4 Đóng góp của Luận Văn Đóng góp chính của Luận Văn sẽ là việc đưa ra thuật toán mới cho mô-đun tập trung là M-GAM và M-ECA. Từ đó sẽ đưa ra cấu trúc mới cho mô hình Yolo phiên bản 5.

Chương 3,4, và 5 sẽ trình bày chi tiết về thuật toán. Chương 6 và 7 sẽ trình bày kết quả và quá trình thực hiện trên kit Jetson Orin Nano.5 Cấu trúc Luận Văn Nội dung của Luận Văn sẽ được chia thành 8 chương. Chương 2 sẽ phân tích về cơ sở lý thuyết gồm cấu trúc, lịch sử của mạng Yolo và cấu trúc tập trung trong thị giác máy tính. Chương 3 sẽ đưa ra đề xuất về mô-đun tập trung GAM.

Chương 4 sẽ đưa ra đề xuất cho mô-đun tập trung M-ECA. Chương 5 sẽ đề xuất cấu trúc của mạng Yolo mới. Chương 6 sẽ trình bày kết quả về hiệu quả của phương thức mới thông qua các chỉ số Precesion, Recall, mAP. Đồng thời so sánh, phân tích kết quả đạt được với các bài báo cũng như version Yolo khác.

Chương 7 sẽ nghiên cứu và hiện thực giải thuật đó trên GPU đồng thời đo đạc runtime của thuật toán với kit Jetson NVIDIA. Chương 8 sẽ đưa ra phần mở rộng các ứng dụng có thể áp dụng kết quả của Luận Văn trong thực tế và các hướng phát triển của nó. 3 Hệ thống phát hiện người đi bộ sử dụng mô hình Yolov5 cải tiến GVHD: PGS.TS Trương Quang Vinh CHƯƠNG 2: CƠ SỞ LÝ THUYẾT YOLO đã trở thành một cấu trúc thường được ứng dụng cho các hệ thống phát hiện đối tượng thời gian thực cho robot, xe không người lái và ứng dụng giám sát video. Trong chương 2, sẽ phân tích toàn diện về sự tiến triển của YOLO, xem xét về các đổi mới và đóng góp trong mỗi phiên bản từ YOLO gốc đến YOLOv5.

Bắt đầu bằng cách mô tả các chỉ số tiêu chuẩn và quy trình xử lý sau đó sẽ thảo luận về những thay đổi chính trong kiến trúc mạng trong mỗi phiên bản. Đồng thời cũng nêu lên cơ sở lý thuyết của cơ chế tập trung, tích hợp vào mạng nơ-ron.1 Tình hình nghiên cứu ngoài nước Xem xét một số nguồn tài liệu từ nước ngoài, dưới đây là một số nhận xét và tổng hợp từ các tài liệu tham khảo liện quan đến việc sử dung Yolo phát hiện người đi bộ. Trong tài liệu Adaptive Fusion of Multi Scale YOLO for Pedestrian Detection [3] của tác giả Hsu và Lin đưa ra thách thức chính là độ chính xác và đa dạng về tỷ lệ hình ảnh nhận được về mô hình nhận diện người đi đường. Trong bài báo này chúng ta sẽ nghiên cứu theo hướng sẽ nhận diện vật thể trong khung hình rồi đưa ra thuật toán chia để trị để giải quyết vấn đề nói trên.

Như chúng ta thấy hình 2.1a là 1 mẫu thử cơ bản trong trạng thái bình thường, hình 2.1b đước trải dài gấp 3 lần hình 2.1d được thay đổi tỷ lệ. Chúng ta thấy vấn đề ở đây là đối tượng người đi bộ trong hình ảnh bị thay đổi quá lớn thậm chí không thể phát hiện được sau khi thay đổi tỷ lệ. Đồng thới những ngưới đi bộ có trang phục giống với hình nền của ảnh thì dường như bị mất thông tin trong quá trình phát hiện vật thể. Để giải quyết tình trạng này thì tác giả sẽ đưa ra model mới lấy nền tảng trên Yolov4.

Đầu vào của hệ thống là chiều dài và rộng của hình ảnh, sau đó thay đổi tỷ lệ lại và truyền thông tin đó vào mạng lưới nhận dạng đối tượng (CNN Model) như hình 2. Tiếp theo sẽ chia nhỏ những đối tượng không chồng lấn. Cuối cùng dùng bộ thích nghi để dung hợp 2 hình ảnh con lại và đưa ra hình ảnh cuối cùng với hiệu năng cao hơn. 4 Hệ thống phát hiện người đi bộ sử dụng mô hình Yolov5 cải tiến GVHD: PGS.TS Trương Quang Vinh Hình 2.1: Hình ảnh chứa người đi bộ bị co giãn khi qua mạng nơ-ron Đầu tiên hệ thống sẽ lấy thông tin của khung ảnh sau đó tỷ lệ hình ảnh sẽ được thay đổi.

Tiếp tục khung ảnh đó sẽ được đưa vào convolution neural network (CNN). Từ kết quả nhận dạng các bouding box, hệ thống sẽ phân mảnh thành các ảnh con với tỷ lệ khác nhau. Ảnh con sẽ chứa dối tượng mà không chồng lấn với nhau (trong hệ thống, hình xanh lá cây sẽ có chồng lấn, hình xanh dương không chồng lấn). Thuật toán được mô tả trong hình 2.

5 Hệ thống phát hiện người đi bộ sử dụng mô hình Yolov5 cải tiến GVHD: PGS.TS Trương Quang Vinh Hình 2.2: Ảnh được thay đổi kích thước sau đó được chia ra thành 2 ảnh con trước khi qua bộ thích nghi tương ứng Sau đó các hình ảnh con này được tiếp tục chuyển vào CNN để tiếp tục nhận diện các đặc điểm của vật thể. Cuối cùng bộ thích nghi dung hợp (Multi resolution adaptive fusion) được sử dụng để kết hợp 2 ảnh con lại và cho ra kết quả cuối cùng (góc trái).3: Kết quả đạt được khi sử dụng phương pháp mới Kết quả cho thấy độ chính xác trung bình mAP sẽ được cải thiện từ 87.4% so với Yolov3, 90.5% so với Yolov4 sẽ tăng lên 91.6% so với mô hình mới. Kết quả ở hình 2.3 được huấn luyện và đánh giá trên cùng một tập dữ liệu VOC [3]. 6 Hệ thống phát hiện người đi bộ sử dụng mô hình Yolov5 cải tiến GVHD: PGS.TS Trương Quang Vinh Thêm vào đó bài báo Deep-Learning Based Pedestrian Direction Detection for Anti-collision of Intelligent Self-propelled Vehicles [5] của Lin và các cộng sự đưa ra vấn đề cần phát hiện người đi bộ đồng thời phải phát hiện ra được hướng đi của người đi bộ.

Mục đích của việc này là để triển khai mô hình trên một robot trong trung tâm thương mại giúp cho robot có thể tránh được người đi bộ trong quá trình vận hành. Trong bài bào này Lin và các cộng sự của mình đã cải thiện Yolov2. Đề xuất là đưa ra một mạng mới Yolo-PD với trọng số nhẹ (leightweights) bằng việc giàm các lớp trong mô hình Yolov2 xuống để cải thiện tốc độ xử lý thời gian thực nhưng đồng thời chỉ số precision phải được cải thiện.4 mô tả dataset khi được đánh mã, sẽ có 6 hướng Back, Right, Front Right, Front, Front Left, Left.