Tổng quan nghiên cứu

Tai nạn giao thông đường bộ liên quan đến người đi bộ hiện chiếm khoảng 22% tổng số ca tử vong trên toàn cầu theo các báo cáo an toàn giao thông quốc tế. Trong lĩnh vực thị giác máy tính, nhận diện người đi bộ là một bài toán then chốt nhưng luôn đối mặt với nhiều thách thức phức tạp do sự đa dạng về trang phục, màu sắc, phụ kiện mang theo và đặc biệt là tình trạng các đối tượng bị che khuất, chồng lấn mật độ cao trong đám đông. Các giải pháp hai giai đoạn truyền thống tuy đạt độ chính xác cao nhưng tốc độ phản hồi rất chậm, trong khi kiến trúc phát hiện một giai đoạn như YOLO đã tạo nên bước ngoặt với tốc độ xử lý nhanh gấp 300 lần so với Fast R-CNN, cân bằng hiệu quả giữa độ chính xác đạt trên 63.4% và khả năng đáp ứng thời gian thực.

Luận văn thạc sĩ chuyên ngành Kỹ thuật Viễn thông của tác giả Phạm Hiển Long, được thực hiện dưới sự hướng dẫn khoa học của Phó Giáo sư Tiến sĩ Trương Quang Vinh tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh và bảo vệ thành công vào tháng 1 năm 2024, tập trung giải quyết triệt để vấn đề này. Mục tiêu nghiên cứu cụ thể là phát triển, tối ưu hóa mô hình YOLOv5 thông qua việc cải tiến các khối tập trung M-GAM và M-ECA, đồng thời hiện thực hóa giải thuật trên phần cứng nhúng Jetson Orin Nano phục vụ giám sát thời gian thực. Công trình mang ý nghĩa thực tiễn lớn khi nâng cao chỉ số Precision và Recall thêm 4% đến 7%, duy trì tốc độ xử lý trên 30 khung hình trên giây, tạo tiền đề ứng dụng hiệu quả cho xe tự hành, robot thông minh và camera giám sát đô thị.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng mạng nơ-ron tích chập (CNN) và kiến trúc phát hiện đối tượng một giai đoạn YOLO từ YOLOv1 đến YOLOv5 với cấu trúc CSPNet và mạng phân cấp đặc trưng PANet. Hệ thống sử dụng hàm mất mát toàn diện gồm mất mát vị trí hộp giới hạn với hệ số phạt tọa độ bằng 5, mất mát phát hiện vật thể và mất mát phân loại. Chỉ số độ giao trên hợp (IoU), cùng các biến thể mở rộng như GIoU và CIoU, được áp dụng nhằm tối ưu hóa khoảng cách Euclid giữa tâm hộp dự đoán và hộp chuẩn, giải quyết triệt để tình trạng triệt tiêu gradient khi hai hộp không giao nhau. Thuật toán loại bỏ phần chưa tối đa Non-Maximum Suppression (NMS) với ngưỡng xác suất tin cậy 0.5 giúp lọc bỏ các hộp mỏ neo dư thừa. Mô hình thiết lập 9 hộp mỏ neo (Anchor Box) phân bổ trên 3 tầng đặc trưng với kích thước lưới lần lượt là 20x20, 40x40 và 80x80 ô lưới, cho phép mỗi ô dự đoán tối đa 3 đối tượng với 21 giá trị đầu ra tương ứng.

Bên cạnh đó, lý thuyết về cơ chế tập trung thị giác được vận dụng chuyên sâu để tăng cường khả năng trích xuất đặc trưng. Tác giả đề xuất mô-đun M-GAM cải tiến với việc tinh chỉnh tỷ lệ rút gọn r bằng 4 hoặc 8, tích hợp lớp hoán vị kênh (Channel Shuffle) và thay thế hàm kích hoạt ReLU bằng hàm H-swish để bảo toàn thông tin xuyên chiều. Đồng thời, mô-đun M-ECA được tích hợp trực tiếp vào khối C3 của Backbone và Head, sử dụng phép tích chập một chiều thích ứng với kích thước kernel k bằng 3 để nắm bắt tương quan giữa các kênh cục bộ mà không làm gia tăng khối lượng tham số tính toán.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu chuẩn Penn-Fudan, bao gồm 170 hình ảnh ghi nhận 345 đối tượng người đi bộ được dán nhãn chi tiết trong các bối cảnh đô thị và khuôn viên công cộng. Phương pháp chọn mẫu áp dụng quy tắc phân chia ngẫu nhiên phân tầng với tỷ lệ 80% dữ liệu cho tập huấn luyện (136 ảnh) và 20% dữ liệu cho tập kiểm định (34 ảnh), đảm bảo tính khách quan và kiểm soát hiện tượng quá khớp (overfitting). Để nâng cao tính khái quát hóa cho mô hình trong điều kiện thực tế, quy trình tiền xử lý áp dụng kỹ thuật tăng cường dữ liệu bao gồm xoay ảnh ngẫu nhiên theo các góc từ âm 15 độ đến dương 15 độ và cắt tỉa khung hình với tỷ lệ 50%.

Lý do lựa chọn phương pháp phân tích học sâu trên framework PyTorch là khả năng tự động học các đặc trưng biểu diễn phân tầng phức tạp vượt trội so với các giải thuật trích xuất thủ công truyền thống. Quá trình huấn luyện mô hình được triển khai trên nền tảng điện toán đám mây Google Colab với GPU hiệu năng cao trong 100 epoch với kích thước batch là 16. Sau khi hàm mất mát đạt trạng thái hội tụ tối ưu, mô hình được đóng gói, chuyển đổi định dạng và nạp thực thi trực tiếp trên bo mạch phần cứng nhúng Jetson Orin Nano (trang bị vi kiến trúc Ampere với 1024 lõi CUDA và bộ nhớ 8GB), phục vụ việc đo đạc hiệu năng thời gian thực từ luồng video và camera thực tế từ tháng 9 năm 2023 đến tháng 1 năm 2024.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đối sánh giữa mô hình YOLOv5 gốc và kiến trúc YOLOv5 cải tiến đề xuất trong luận văn đã mang lại các kết quả vượt trội trên nhiều chỉ số đo lường. Thứ nhất, về độ chính xác nhận dạng, mô hình cải tiến đạt mức tăng Precision thêm 4.2% và Recall tăng 5.8% so với mô hình cơ sở, đưa chỉ số F1-score tổng thể từ mức 0.71 lên đạt xấp xỉ 0.78 tại thời điểm 100 epoch. Thứ hai, sự kết hợp giữa mô-đun M-GAM tại phần Head và C3-ECA tại phần Backbone đã nâng cao chỉ số mAP@0.5 thêm 3.6%, đặc biệt cải thiện rõ rệt khả năng phát hiện người đi bộ bị che khuất một phần từ 40% đến 60% diện tích thân người trong các khung cảnh đông đúc.

Thứ ba, khảo sát tiến trình huấn luyện cho thấy mô hình cải tiến có tốc độ hội tụ nhanh hơn khoảng 15 epoch so với mô hình gốc, đồng thời giá trị mất mát vị trí hộp giới hạn giảm mạnh từ 0.042 xuống còn 0.028 trên tập kiểm định. Thứ tư, khi kiểm thử thực tế trên bo mạch nhúng Jetson Orin Nano, hệ thống duy trì tốc độ xử lý mượt mà từ 32 đến 45 FPS ở độ phân giải tiêu chuẩn 640x640 pixel, giảm độ trễ xử lý mỗi khung hình xuống dưới 28 mili-giây, nhanh hơn 10 FPS so với các giải pháp nhúng tiền nhiệm trên cùng phân khúc phần cứng.

Thảo luận kết quả

Kết quả đạt được khẳng định tính đúng đắn của việc tích hợp cơ chế chú ý kênh và không gian vào mạng phát hiện một giai đoạn. Việc thay thế hàm kích hoạt truyền thống bằng hàm H-swish trong mô-đun M-GAM và M-ECA giúp bảo toàn đạo hàm mượt mà tại các giá trị âm, duy trì luồng gradient ổn định và phân biệt chính xác các đặc trưng biên dạng của người đi bộ trong điều kiện tương phản kém hoặc trang phục trùng màu nền.

Về mặt biểu diễn dữ liệu, các kết quả thực nghiệm trong luận văn có thể được trình bày rõ ràng thông qua biểu đồ đường cong Precision-Recall (PR Curve), đồ thị F1-Confidence Score và bảng so sánh đa chỉ số giữa các phiên bản. Các bảng thống kê thực nghiệm phân theo khung giờ chỉ ra rằng trong điều kiện ánh sáng thay đổi từ 500 lux vào buổi sáng đến 10.000 lux vào buổi trưa, mô hình cải tiến duy trì tỷ lệ nhận diện đúng cao hơn 8% so với mô hình ban đầu. So với các công trình tích hợp YOLOv4 (đạt mAP 90.5% trên tập dữ liệu VOC) hay YOLOv3 kết hợp mô-đun ASFF, giải pháp của luận văn không chỉ đạt độ chính xác tương đương mà còn giảm 20% dung lượng bộ nhớ tham số, chứng minh tính khả thi vượt trội khi triển khai trên các thiết bị biên hạn chế tài nguyên.

Đề xuất và khuyến nghị

Nhằm thúc đẩy khả năng ứng dụng thực tế của mô hình, nghiên cứu đưa ra 4 giải pháp cụ thể:

Thứ nhất, tối ưu hóa quá trình biên dịch và nén mô hình thông qua công cụ NVIDIA TensorRT với định dạng lượng tử hóa số nguyên INT8 và bán chính xác FP16. Mục tiêu kỹ thuật là nâng tốc độ xử lý khung hình thêm 25% đến 30%, đạt ngưỡng 55 đến 60 FPS trên kit nhúng Jetson Orin Nano, do đội ngũ kỹ sư phần mềm nhúng thực hiện trong lộ trình 3 đến 6 tháng.

Thứ hai, mở rộng cơ sở dữ liệu huấn luyện bằng cách thu thập, chuẩn hóa thêm khoảng 5.000 đến 10.000 khung hình người đi bộ thực tế tại các tuyến đường đô thị Việt Nam. Quá trình này cần bao phủ các điều kiện thời tiết phức tạp (mưa, sương mù) và các khung giờ cao điểm (sáng 7h-8h, tối 18h-20h), do các viện nghiên cứu và phòng thí nghiệm thị giác máy tính triển khai trong vòng 6 tháng tới.

Thứ ba, tích hợp thuật toán theo dõi đa đối tượng DeepSORT hoặc ByteTrack kết hợp bộ lọc Kalman vào kiến trúc YOLOv5 cải tiến, nhằm duy trì nhận dạng liên tục cho từng đối tượng với chỉ số theo dõi chính xác MOTA đạt trên 65% và IDF1 vượt ngưỡng 80%, hoàn thành trong thời gian 4 tháng bởi các kỹ sư thị giác máy tính.

Thứ tư, xây dựng hệ thống cảnh báo sớm va chạm cho 2 đến 3 dòng xe tự hành cỡ nhỏ hoặc trạm giám sát an ninh điện lực, đảm bảo thời gian kích hoạt tín hiệu báo động dưới 50 mili-giây, do các doanh nghiệp công nghệ tự động hóa phối hợp thực hiện trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật chuyên sâu và tài liệu ứng dụng thiết thực cho 4 nhóm đối tượng chính:

  1. Kỹ sư phát triển hệ thống xe tự lái và ADAS: Tiếp cận giải pháp nhận dạng người đi bộ gọn nhẹ, độ chính xác cao, giúp tối ưu hóa thuật toán phanh tự động khẩn cấp với độ trễ phản hồi dưới 30 mili-giây trên các vi xử lý biên tiết kiệm năng lượng.

  2. Nhà nghiên cứu và học viên cao học ngành Kỹ thuật Viễn thông, Công nghệ Thông tin, Trí tuệ Nhân tạo: Nguồn tài liệu học thuật giá trị về phương pháp cải tiến các mô-đun chú ý M-GAM, M-ECA và kỹ thuật tinh chỉnh hàm kích hoạt H-swish trong mạng CNN với hơn 20 công trình tham khảo chuyên ngành.

  3. Doanh nghiệp và chuyên gia phát triển giải pháp giám sát an ninh đô thị: Ứng dụng mô hình vào hệ thống camera công cộng, giúp phân tích mật độ đám đông và phát hiện người xâm nhập vùng nguy hiểm tại các trạm biến áp với độ tin cậy vượt trên 95%.

  4. Kỹ sư hệ thống nhúng và IoT: Tham khảo chi tiết sơ đồ khối phần cứng bo mạch Jetson Orin Nano, cấu trúc SoC vi kiến trúc Ampere với 1024 lõi CUDA và quy trình chuyển giao hoàn chỉnh mô hình từ PyTorch sang môi trường nhúng thực tế.

Câu hỏi thường gặp

Điểm đột phá cốt lõi của mô hình YOLOv5 cải tiến trong luận văn là gì?

Đột phá cốt lõi nằm ở việc cấu trúc lại mô-đun M-GAM với tỷ lệ rút gọn r bằng 4 kết hợp lớp hoán vị kênh, cùng mô-đun M-ECA sử dụng hàm kích hoạt H-swish trong khối C3. Cải tiến này giúp nâng chỉ số Precision thêm 4.2%, tăng cường khả năng trích xuất đặc trưng xuyên chiều mà không làm tăng đáng kể kích thước mô hình.

Vì sao cơ chế chú ý M-GAM và M-ECA lại giúp nhận diện tốt người đi bộ bị che khuất?

Mô-đun M-GAM duy trì tương quan không gian và kênh đồng thời, trong khi M-ECA khai thác liên kết giữa các kênh cục bộ qua tích chập 1D với kernel k bằng 3. Nhờ đó, mạng tập trung chính xác vào các đặc trưng hình thái then chốt như đầu, vai thay vì bị phân tán bởi nền, giảm tỷ lệ bỏ sót đối tượng bị che khuất 50% xuống mức tối thiểu.

Bo mạch nhúng Jetson Orin Nano mang lại lợi ích gì khi triển khai hệ thống thực tế?

Bo mạch Jetson Orin Nano sở hữu 1024 lõi CUDA kiến trúc Ampere, cung cấp năng lực tính toán AI đạt 40 TOPS. Khi thực thi mô hình YOLOv5 cải tiến, thiết bị đạt tốc độ xử lý từ 32 đến 45 FPS với độ trễ dưới 28 mili-giây, đáp ứng trọn vẹn tiêu chuẩn thời gian thực trong khi chỉ tiêu thụ công suất từ 7W đến 15W.

Tập dữ liệu Penn-Fudan được xử lý và phân chia như thế nào trong nghiên cứu?

Tập dữ liệu gồm 170 hình ảnh với 345 cá thể người đi bộ được phân chia theo tỷ lệ 80% cho tập huấn luyện và 20% cho tập kiểm định. Quy trình tiền xử lý kết hợp kỹ thuật xoay góc ngẫu nhiên từ âm 15 độ đến dương 15 độ cùng thao tác cắt ảnh tỷ lệ 50%, giúp tăng gấp đôi độ phong phú của dữ liệu và chống hiện tượng quá khớp hiệu quả.

Hệ thống giải quyết bài toán cân bằng giữa tốc độ và độ chính xác ra sao?

Bằng cách tối ưu hóa kiến trúc một giai đoạn của YOLOv5 thay vì sử dụng cấu trúc hai giai đoạn cồng kềnh, hệ thống duy trì tốc độ nhanh hơn 300 lần so với Fast R-CNN. Việc tích hợp các khối chú ý gọn nhẹ kết hợp hàm mất mát CIoU giúp cân bằng tối ưu giữa chỉ số mAP đạt 0.78 và tốc độ phản hồi trên 30 khung hình trên giây.

Kết luận

  • Hoàn thiện thành công kiến trúc YOLOv5 cải tiến với hai mô-đun chú ý M-GAM và M-ECA, nâng cao chỉ số Precision lên 4.2% và Recall lên 5.8%.
  • Tối ưu hóa hàm kích hoạt H-swish và lớp hoán vị kênh, giúp hệ thống phát hiện chính xác người đi bộ bị che khuất từ 40% đến 60% diện tích cơ thể.
  • Hiện thực hóa và kiểm thử thành công trên kit phần cứng Jetson Orin Nano, đạt tốc độ xử lý thời gian thực từ 32 đến 45 FPS với độ trễ dưới 28 mili-giây.
  • Chuẩn hóa quy trình tiền xử lý và tăng cường dữ liệu trên tập Penn-Fudan, rút ngắn thời gian hội tụ của hàm mất mát xuống 15 epoch.
  • Đề xuất lộ trình mở rộng rõ ràng với các giải pháp tích hợp thuật toán theo dõi DeepSORT và nén mô hình bằng TensorRT trong vòng 6 đến 12 tháng tới.

Luận văn đã đóng góp một giải pháp công nghệ hoàn chỉnh từ cơ sở lý thuyết học sâu đến việc triển khai thực tế trên phần cứng nhúng biên. Các nhà phát triển hệ thống xe tự hành, camera an ninh và cộng đồng nghiên cứu thị giác máy tính có thể tham khảo, ứng dụng ngay kiến trúc này để nâng cao độ chính xác và tốc độ xử lý trong các bài toán nhận diện thời gian thực.