Báo Cáo Nghiên Cứu: Nhận Diện Biển Báo Giao Thông Đường Phố Việt Nam Sử Dụng Deep Learning Và Mô Hình YOLOv4
Tóm tắt nghiên cứu (Abstract)
- Câu hỏi nghiên cứu chính: Làm thế nào để xây dựng một hệ thống thị giác máy tính có khả năng tự động phát hiện và nhận diện chính xác, thời gian thực các loại biển báo giao thông trong điều kiện giao thông phức tạp, ánh sáng thay đổi tại Việt Nam, đồng thời có thể triển khai thực tế trên các thiết bị nhúng giá thành thấp?
- Phương pháp tiếp cận: Nghiên cứu ứng dụng kiến trúc mạng nơ-ron tích chập đơn tầng (Single-stage Object Detector) YOLOv4 kết hợp với mạng xương sống (Backbone) CSPDarknet53, khối cổ (Neck) SPP (Spatial Pyramid Pooling) và PAN (Path Aggregation Network). Mô hình được huấn luyện trên nền tảng Darknet bằng GPU Tesla P100 trong 104 giờ với tập dữ liệu thực nghiệm gồm hơn 3.600 hình ảnh thực tế tại TP. Hồ Chí Minh, bao quát 12 nhóm biển báo phổ biến, tích hợp các kỹ thuật tăng cường dữ liệu tiên tiến như Mosaic, CutMix, MixUp, Saturation và cơ chế Early Stopping, Step Learning Rate Scheduler.
- Kết quả then chốt: Mô hình đạt độ chính xác phát hiện cao, có khả năng định vị chính xác bounding box và phân loại đúng biển báo trong nhiều điều kiện thử thách (ban ngày, ban đêm, góc nhìn nghiêng, ảnh bị mờ hoặc biển báo bị che khuất một phần). Hệ thống đã được kiểm nghiệm thành công trên hình ảnh tĩnh, luồng video thực tế và nhúng trực tiếp trên phần cứng máy tính nhỏ gọn Raspberry Pi 4.
- Ý nghĩa thực tiễn: Nghiên cứu cung cấp một giải pháp khả thi về mặt kỹ thuật và tối ưu về chi phí để tích hợp vào các hệ thống hỗ trợ lái xe an toàn (ADAS), camera hành trình thông minh và phương tiện tự hành (Autonomous Vehicles) phù hợp với điều kiện hạ tầng giao thông đô thị tại Việt Nam.
Bối cảnh và tầm quan trọng (Context & Significance)
Thực trạng kiến thức và bài toán công nghệ
Thị giác máy tính (Computer Vision) kết hợp cùng Học sâu (Deep Learning - DL) đã tạo nên bước nhảy vọt trong bài toán nhận diện vật thể. Trong lĩnh vực giao thông thông minh (Intelligent Transportation Systems - ITS), việc nhận diện biển báo là thành phần cốt lõi của các hệ thống tự hành và hỗ trợ người lái.
Lịch sử phát triển nhận diện vật thể chia thành hai trường phái:
- Two-stage Detection (R-CNN, Fast R-CNN, Faster R-CNN): Độ chính xác cao nhưng tốc độ xử lý chậm, khó đáp ứng xử lý thời gian thực (Real-time).
- Single-stage Detection (SSD, YOLO Series): Xử lý hình ảnh theo dạng End-to-End, gộp việc dự đoán vị trí (Bounding box) và phân loại (Classification) vào một mạng duy nhất, mang lại tốc độ vượt trội. Sự ra đời của YOLOv4 (Alexey Bochkovskiy et al.) đã thiết lập chuẩn mực mới khi nâng cao đồng thời cả tốc độ tính toán (FPS) lẫn độ chính xác trung bình (mAP).
+-----------------------------------------------------------------------+
| HỆ THỐNG NHẬN DIỆN VẬT THỂ HIỆN NAY |
+-----------------------------------+-----------------------------------+
| Two-stage Detection | Single-stage Detection |
| (Faster R-CNN, Cascade R-CNN) | (SSD, YOLOv3, YOLOv4) |
+-----------------------------------+-----------------------------------+
| - Chia thành 2 bước tách biệt | - Dự đoán trực tiếp End-to-End |
| - Độ chính xác cao | - Tốc độ cực nhanh (Real-time) |
| - Tốc độ chậm, tốn tài nguyên | - Phù hợp thiết bị nhúng / Edge |
+-----------------------------------+-----------------------------------+
Khoảng trống nghiên cứu (Research Gap)
Phần lớn các nghiên cứu và tập dữ liệu chuẩn quốc tế hiện nay (như GTSRB của Đức, TT100K của Trung Quốc) được thu thập trong điều kiện đường sá quy chuẩn ở các nước phát triển. Khi áp dụng trực tiếp vào Việt Nam, các mô hình này bộc lộ nhiều hạn chế do:
- Đặc thù giao thông hỗn hợp với mật độ xe máy dày đặc làm biển báo thường xuyên bị che khuất một phần.
- Vị trí lắp đặt biển báo không hoàn toàn đồng nhất, góc nhìn từ phương tiện bị biến dạng liên tục.
- Điều kiện chiếu sáng ban đêm phức tạp với độ tương phản cao do đèn đường và đèn pha xe.
- Thiếu các nghiên cứu thực nghiệm hoàn chỉnh từ khâu xây dựng dữ liệu thực tế tại đô thị lớn như TP.HCM đến việc kiểm thử trên phần cứng nhúng biên (Edge AI) như Raspberry Pi.
Tính cấp thiết và tác động tiềm năng
Nghiên cứu được thực hiện tại Bộ môn Điều khiển Tự động – Khoa Điện-Điện tử, Trường Đại học Bách Khoa – ĐHQG TP.HCM nhằm giải quyết bài toán giao thông thực tiễn. Việc làm chủ công nghệ nhận diện biển báo giao thông đường bộ nội địa không chỉ đóng góp vào giải pháp giảm thiểu tai nạn giao thông mà còn đặt nền móng công nghệ cho các dòng xe tự hành “Made in Vietnam” trong tương lai.
Phương pháp luận và cách tiếp cận (Methodology)
Nghiên cứu xây dựng một quy trình khép kín, chuẩn hóa từ tiền xử lý dữ liệu đến huấn luyện mô hình và hiện thực hóa phần cứng.
+------------------------------------------------------------------------------------+
| QUY TRÌNH THỰC HIỆN HỆ THỐNG NHẬN DIỆN BIỂN BÁO |
+------------------------------------------------------------------------------------+
[Thu thập dữ liệu] --> [Gán nhãn LabelImg] --> [Tiền xử lý & Augmentation]
|
v
[Deploy: Raspberry Pi 4] <-- [Đánh giá mAP/IoU] <-- [Huấn luyện YOLOv4/Darknet]
+------------------------------------------------------------------------------------+
1. Thiết kế và thu thập tập dữ liệu thực nghiệm
Nhóm nghiên cứu đã trực tiếp ghi hình và thu thập hơn 3.600 bức ảnh chất lượng cao tại nhiều tuyến đường thuộc TP. Hồ Chí Minh. Dữ liệu bao gồm các khung hình cắt từ video quay liên tục ở các góc độ di chuyển thực tế của phương tiện, bao gồm cả hai bối cảnh quan trọng: ban ngày và ban đêm.
Tập dữ liệu được phân loại thành 12 nhóm biển báo giao thông chính:
| STT | Nhóm biển báo giao thông | Số lượng mẫu thu thập | Đặc trưng nhận diện |
|---|---|---|---|
| 1 | Cấm ngược chiều | 621 | Hình tròn, nền đỏ, vạch ngang trắng |
| 2 | Cấm các loại phương tiện (ô tô, mô tô, xe tải) | 1.188 | Hình tròn viền đỏ, ký hiệu phương tiện |
| 3 | Cấm rẽ | 977 | Hình tròn viền đỏ, mũi tên chỉ hướng bị gạch chéo |
| 4 | Cấm dừng và đỗ xe | 908 | Hình tròn nền xanh, viền đỏ, 2 vạch chéo đỏ |
| 5 | Cấm đỗ xe | 1.750 | Hình tròn nền xanh, viền đỏ, 1 vạch chéo đỏ |
| 6 | Các loại biển cấm khác | 453 | Đa dạng nội dung cấm đặc thù |
| 7 | Biển báo nguy hiểm: Có trẻ em | 340 | Hình tam giác vàng viền đỏ, hình trẻ em |
| 8 | Các biển báo nguy hiểm khác | 696 | Hình tam giác vàng, cảnh báo chướng ngại/giao cắt |
| 9 | Hiệu lệnh: Hướng đi vòng sang phải | 367 | Hình tròn nền xanh, mũi tên chỉ hướng vòng |
| 10 | Biển báo giới hạn tốc độ | 402 | Hình tròn viền đỏ, số tốc độ tối đa cho phép |
| 11 | Hiệu lệnh: Có vòng xuyến | 232 | Hình tròn nền xanh, 3 mũi tên tạo vòng tròn |
| 12 | Các biển hiệu lệnh khác | 114 | Các chỉ dẫn bắt buộc thi hành |
Dữ liệu sau khi thu thập được làm sạch (loại bỏ ảnh quá mờ, ảnh chói lóa mất nét) và tiến hành gán nhãn bounding box chuẩn xác theo định dạng YOLO bằng công cụ mã nguồn mở LabelImg.
2. Kỹ thuật tăng cường dữ liệu (Data Augmentation)
Để giải quyết hiện tượng quá khớp (Overfitting) và nâng cao khả năng khái quát hóa, hàng loạt kỹ thuật hiện đại được tích hợp trực tiếp vào tệp cấu hình Darknet:
- Mosaic Augmentation: Ghép 4 bức ảnh huấn luyện ngẫu nhiên thành 1 khung hình với tỉ lệ linh hoạt, giúp mô hình học cách phát hiện vật thể ở kích thước nhỏ hơn bình thường và thích ứng với bối cảnh phức tạp.
- MixUp & CutMix: Trộn lớp mờ hoặc cắt dán một phần đối tượng từ ảnh này sang ảnh khác nhằm kích thích mô hình trích xuất đặc trưng phân mảnh.
- Random Erase & Blur: Xóa/làm mờ ngẫu nhiên một vùng ảnh để mô hình nhận diện được ngay cả khi biển báo bị cây xanh, cột đèn che khuất.
- Photometric Distortions: Điều chỉnh Saturation (độ bão hòa màu = 1.1), Exposure (độ phơi sáng), Hue (sắc thái màu) để mô phỏng điều kiện thời tiết nắng gắt, mưa gió hoặc ánh sáng yếu ban đêm.
3. Cấu trúc mạng nơ-ron YOLOv4
- Backbone (CSPDarknet53): Sử dụng liên kết Cross-Stage Partial giúp chia đôi luồng đặc trưng (một nửa qua Dense Block, một nửa đi thẳng qua Transition Layer), kết hợp hàm kích hoạt tối ưu Mish Activation Function. Cấu trúc này giảm 50% khối lượng tính toán so với ResNet truyền thống mà vẫn tăng cường khả năng học sâu.
- Neck (SPP + PAN):
- SPP (Spatial Pyramid Pooling): Tích hợp max-pooling với nhiều kích thước kernel khác nhau để gia tăng phạm vi tiếp nhận (Receptive field) mà không làm suy giảm tốc độ.
- PAN (Path Aggregation Network): Bổ sung đường bottom-up thứ hai sau FPN để bảo toàn thông tin không gian chi tiết từ các lớp nông, sử dụng phép gộp nối (concatenation) giúp định vị vật thể nhỏ cực kỳ chính xác.
- Head: Kế thừa cơ chế dự đoán đa quy mô của YOLOv3 với bộ phân loại Logistic độc lập (Independent Logistic Classifier) cho bài toán đa nhãn.
4. Chiến lược huấn luyện và tối ưu hóa
- Nền tảng thực thi: Framework mã nguồn mở Darknet (C/CUDA) trên môi trường Google Colaboratory với card tăng tốc đồ họa GPU NVIDIA Tesla P100.
- Thời gian huấn luyện: 104 giờ liên tục với 24.000 iterations ($2.000 \times 12 \text{ classes}$).
- Kỹ thuật tối ưu:
- Burn-in (Warm-up): Tăng dần Learning rate từ 0 lên 0.001 trong 1.000 vòng lặp đầu tiên để ổn định trọng số ban đầu.
- Step Learning Rate Scheduler: Giảm tốc độ học theo tỉ lệ $\times 0.1$ tại các mốc vòng lặp thứ 10.000 và 15.000.
- Early Stopping: Liên tục giám sát sai số trên tập kiểm tra (Validation Loss), tự động lưu trữ bộ trọng số tối ưu nhất (
*-best.weights).
Phát hiện chính (Key Findings & Empirical Results)
Qua quá trình thực nghiệm nghiêm ngặt, nghiên cứu đã rút ra các kết luận định lượng và định tính quan trọng:
+-------------------------------------------------------------------------------+
| TỔNG HỢP CÁC KẾT QUẢ ĐẠT ĐƯỢC |
+-------------------------------------------------------------------------------+
| [1] Độ chính xác cao (mAP) : Phân biệt chính xác 12 nhóm biển báo |
| [2] Nhận diện đa điều kiện : Ổn định cả ban ngày, ban đêm, ngược sáng |
| [3] Khả năng chịu lỗi che khuất : Nhận diện tốt khi biển báo bị che mất góc |
| [4] Khả năng nhúng biên : Chạy thời gian thực trên Raspberry Pi 4 |
+-------------------------------------------------------------------------------+
1. Năng lực phát hiện vượt bậc đối với vật thể nhỏ (Small Objects)
Biển báo giao thông khi nhìn từ xa trên camera hành trình thường chiếm tỷ lệ pixel rất nhỏ trên khung hình ($< 32 \times 32\text{ px}$). Nhờ sự phối hợp giữa khối cổ PAN và phương pháp tăng cường Mosaic, mô hình YOLOv4 giữ lại trọn vẹn thông tin độ phân giải cao, khắc phục triệt để hiện tượng "bỏ sót" biển báo ở cự ly xa của các kiến trúc tiền nhiệm.
2. Độ bền vững cao trong môi trường ánh sáng phức tạp
Thử nghiệm trên dữ liệu kiểm tra ban đêm cho thấy mô hình không bị phụ thuộc vào màu sắc chuẩn ban ngày. Nhờ các kỹ thuật biến đổi độ phơi sáng và bão hòa màu, các biển báo có độ tương phản thấp dưới ánh đèn đường vàng hoặc bị chói bởi đèn pha xe đối diện vẫn được phát hiện với độ tin cậy ($Confidence \text{ Score}$) cao.
3. Khả năng nhận diện vật thể bị che khuất một phần
Khi áp dụng kỹ thuật Random Erase và CutMix trong pha huấn luyện, mạng nơ-ron học cách trích xuất các đặc trưng phân bố thay vì chỉ tập trung vào một dấu hiệu duy nhất. Trong các tình huống thực tế tại đường phố TP.HCM – nơi biển báo thường bị tán cây, dây điện hoặc biển hiệu quảng cáo che mất 20–40% diện tích – mô hình vẫn đưa ra dự đoán chính xác với chỉ số IoU cao.
4. Tính khả thi khi triển khai trên phần cứng giới hạn tài nguyên
Thực nghiệm nạp mô hình đã huấn luyện lên Raspberry Pi 4 cho kết quả đầy hứa hẹn. Dù vi xử lý ARM trên Raspberry Pi có năng lực tính toán hạn chế so với GPU máy trạm, hệ thống vẫn duy trì khả năng nhận diện liên tục trên luồng video với độ trễ chấp nhận được, khẳng định tiềm năng thương mại hóa thành các thiết bị gắn trên ô tô/xe máy với chi phí cực thấp.
Đóng góp khoa học và giá trị ứng dụng (Contributions)
+-------------------------------------------------------------------------+
| CÁC ĐÓNG GÓP CHÍNH |
+-------------------------------------------------------------------------+
| - Về Dữ liệu : Bộ dữ liệu 3.600+ ảnh biển báo đường phố Việt Nam |
| - Về Kỹ thuật : Tối ưu pipeline huấn luyện YOLOv4/Darknet hoàn chỉnh |
| - Về Thực tiễn : Minh chứng khả năng nhúng trên vi xử lý giá rẻ |
| - Về Xã hội : Nâng cao an toàn giao thông đô thị |
+-------------------------------------------------------------------------+
- Đóng góp về mặt phương pháp luận: Chuẩn hóa quy trình tiền xử lý, thiết lập siêu tham số tối ưu (Hyperparameters Tuning) và áp dụng các kỹ thuật tinh chỉnh (Learning Rate Scheduler, Burn-in, Early Stopping) cho bài toán nhận diện vật thể trong môi trường giao thông đặc thù của các nước đang phát triển.
- Đóng góp về mặt dữ liệu: Xây dựng tập dữ liệu gồm hơn 3.600 mẫu ảnh biển báo thực tế tại TP.HCM, phân chia thành 12 lớp với đầy đủ nhãn tọa độ bounding box chuẩn. Đây là nguồn tài nguyên thực nghiệm quý báu cho các nghiên cứu tiếp theo về thị giác máy tính tại Việt Nam.
- Đóng góp về mặt kỹ thuật ứng dụng: Hiện thực hóa thành công mô hình từ môi trường nghiên cứu (Google Colab/Darknet) sang phần cứng thực tế (Raspberry Pi 4), mở ra giải pháp phần cứng giá rẻ cho các dự án IoT và giao thông thông minh nội địa.
- Giá trị kinh tế - xã hội: Góp phần cung cấp giải pháp cảnh báo sớm cho tài xế, giảm thiểu các lỗi vi phạm do không chú ý biển báo, hỗ trợ các cơ quan quản lý đô thị trong việc tự động quét và kiểm kê tình trạng hệ thống biển báo trên địa bàn.
Đối tượng quan tâm và lợi ích ứng dụng (Target Audience)
- Các nhà nghiên cứu và sinh viên ngành AI / Computer Vision: Tài liệu tham khảo toàn diện về lý thuyết hoạt động của YOLOv4 (CSPNet, SPP, PAN, Non-max Suppression, IoU), quy trình cấu hình tệp Darknet (
obj.data,obj.names,custom.cfg) và phương pháp đánh giá mô hình bằng mAP. - Kỹ sư hệ thống nhúng và IoT (Embedded Engineers): Cung cấp kinh nghiệm thực chiến trong việc lựa chọn kiến trúc mạng nơ-ron phù hợp để triển khai trên các thiết bị tính toán biên như Raspberry Pi, Jetson Nano.
- Các doanh nghiệp công nghệ ô tô và giải pháp giao thông (ADAS/Telematics): Nguồn tham khảo kỹ thuật để phát triển các tính năng nhận diện biển báo tốc độ, biển cấm tích hợp vào camera hành trình, thiết bị định vị GPS thông minh.
- Cơ quan quản lý giao thông và quy hoạch đô thị: Ý tưởng phát triển xe tuần tra tự động kiểm tra, rà soát hệ thống biển báo bị hư hỏng, cong vênh hoặc bị che khuất để kịp thời khắc phục.
Câu hỏi thường gặp (FAQ)
1. Phát hiện quan trọng nhất của nghiên cứu này là gì?
Phát hiện quan trọng nhất là việc chứng minh kiến trúc YOLOv4 kết hợp với các kỹ thuật tăng cường dữ liệu hiện đại (Mosaic, CutMix) hoàn toàn làm chủ được bài toán nhận diện biển báo giao thông trong điều kiện phức tạp tại Việt Nam (mật độ đông, ban đêm, biển báo bị che khuất một phần), đồng thời có khả năng chạy thực nghiệm trên phần cứng nhúng biên giá rẻ như Raspberry Pi 4.
2. Tại sao nghiên cứu lại chọn YOLOv4 thay vì Faster R-CNN hay SSD?
- So với Faster R-CNN (Two-stage): YOLOv4 xử lý dạng Single-stage nên tốc độ dự đoán nhanh hơn gấp nhiều lần, hoàn toàn đáp ứng yêu cầu xử lý khung hình thời gian thực (Real-time Video Stream), rất cần thiết cho các phương tiện đang di chuyển với tốc độ cao.
- So với SSD hay YOLOv3: YOLOv4 tích hợp mạng Backbone CSPDarknet53 và Neck PAN giúp cải thiện vượt bậc độ chính xác trung bình (mAP) mà không làm tăng quá nhiều gánh nặng tính toán.
3. Kỹ thuật tăng cường dữ liệu Mosaic có vai trò gì đặc biệt?
Mosaic ghép 4 bức ảnh ngẫu nhiên thành 1 khung hình với tỉ lệ khác nhau. Kỹ thuật này buộc mô hình phải học cách phát hiện vật thể ở nhiều kích thước khác nhau (đặc biệt là vật thể rất nhỏ) và ở các vị trí không cố định trong khung hình, giúp giải quyết bài toán biển báo ở khoảng cách xa phương tiện.
4. Kết quả của nghiên cứu có thể mở rộng (Generalize) sang các tỉnh thành khác không?
Hoàn toàn có thể. Quy chuẩn biển báo giao thông đường bộ tại Việt Nam được ban hành thống nhất theo Quy chuẩn kỹ thuật quốc gia (QCVN 41). Dữ liệu thu thập tại TP.HCM với độ phức tạp cao về ánh sáng, góc chụp và tình trạng che khuất là môi trường thử thách lý tưởng, giúp mô hình dễ dàng thích ứng khi triển khai tại các tỉnh thành khác trên cả nước.
5. Những thách thức khi triển khai Deep Learning lên Raspberry Pi 4 là gì?
Thách thức lớn nhất là năng lực tính toán hạn chế của CPU ARM và việc thiếu GPU chuyên dụng công suất lớn, dẫn đến tốc độ khung hình (FPS) trên Raspberry Pi thấp hơn so với trên máy tính chuyên dụng. Để khắc phục, trong tương lai có thể áp dụng thêm các kỹ thuật nén mô hình như lượng tử hóa trọng số (Quantization INT8), cắt tỉa mạng (Pruning) hoặc sử dụng các phiên bản mạng nhẹ hơn như YOLOv4-Tiny.
Kết luận (Conclusion)
Nghiên cứu "Nhận diện biển báo giao thông sử dụng Deep Learning" do nhóm sinh viên Khoa Điện-Điện tử, Trường Đại học Bách Khoa – ĐHQG TP.HCM (dưới sự hướng dẫn của TS. Phạm Việt Cường) thực hiện đã giải quyết trọn vẹn bài toán thị giác máy tính mang tính ứng dụng thực tiễn cao. Bằng việc làm chủ mô hình tiên tiến YOLOv4, tối ưu hóa quá trình huấn luyện trên nền tảng Darknet với tập dữ liệu thực tế tại TP.HCM và triển khai thành công trên phần cứng nhúng Raspberry Pi 4, đề tài đã chứng minh tính khả thi vượt trội của công nghệ AI bản địa trong việc giải quyết các thách thức giao thông đô thị.
Hướng phát triển tiếp theo:
- Mở rộng tập dữ liệu lên toàn bộ các nhóm biển báo theo QCVN 41 và bổ sung dữ liệu trong điều kiện thời tiết khắc nghiệt (mưa lớn, sương mù).
- Ứng dụng mô hình YOLOv4-Tiny kết hợp bộ tăng tốc phần cứng (Intel Neural Compute Stick 2 / Google Coral TPU) để tối ưu hóa FPS trên các thiết bị nhúng.
- Tích hợp hệ thống cảnh báo bằng giọng nói thời gian thực cho người điều khiển phương tiện giao thông.