Xây dựng hệ thống giám sát giao thông dựa trên YOLO11

Đồ án tốt nghiệp: Xây dựng hệ thống giám sát giao thông dựa trên YOLO11 - ĐH SPKT TP.HCM

• Tác giả: Phan Công Danh
• Người hướng dẫn: PGS.TS Hoàng Văn Dũng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Xây dựng hệ thống giám sát giao thông dựa trên YOLO11
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan về hệ thống giám sát giao thông dựa trên YOLO11

Hệ thống giám sát giao thông đóng vai trò cốt lõi trong hạ tầng thành phố thông minh. Sự gia tăng mật độ xe cơ giới đòi hỏi các giải pháp thị giác máy tính tự động hóa. Đề tài tốt nghiệp ngành Kỹ thuật Dữ liệu tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh nghiên cứu giải pháp này. Nghiên cứu do sinh viên Phan Công Danh và Lương Tường Vy thực hiện. Giảng viên hướng dẫn là Phó Giáo sư, Tiến sĩ Hoàng Văn Dũng. Mục tiêu chính là ứng dụng mô hình YOLO11 để phát hiện và phân loại luồng xe. YOLO11 đại diện cho bước tiến mới nhất trong dòng thuật toán nhận diện vật thể thời gian thực. Mô hình tối ưu hóa các lớp tích chập và hàm kích hoạt. Hệ thống xử lý khung hình với tốc độ nhanh và tiêu tốn ít tài nguyên tính toán. Luồng dữ liệu video từ camera giao thông được phân tích liên tục. Kết quả phục vụ việc thống kê lưu lượng xe và phát hiện hành vi vi phạm trật tự an toàn đường bộ. Công trình mang lại giải pháp công nghệ thiết thực cho các đô thị lớn tại Việt Nam.

1.1. Bối cảnh nghiên cứu tại Đại học Sư phạm Kỹ thuật TP.HCM

Giao thông tại các thành phố lớn đối mặt tình trạng ùn tắc kéo dài. Ý thức chấp hành phân làn của người tham gia giao thông còn hạn chế. Lực lượng chức năng không thể túc trực giám sát thủ công tại mọi điểm nóng. Đề tài tại Khoa Công nghệ Thông tin, Đại học Sư phạm Kỹ thuật TP.HCM ra đời nhằm giải quyết vấn đề này. Nhóm tác giả tận dụng chuyên môn kỹ thuật dữ liệu để xây dựng giải pháp tự động. Hệ thống chuyển đổi dữ liệu hình ảnh thành thông tin quản lý hữu ích. Dữ liệu từ camera giao thông giúp nhà điều hành theo dõi mật độ phương tiện theo thời gian thực. Quá trình kiểm soát trật tự giao thông trở nên minh bạch và hiệu quả hơn.

1.2. Vai trò của mạng nơ ron tích chập và mô hình YOLO11

Mạng nơ-ron tích chập CNN đặt nền móng cho nhận diện hình ảnh hiện đại. Các lớp tích chập kết hợp hàm kích hoạt phi tuyến tính ReLU giúp trích xuất đặc trưng sâu sắc. Tuy nhiên, các kiến trúc nhận diện hai giai đoạn thường có độ trễ lớn. YOLO11 khắc phục nhược điểm này bằng kiến trúc đơn giai đoạn tối tân. Mô hình xử lý toàn bộ khung hình chỉ trong một lượt truyền thuận. Tốc độ suy luận đạt mức cực đại nhưng vẫn duy trì độ chính xác cao. YOLO11 vượt trội trong việc phân tách vật thể kích thước nhỏ trong môi trường phức tạp. Đây là bước đột phá công nghệ cho bài toán giám sát giao thông thực tế.

II. Thực trạng và thách thức giám sát giao thông dựa trên YOLO11

Hạ tầng giao thông tại Việt Nam sở hữu đặc thù riêng biệt. Dòng phương tiện di chuyển đan xen với mật độ vô cùng dày đặc. Xe máy chiếm tỷ trọng lớn và thường xuyên thay đổi làn đường đột ngột. Các hệ thống camera giám sát truyền thống bộc lộ nhiều điểm nghẽn nghiêm trọng. Độ trễ thuật toán xử lý khiến việc phát hiện vi phạm không kịp thời. Hiện tượng che khuất giữa các phương tiện làm giảm độ chính xác nhận dạng. Ngoài ra, điều kiện chiếu sáng thay đổi mạnh giữa ngày và đêm. Thời tiết mưa gió cũng làm suy giảm chất lượng dữ liệu hình ảnh đầu vào. Nghiên cứu giám sát giao thông dựa trên YOLO11 phải giải quyết triệt để những rào cản này. Hệ thống cần phân biệt chính xác từng loại xe trong không gian chật hẹp. Mô hình phải hoạt động ổn định trên các luồng video độ phân giải cao. Tốc độ khung hình yêu cầu tối thiểu ba mươi hình mỗi giây để tránh mất dấu. Bài toán định nghĩa ranh giới làn đường cũng đối mặt nhiều phức tạp. Vạch kẻ đường bị mờ hoặc góc quay camera biến dạng gây khó khăn cho việc xử lý.

2.1. Giới hạn tốc độ xử lý của mô hình nhận diện cũ

Nhiều thuật toán thị giác trước đây gặp bế tắc khi ứng dụng vào thực tế. Mô hình R-CNN hay Faster R-CNN đạt độ chính xác khá tốt. Tuy nhiên, cấu trúc hai giai đoạn khiến tốc độ suy luận quá chậm. Các khung hình video giám sát bị trễ nhịp và bỏ lỡ phương tiện di chuyển nhanh. Mô hình SSD cải thiện tốc độ nhưng lại giảm mạnh độ chính xác với vật thể nhỏ. Việc nhận diện xe máy ở xa tâm camera thường xuyên thất bại. Tình trạng cảnh báo sai diễn ra liên tục trên diện rộng. Các máy chủ giám sát đối mặt hiện tượng quá tải phần cứng khi xử lý đồng thời nhiều kênh camera.

2.2. Thách thức phân tách làn và phát hiện sai phạm thực địa

Hành vi lấn làn diễn ra nhanh chóng tại các giao lộ đông đúc. Xe gắn máy thường xuyên len lỏi vào làn đường dành riêng cho xe ô tô. Phương tiện di chuyển sát nhau tạo ra nhiều điểm che khuất phức tạp. Góc quay camera đặt trên cao thường tạo ra hiện tượng biến dạng phối cảnh. Nếu thuật toán xác định vị trí tiếp đất không chuẩn, sai số vi phạm sẽ xuất hiện. Việc gán nhãn dữ liệu thực tế tại Việt Nam đòi hỏi công sức rất lớn. Mô hình cần phân định rõ năm nhóm phương tiện trong mọi điều kiện ánh sáng. Sự chuẩn hóa dữ liệu là chìa khóa quyết định chất lượng đầu ra của hệ thống.

III. Phương pháp xây dựng hệ thống giám sát giao thông dựa trên YOLO11

Phương pháp xây dựng hệ thống tập trung vào tối ưu hóa kiến trúc YOLO11. Quy trình bắt đầu bằng việc thu thập và tiền xử lý dữ liệu video giao thông. Nhóm nghiên cứu tiến hành làm sạch dữ liệu, cân bằng kích thước ảnh và tăng cường dữ liệu. Tập dữ liệu được gán nhãn tỉ mỉ cho năm lớp phương tiện cơ bản. Các lớp này gồm xe máy, ô tô con, xe tải, xe buýt và xe khách. Mô hình học sâu trải qua quá trình huấn luyện với các tham số tối ưu. Các siêu tham số như tốc độ học và kích thước batch được tinh chỉnh kỹ lưỡng. Sau khi nhận diện thành công vật thể, hệ thống tích hợp thuật toán bám vết phương tiện. Tọa độ hộp bao quanh mỗi phương tiện được cập nhật liên tục qua từng khung hình. Vùng quan tâm và các làn đường quy định được thiết lập trực tiếp trên giao diện camera. Thuật toán kiểm tra vị trí tâm đáy của hộp bao so với ranh giới phân làn. Khi phát hiện phương tiện đi vào làn cấm, hệ thống lập tức trích xuất hình ảnh vi phạm. Mọi bằng chứng được lưu trữ tự động kèm dấu thời gian chính xác.

3.1. Thiết kế dữ liệu và quy trình huấn luyện mô hình YOLO11

Bộ dữ liệu hình ảnh được thu thập trực tiếp từ các tuyến giao thông trọng điểm. Dữ liệu bao gồm các điều kiện ánh sáng từ ban ngày đến ban đêm. Kỹ thuật tăng cường dữ liệu như xoay ảnh, thay đổi độ sáng và cắt ảnh được áp dụng triệt để. Nhóm nghiên cứu tiến hành gán nhãn thủ công với độ chuẩn xác cao cho năm loại phương tiện. Mô hình YOLO11 được cấu hình với hàm kích hoạt và bộ lọc tối ưu. Quá trình huấn luyện sử dụng các bộ xử lý đồ họa hiệu năng cao. Hàm mất mát hội tụ ổn định sau nhiều chu kỳ học tập. Kết quả huấn luyện tạo ra trọng số mô hình có khả năng khái quát hóa vượt trội trên dữ liệu thực địa.

3.2. Thuật toán định vị làn đường và ghi nhận vi phạm tự động

Hệ thống thiết lập một vùng quan tâm cố định trên khung hình camera. Các đa giác làn đường được định nghĩa tương ứng cho từng loại phương tiện giao thông. Sau khi mô hình YOLO11 phát hiện xe, thuật toán sẽ xác định tọa độ chân tiếp xúc của phương tiện. Tọa độ này được ánh xạ trực tiếp vào bản đồ làn đường ảo. Nếu xe máy di chuyển vào đa giác làn ô tô, hệ thống lập tức ghi nhận hành vi vi phạm. Cơ chế đếm tự động giúp phân loại lưu lượng xe theo từng khung giờ. Dữ liệu vi phạm gồm hình ảnh cắt rõ biển số xe và mốc thời gian vi phạm được xuất ra bảng thống kê chi tiết.

IV. Ứng dụng thực tế hệ thống giám sát giao thông dựa trên YOLO11

Hệ thống giám sát giao thông dựa trên YOLO11 mang lại tiềm năng triển khai thực tế vô cùng to lớn. Kết quả thử nghiệm chứng minh độ ổn định và tính chính xác cao trên các luồng video phức tạp. Hệ thống xử lý mượt mà luồng hình ảnh với tốc độ thời gian thực trên các thiết bị tính toán phổ thông. Chi phí triển khai phần cứng được giảm thiểu đáng kể so với các giải pháp thị giác cũ. Mô hình hỗ trợ đắc lực cho lực lượng cảnh sát giao thông trong việc phạt nguội. Bằng chứng vi phạm được thu thập tự động, khách quan và minh bạch. Không chỉ dừng lại ở phát hiện sai làn, hệ thống còn cung cấp dữ liệu phân tích lưu lượng tổng thể. Cơ quan quản lý đô thị có thể nắm bắt chính xác mật độ di chuyển của từng loại phương tiện. Thông tin này hỗ trợ công tác điều chỉnh chu kỳ đèn tín hiệu giao thông thông minh. Các điểm nghẽn ùn tắc được cảnh báo sớm để có phương án điều tiết luồng xe kịp thời. Giải pháp của đề tài tại ĐH SPKT TP.HCM đóng góp tích cực vào tiến trình xây dựng thành phố thông minh bền vững.

4.1. Tự động hóa xử phạt nguội và nâng cao ý thức giao thông

Hệ thống cung cấp cơ chế giám sát vi phạm hoàn toàn tự động suốt ngày đêm. Mọi hành vi lấn làn, đi sai làn đường đều bị trích xuất kèm video bằng chứng. Điều này loại bỏ hoàn toàn các yếu tố can thiệp chủ quan trong quá trình xử lý vi phạm. Người tham gia giao thông ý thức rõ hơn về việc bị giám sát liên tục. Nhờ đó, hành vi tuân thủ luật lệ giao thông được cải thiện rõ rệt tại các khu vực thí điểm. Lực lượng chức năng giảm tải đáng kể công việc tuần tra trực tiếp ngoài hiện trường. Nguồn lực tuần tra có thể phân bổ cho các nhiệm vụ khẩn cấp khác một cách tối ưu hơn.

4.2. Tích hợp trung tâm điều hành và tương lai phát triển

Hệ thống sở hữu kiến trúc dạng module linh hoạt và dễ dàng mở rộng quy mô. Nền tảng dễ dàng kết nối với các hệ thống điều khiển giao thông thông minh sẵn có. Dữ liệu đếm xe liên tục được đồng bộ về trung tâm chỉ huy theo thời gian thực. Các thuật toán tối ưu hóa tín hiệu đèn có thể sử dụng dữ liệu này để tự động phân luồng. Trong tương lai, hệ thống có thể tích hợp thêm tính năng nhận diện biển số tự động ANPR. Mô hình cũng có thể mở rộng để phát hiện người đi bộ hoặc xe vượt đèn đỏ. Công trình đánh dấu bước tiến lớn của nghiên cứu ứng dụng tại Đại học Sư phạm Kỹ thuật TP.HCM.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp kỹ sư ngành Kỹ thuật Dữ liệu với đề tài "Xây dựng hệ thống giám sát giao thông dựa trên YOLO11" được thực hiện bởi sinh viên Phan Công Danh (MSSV: 21133014) và Lương Tường Vy (MSSV: 21133093), dưới sự hướng dẫn của PGS.TS Hoàng Văn Dũng tại Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh. Khóa luận được hoàn thành vào tháng 6 năm 2025.

Bối cảnh thực tiễn của nghiên cứu xuất phát từ tình trạng tai nạn giao thông diễn biến phức tạp, bắt nguồn từ ý thức tham gia giao thông của một bộ phận người dân còn hạn chế cùng sự thiếu hiểu biết về quy định pháp luật. Tai nạn giao thông gây thương vong về người và tổn thất kinh tế cho cá nhân, gia đình và toàn xã hội. Do đó, việc xây dựng một hệ sinh thái giám sát có khả năng tự động phân loại phương tiện và phát hiện các hành vi vi phạm trật tự an toàn giao thông trên các tuyến phố chính và điểm nóng tai nạn là yêu cầu cấp thiết nhằm hỗ trợ công tác quản lý và xử phạt kịp thời.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được phân định thành hai nhóm:

1. Nhiệm vụ lý thuyết:
   • Tìm hiểu vai trò thực tế của hệ thống giám sát giao thông trong đời sống.
   • Nghiên cứu cơ sở lý thuyết và ứng dụng công nghệ phát hiện đối tượng (Object Detection).
   • Thiết kế giao diện website trực quan, đơn giản phục vụ người quản lý hệ thống.
2. Nhiệm vụ thực hành:
   • Xây dựng và huấn luyện mô hình học sâu YOLOv11 để nhận diện các đối tượng phương tiện từ nguồn dữ liệu hình ảnh và video.
   • Xây dựng ứng dụng web tích hợp đầy đủ các chức năng: phát hiện và nhận diện phương tiện giao thông, phát hiện phương tiện đi sai làn đường quy định, phát hiện người điều khiển xe máy không đội mũ bảo hiểm, phát hiện phương tiện vượt đèn đỏ, thống kê và lưu trữ hình ảnh chứng cứ vi phạm.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Thuật toán phát hiện, phân loại phương tiện giao thông và các hành vi vi phạm giao thông đường bộ cụ thể bao gồm di chuyển sai làn đường, vượt đèn đỏ và người đi xe máy không đội mũ bảo hiểm.
• Phạm vi không gian và dữ liệu: Thực nghiệm trên tập dữ liệu video giám sát giao thông thực tế do nhóm tác giả tự ghi hình trên đường phố và sưu tầm từ mạng Internet.
• Phạm vi thời gian: Đề tài được triển khai thực hiện từ tháng 01 năm 2025 đến tháng 06 năm 2025.

Cơ sở lý thuyết và phương pháp

Nghiên cứu vận dụng nền tảng lý thuyết về học sâu (Deep Learning) và thị giác máy tính (Computer Vision), tập trung vào các mô hình mạng nơ-ron và thuật toán theo dõi đối tượng:

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Nền tảng kiến trúc kế thừa từ mô hình LeNet-5 (Yann LeCun, thập niên 1980). Mạng bao gồm các thành phần: lớp tích chập (Convolutional layer) sử dụng các bộ lọc (filter/kernel), tham số bước trượt (stride) và phần đệm (padding) để tạo bản đồ đặc trưng (feature map) theo công thức kích thước đầu ra $O = \frac{W - K + 2P}{S} + 1$; lớp hàm kích hoạt phi tuyến tính ReLU ($f(x) = \max(0, x)$); các lớp tổng hợp/lấy mẫu (Pooling layer) gồm ghép gộp tối đa (Max pooling) và ghép gộp trung bình (Average pooling); kết thúc bằng các lớp kết nối đầy đủ (Fully connected layer) để phân loại và dự đoán.
• Thuật toán Deep SORT (Simple Online and Realtime Tracking with a Deep Association Metric): Bản nâng cấp từ thuật toán SORT của Nicolai Wojke, Alex Bewley và Dietrich Paulus. Thuật toán kết hợp bộ lọc Kalman Filter để dự đoán trạng thái chuyển động của đối tượng (trạng thái thăm dò - Tentative qua 3 khung hình liên tiếp sẽ chuyển thành xác nhận - Confirmed và duy trì trong 30 khung hình tiếp theo) cùng mạng nơ-ron sâu OSNet nhằm trích xuất vectơ đặc trưng ngoại hình 512 chiều. Thuật toán giải quyết bài toán liên kết dữ liệu qua hai giai đoạn: đối sánh tầng dựa trên khoảng cách cosin và giải thuật Hungary (Hungarian algorithm) trên ma trận chi phí phần giao trên phần hợp (Intersection Over Union - IoU).
• Dòng mô hình YOLO (You Only Look Once): Kiến trúc phát hiện đối tượng một giai đoạn do J. Redmon và A. Farhadi đề xuất (2016). Kiến trúc nguyên bản gồm mạng cơ sở DarkNet với 24 lớp tích chập trích xuất đặc trưng và 2 lớp kết nối đầy đủ dự đoán ma trận tensor $S \times S \times (5B + C)$. Quá trình tối ưu hóa dựa trên hàm mất mát tổng hợp: $$L_{total} = L_{classification} + L_{localization} + L_{confidence}$$ Hệ thống sử dụng các hộp neo (anchor box), chỉ số đánh giá IoU và thuật toán triệt tiêu phi cực đại (Non-Max Suppression - NMS) để loại bỏ các khung bao trùng lặp có độ tin cậy thấp.
• Mô hình YOLOv11: Phiên bản mạng phát hiện đối tượng mới nhất do Ultralytics phát triển, hỗ trợ nhiều nhiệm vụ như Object Detection, Instance Segmentation, Image Classification, Pose Estimation và OBB. YOLOv11 được tối ưu hóa kiến trúc, giúp giảm 22% số lượng tham số ở biến thể YOLO11m so với YOLOv8m nhưng vẫn đạt độ chính xác trung bình (mAP) cao hơn trên tập dữ liệu chuẩn COCO.

Biến thể YOLO11	Số lượng tham số	Độ chính xác mAP (COCO)
YOLO11n	2.6M	39.5%
YOLO11s	9.4M	47.0%
YOLO11m	20.1M	51.5%
YOLO11l	26.3M	53.4%
YOLO11x	56.9M	54.7%

Phương pháp nghiên cứu thực nghiệm và công cụ:

• Quy trình phát hiện đối tượng 5 bước: chuẩn bị dữ liệu, gán nhãn chú thích (annotation), huấn luyện mô hình, đánh giá hiệu năng (qua mAP và IoU), điều chỉnh tham số mô hình.
• Nền tảng tiền xử lý và dán nhãn: Nền tảng trực tuyến Roboflow.
• Môi trường huấn luyện: Sử dụng hạ tầng điện toán đám mây Google Colab hỗ trợ bộ xử lý đồ họa (GPU).
• Nguồn dữ liệu: Dữ liệu video giám sát giao thông thực tế được cắt tách khung hình (frame extraction), lọc dữ liệu nhiễu và tiến hành gán nhãn thủ công cho các lớp phương tiện và trạng thái đội mũ bảo hiểm.

from ultralytics import YOLO

# Load mô hình
model = YOLO("yolo11n.pt")

# Huấn luyện mô hình
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Đánh giá mô hình
metrics = model.val()

# Thực hiện phát hiện đối tượng
results = model("path/to/image.jpg")

Thiết kế và triển khai hệ thống

Hệ thống giám sát giao thông được thiết kế theo mô hình kiến trúc phân tầng kết hợp giữa mô-đun thị giác máy tính xử lý luồng video và hệ thống máy chủ ứng dụng web quản lý dữ liệu.

Sơ đồ khối chức năng của hệ thống gồm ba thành phần giám sát chuyên biệt:

1. Phân hệ phát hiện và xử lý vi phạm làn đường: Khung hình video trích xuất từ camera được đưa vào mô hình YOLOv11 để phát hiện và phân loại các phương tiện (ô tô, xe máy, xe buýt, xe tải, xe đạp). Sau khi xác định tọa độ khung bao (bounding box) của từng phương tiện, hệ thống so khớp tọa độ trọng tâm với vùng quan tâm (Region of Interest - ROI) được định nghĩa trước cho từng làn đường tương ứng. Nếu tọa độ phương tiện nằm ngoài ranh giới làn đường quy định cho loại xe đó, vi phạm được ghi nhận.
2. Phân hệ phát hiện người đi xe máy không đội mũ bảo hiểm: Camera ghi nhận hình ảnh khu vực di chuyển của xe máy. Mô hình YOLOv11 phát hiện người điều khiển phương tiện và nhận diện trạng thái có đội hoặc không đội mũ bảo hiểm. Thuật toán Deep SORT được tích hợp nhằm gán định danh duy nhất (ID) cho từng đối tượng qua các khung hình liên tiếp, giúp theo dõi hành trình và đếm chính xác số lượng vi phạm, tránh việc ghi nhận trùng lặp một đối tượng qua nhiều khung hình.
3. Phân hệ phát hiện vi phạm tín hiệu đèn giao thông: Hệ thống thiết lập vùng kiểm tra trước vạch dừng đèn tín hiệu. Khi trạng thái đèn giao thông chuyển sang tín hiệu màu đỏ, thuật toán giám sát vị trí di chuyển của phương tiện. Nếu tọa độ phương tiện vượt qua vạch dừng được quy định trong khoảng thời gian đèn đỏ kích hoạt, hệ thống kích hoạt logic phát hiện vượt đèn đỏ.

Kiến trúc công nghệ web phục vụ giám sát và quản lý:

• Tầng giao diện người dùng (Frontend): Xây dựng bằng ngôn ngữ HTML, CSS và JavaScript; tích hợp thư viện Chart.js để trực quan hóa các biểu đồ thống kê số liệu vi phạm; sử dụng jQuery và kỹ thuật truyền thông không đồng bộ Ajax để cập nhật dữ liệu thời gian thực từ máy chủ về giao diện mà không cần tải lại toàn bộ trang web.
• Tầng xử lý logic nghiệp vụ (Backend): Phát triển trên nền tảng framework FastAPI (ngôn ngữ Python), tận dụng Starlette cho xử lý tác vụ mạng và Pydantic để chuẩn hóa, xác thực dữ liệu đầu vào. Hệ thống tự động khởi tạo tài liệu tương tác API thông qua Swagger UI và ReDoc.
• Tầng lưu trữ dữ liệu (Database): Sử dụng hệ quản trị cơ sở dữ liệu quan hệ MySQL hoạt động theo mô hình client-server, chịu trách nhiệm lưu trữ cấu hình camera, thông tin người tham gia giao thông (Road Users), dữ liệu vi phạm và đường dẫn lưu trữ hình ảnh trích xuất làm bằng chứng vi phạm.

Nội dung chính theo từng chương

Chương 1: Tổng quan về hệ thống giám sát giao thông

Chương 1 khái quát nền tảng lý luận của các lĩnh vực thuộc khoa học máy tính ứng dụng trong hệ thống giám sát. Tác giả trình bày các định nghĩa về Trí tuệ nhân tạo (AI) dựa trên 4 đặc trưng hoạt động: hệ thống hành động như người, suy nghĩ như người, suy nghĩ hợp lý và hành động hợp lý. Nội dung phân tích vị trí của Học máy (Machine Learning) như một phân nhánh của AI cho phép máy tính tự học hỏi từ dữ liệu thông qua ba phương pháp chính: học có giám sát (supervised learning), học không giám sát (unsupervised learning) và học tăng cường (reinforcement learning), ứng dụng vào hai nhóm bài toán cốt lõi là dự đoán (prediction) và phân loại (classification). Chương này làm rõ bản chất của Học sâu (Deep Learning) mô phỏng mạng nơ-ron sinh học và giới thiệu lĩnh vực Thị giác máy tính (Computer Vision), chỉ rõ vai trò của việc thu thập hàng nghìn mẫu ảnh gán nhãn nhằm giúp máy tính có khả năng nhận dạng và định vị đối tượng tương đương mắt người.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp cơ sở toán học và kiến trúc kỹ thuật của các mô hình được áp dụng. Nội dung phân tích chi tiết cấu tạo mạng CNN từ mô hình cội nguồn LeNet-5, vai trò toán học của các tầng tích chập, hàm kích hoạt ReLU, tầng lấy mẫu pooling và tầng kết nối đầy đủ fully connected. Tiếp theo, chương làm rõ bài toán phát hiện đối tượng và quy trình thực thi chuẩn. Tác giả đi sâu vào nguyên lý hoạt động của thuật toán theo dõi đối tượng Deep SORT, làm rõ sự kết hợp giữa mô hình chuyển động Kalman Filter với trích xuất đặc trưng ngoại hình từ mạng OSNet và kỹ thuật ghép cặp phân tầng bằng thuật toán Hungary. Phần trọng tâm của chương dành cho mô hình YOLO và phiên bản nâng cấp YOLOv11: phân tích kiến trúc DarkNet gốc (24 tầng tích chập, 2 tầng FC), cơ chế lưới $S \times S$, cấu trúc dự đoán đa tỷ lệ trên 3 ma trận thuộc tính kích thước $13 \times 13$, $26 \times 26$ và $52 \times 52$ với 9 hộp neo tạo thành 10.647 hộp bao mỗi ảnh, nguyên lý tính hàm mất mát $L_{total}$ kết hợp giữa phân loại, định vị và độ tin cậy, công thức đo lường IoU và giải thuật lọc bỏ NMS. Cuối chương, tác giả trình bày kiến trúc phần mềm và các công nghệ phát triển website bao gồm HTML, CSS, JavaScript, Chart.js, Ajax, jQuery, framework backend FastAPI và hệ quản trị cơ sở dữ liệu MySQL.

Chương 3: Phương pháp thực hiện

Chương 3 trình bày các giải pháp kỹ thuật và sơ đồ thuật toán được thiết kế để giải quyết các bài toán nghiệp vụ cụ thể. Tác giả xây dựng sơ đồ khối tổng thể của hệ thống, phân chia luồng xử lý từ camera đến các mô hình AI và cơ sở dữ liệu. Chương mô tả chi tiết phương pháp phát hiện và phân loại phương tiện giao thông đối với 5 đối tượng xe bằng mô hình YOLOv11 nhằm khắc phục các nhược điểm của R-CNN, DETR hay SSD trong điều kiện xe bị che khuất bởi cây cối và bóng râm. Tác giả mô tả thuật toán phát hiện xe đi sai làn đường dựa trên việc thiết lập ranh giới làn đường quy định trên khung hình và đối chiếu tọa độ bounding box của phương tiện. Tiếp đó là phương pháp xác định phương tiện vượt đèn đỏ thông qua việc kiểm tra tọa độ xe cắt qua vạch dừng khi tín hiệu đèn giao thông đang ở pha đỏ. Đối với bài toán người đi xe máy không đội mũ bảo hiểm, quy trình xử lý kết hợp mô hình YOLOv11 phát hiện vi phạm với thuật toán Deep SORT để theo dõi, định danh và đếm chính xác số lượng phương tiện vi phạm, trước khi chuyển toàn bộ dữ liệu và ảnh trích xuất về cơ sở dữ liệu máy chủ web.

Chương 4: Thực nghiệm và đánh giá

Chương 4 ghi nhận toàn bộ quá trình triển khai thực nghiệm, kiểm thử và đánh giá hiệu năng hệ thống. Tác giả thống kê các phần mềm, ngôn ngữ lập trình và công cụ phần cứng được sử dụng. Quy trình thu thập dữ liệu video thực tế, kỹ thuật cắt khung hình, tiền xử lý và dán nhãn bằng công cụ Roboflow cùng tiến trình huấn luyện mô hình YOLOv11 trên Google Colab được mô tả cụ thể. Chương trình bày kết quả huấn luyện mô hình phát hiện, phân loại phương tiện và mô hình nhận diện vi phạm mũ bảo hiểm thông qua đồ thị hiệu suất và ma trận nhầm lẫn (Confusion Matrix) trên cả hai tập huấn luyện và kiểm thử. Tác giả mô tả chi tiết quá trình khởi tạo tham số, phát hiện và xử lý vi phạm trong hai bài toán thực tế: vi phạm làn đường và vi phạm tín hiệu đèn giao thông. Cuối cùng, kết quả triển khai giao diện người dùng của hệ thống được minh chứng trực quan qua các phân hệ chức năng: Giao diện tổng quan (Dashboard), Giao diện Hệ thống Camera, Giao diện quản lý người tham gia giao thông (Road Users) với các tính năng thêm/chỉnh sửa thông tin, và Giao diện tra cứu Lịch sử vi phạm.

Kết quả và đóng góp

Kết quả thực nghiệm chính của đề tài:

• Xây dựng hoàn chỉnh mô hình YOLOv11 có khả năng nhận diện và phân loại 5 nhóm đối tượng phương tiện giao thông đường bộ từ dữ liệu hình ảnh và video.
• Xây dựng mô hình YOLOv11 kết hợp thuật toán Deep SORT theo dõi đối tượng để phát hiện hành vi người điều khiển xe máy không đội mũ bảo hiểm, thực hiện đếm tự động và tránh trùng lặp đối tượng.
• Triển khai thành công các thuật toán xử lý không gian hình ảnh nhằm phát hiện hành vi phương tiện di chuyển sai làn đường và vượt đèn tín hiệu giao thông dựa trên vùng ROI và vạch dừng quy định.
• Phát triển hệ thống phần mềm hoàn chỉnh gồm API máy chủ backend viết bằng FastAPI, cơ sở dữ liệu MySQL và giao diện web tương tác (Dashboard, Camera, Road Users, Lịch sử vi phạm) cho phép trích xuất tự động hình ảnh bằng chứng và lưu trữ dữ liệu thống kê vi phạm giao thông.
• Thu thập, làm sạch và xây dựng bộ dữ liệu hình ảnh, video giao thông đường bộ được gán nhãn phục vụ huấn luyện và kiểm thử mô hình.

Đóng góp của nghiên cứu:

• Ứng dụng thành công phiên bản kiến trúc mới YOLOv11 vào bài toán giám sát giao thông thông minh tại Việt Nam, khai thác ưu thế giảm 22% số lượng tham số so với YOLOv8m để tối ưu hóa tài nguyên tính toán nhưng vẫn duy trì độ chính xác cao.
• Giải quyết đồng thời ba bài toán vi phạm giao thông phổ biến (sai làn đường, vượt đèn đỏ, không đội mũ bảo hiểm) trên cùng một nền tảng giám sát tập trung.
• Hiện thực hóa mô hình liên kết trực tiếp giữa khối mô hình thị giác máy tính và ứng dụng web quản lý theo thời gian thực, cung cấp giải pháp có tính ứng dụng thực tiễn cho bài toán tự động hóa xử lý vi phạm giao thông đường bộ.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Dữ liệu thực nghiệm chủ yếu dựa trên các đoạn video do nhóm tác giả tự quay và sưu tầm từ mạng Internet, phạm vi dữ liệu còn bị giới hạn bởi thời gian và điều kiện thực hiện đồ án.
• Hiệu suất nhận dạng của hệ thống có thể bị ảnh hưởng trong các tình huống thực tế phức tạp như điều kiện thời tiết xấu, ban đêm thiếu sáng, hoặc các trường hợp phương tiện bị che khuất nghiêm trọng bởi bóng râm lớn và cây cối rậm rạp ven đường.
• Việc xác định vùng làn đường và vạch dừng đèn giao thông hiện tại vẫn dựa trên các tham số cấu hình tĩnh ban đầu của từng góc quay camera.

Hướng nghiên cứu tiếp:

• Mở rộng quy mô và độ đa dạng của tập dữ liệu huấn luyện, bổ sung thêm nhiều góc quay camera giao thông trong các điều kiện thời tiết khác nhau (mưa, sương mù, ban đêm).
• Nghiên cứu cơ chế tự động căn chỉnh và phát hiện làn đường, vạch dừng linh hoạt dựa trên xử lý ảnh thay cho cấu hình cố định.
• Tích hợp thêm các bài toán vi phạm giao thông khác như chạy quá tốc độ quy định, lấn vạch kẻ đường, đi ngược chiều và tự động nhận diện biển số xe (ALPR) phục vụ quy trình xử phạt nguội hoàn chỉnh.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo chuyên môn đối với:

• Sinh viên các ngành Kỹ thuật Dữ liệu, Công nghệ Thông tin, Khoa học Máy tính và Trí tuệ nhân tạo đang nghiên cứu hoặc thực hiện đồ án tốt nghiệp về Thị giác máy tính và Xử lý ảnh.
• Những người phát triển ứng dụng muốn tìm hiểu cách tích hợp các mô hình học sâu hiện đại như YOLOv11 và thuật toán theo dõi Deep SORT (sử dụng mạng OSNet) vào các bài toán thực tế.
• Các nhà phát triển hệ thống phần mềm cần tài liệu tham khảo về mô hình kiến trúc kết hợp giữa mô-đun thị giác máy tính Python với khung ứng dụng web hiệu năng cao FastAPI và cơ sở dữ liệu quan hệ MySQL.

Phần nội dung đáng tham khảo nhất trong khóa luận là Chương 2 và Chương 3, nơi trình bày chi tiết cơ sở toán học của mạng CNN, nguyên lý hàm mất mát YOLO, cơ chế chuyển đổi trạng thái của thuật toán Deep SORT cùng các lưu đồ xử lý không gian để phát hiện vi phạm làn đường và đèn tín hiệu.

Câu hỏi thường gặp

Thuật toán Deep SORT trong đồ án sử dụng kiến trúc mạng nào để trích xuất đặc trưng và kích thước vectơ ngõ ra là bao nhiêu?

Trong đồ án, thuật toán Deep SORT sử dụng kiến trúc mạng nơ-ron học sâu OSNet để trích xuất đặc trưng ngoại hình của đối tượng cần theo dõi. Ngõ ra của mạng này là một vectơ đặc trưng có kích thước 512 chiều, được dùng để tính toán khoảng cách cosin phục vụ chiến lược đối sánh tầng.

Cơ chế quản lý trạng thái của các luồng theo dõi (tracks) trong thuật toán Deep SORT được thiết lập như thế nào?

Khi khởi tạo, trạng thái của một track mới được gán giá trị mang tính thăm dò (Tentative). Nếu trạng thái này duy trì liên tục qua 3 khung hình tiếp theo, nó sẽ chuyển từ thăm dò sang xác nhận (Confirmed) và hệ thống cố gắng duy trì dấu vết này trong 30 khung hình kế tiếp. Nếu đối tượng bị mất dấu khi chưa đủ 3 khung hình liên tiếp, trạng thái sẽ bị xóa khỏi trình theo dõi.

So với mô hình tiền nhiệm YOLOv8m, phiên bản YOLO11m có cải tiến cụ thể nào về tham số và độ chính xác?

Theo công bố lý thuyết được trích dẫn trong đồ án, biến thể YOLO11m đạt được độ chính xác trung bình (mAP) cao hơn trên tập dữ liệu chuẩn COCO trong khi sử dụng ít hơn 22% số lượng tham số tính toán so với phiên bản YOLOv8m.

Kiến trúc mạng DarkNet nguyên bản của mô hình YOLO bao gồm bao nhiêu lớp và kích thước ngõ ra của mạng cơ sở là gì?

Kiến trúc DarkNet của mô hình YOLO bao gồm 24 lớp tích chập (convolutional layers) đảm nhiệm việc trích xuất đặc trưng và 2 lớp kết nối đầy đủ (fully connected layers) dùng để dự đoán tọa độ hộp giới hạn cùng xác suất lớp. Ngõ ra của mạng cơ sở là một ma trận thuộc tính có kích thước $7 \times 7 \times 1024$.

Hệ thống web giám sát trong đồ án được xây dựng bằng những công nghệ chính nào cho phần Backend và Cơ sở dữ liệu?

Phần Backend của website được xây dựng bằng web framework mã nguồn mở FastAPI trên nền tảng Python, kết hợp thư viện Starlette và Pydantic để xử lý tác vụ mạng và chuẩn hóa dữ liệu. Hệ thống sử dụng hệ quản trị cơ sở dữ liệu quan hệ MySQL theo mô hình client-server để lưu trữ thông tin người dùng, lịch sử và bằng chứng hình ảnh vi phạm.

Kết luận

Khóa luận tốt nghiệp của sinh viên Phan Công Danh và Lương Tường Vy đã nghiên cứu và triển khai thành công hệ thống giám sát giao thông thông minh ứng dụng mô hình học sâu YOLOv11 và thuật toán theo dõi Deep SORT. Hệ thống thực hiện hiệu quả các nhiệm vụ phát hiện, phân loại 5 loại phương tiện và tự động nhận diện ba hành vi vi phạm trật tự an toàn giao thông đường bộ bao gồm đi sai làn đường, vượt đèn đỏ và không đội mũ bảo hiểm. Toàn bộ giải pháp xử lý thị giác máy tính được tích hợp hoàn chỉnh với ứng dụng web xây dựng bằng FastAPI và MySQL, cung cấp công cụ trực quan hỗ trợ công tác quản lý, giám sát và thống kê vi phạm thực tế. Nghiên cứu là tài liệu tham khảo giá trị cho các định hướng ứng dụng AI trong quản lý hạ tầng giao thông đô thị.

Trích đoạn nội dung tài liệu

Chương 1: TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT GIAO THÔNG 1. Giới thiệu về trí tuệ nhân tạo Trí tuệ nhân tạo (Artificial intelligence -AI) là một lĩnh vực nghiên cứu của khoa học máy tính và khoa học tính toán nói chung. Có nhiều quan điểm khác nhau về trí tuệ nhân tạo, do vậy có nhiều định nghĩa khác nhau về lĩnh vực khoa học này. Mục đích của trí tuệ nhân tạo là xây dựng các thực thể thông minh.

Tuy nhiên, do rất khó định nghĩa thế nào là thực thể thông minh nên cũng khó thống nhất định nghĩa trí tuệ nhân tạo. Theo một tài liệu được sử dụng rộng rãi trong giảng dạy trí tuệ nhân tạo hiện nay, trí tuệ nhân tạo là lĩnh vực nghiên cứu việc xây dựng các hệ thống máy tính có đặc điểm sau: - Hệ thống hành động như người. - Hệ thống có thể suy nghĩ như người. - Hệ thống có thể suy nghĩ hợp lý.

- Hệ thống hành động hợp lý. Từ những đặc điểm đã nêu ở trên, trí tuệ nhân tạo được hiểu là khả năng mà máy móc có thể làm được những thứ mà não bộ người có thể làm được. Chẳng hạn như những việc chúng ta có thể làm, và máy móc có thể làm theo thì có thể được coi là trí tuệ nhân tạo. Một vài ví dụ đơn giản như là nhận diện được đồ vật, hình ảnh, âm thanh, giao tiếp, suy luận.

Để máy móc có thể làm theo trí tuệ của con người, nếu chúng ta chỉ sử dụng những chương trình logic thông thường thì điều đó là rất khó để thực hiện. Để máy móc có thể có trí tuệ riêng của nó thì chúng ta phải cho nó học như cách mà con người từng được học vậy. Phải có một giải pháp, một con đường nào đó trong việc tiếp cận với trí tuệ nhân tạo, cách để xây dựng lên một hệ thống có thể biến đổi một cách linh hoạt hay có thể coi như là khả năng học của máy tính, đưa ra những quyết định bằng những dữ liệu đã được học mà không cần sự hướng dẫn lập trình cụ thể của con người. 20 Các phân tích ở trên cho thấy một số cách tiếp cận chính trong định nghĩa trí tuệ nhân tạo chủ yếu là lấy con người làm tiêu chuẩn, nghiên cứu tâm lý và thần kinh học để mô phỏng nhận thức, hành động như con người, dựa trên đó xây dựng hệ thống trí tuệ nhân tạo.

Khái niệm về Machine Learning Học máy (Machine Learning) hay học tự động là khả năng của hệ thống máy tính tự cải thiện mình nhờ sử dụng dữ liệu và kinh nghiệm thu thập được. Học là khả năng quan trọng trong việc tạo ra tri thức của người. Do vậy, đây là vấn đề được quan tâm nghiên cứu ngay từ khi hình thành trí tuệ nhân tạo. Hiện nay, đây là một trong những lĩnh vực được quan tâm nghiên cứu nhiều nhất với rất nhiều kết quả và ứng dụng.

Học máy bao gồm các dạng chính: - Học có giám sát: Trong học có giám sát, hệ thống được cung cấp đầu vào, đầu ra và cần tìm quy tắc để ánh xạ đầu vào thành đầu ra. - Học không giám sát: Trong học không giám sát, hệ thống không được cung cấp đầu ra và cần tìm các mẫu hay quy luật từ thông tin đầu vào. - Học tăng cường: Trong học tăng cường, hệ thống chỉ biết đầu ra cuối cùng của cả quá trình thay vì đầu ra cho từng bước cụ thể. Học máy được phát triển trong khuôn khổ cả khoa học máy tính và thống kê.

Rất nhiều kỹ thuật học máy có nguồn gốc từ thống kê nhưng được thay đổi để trở thành các thuật toán có thể thực hiện hiệu quả trên máy tính.