Xây Dựng Hệ Thống Nhận Diện Vi Phạm Giao Thông Và Ứng Dụng Tra Cứu Thông Tin

Khóa luận trình bày ứng dụng tra cứu thông tin vi phạm giao thông sử dụng mô hình máy học trong mạng máy tính và truyền thông dữ liệu.

• Tác giả: Tran Diem My Ngoc
• Người hướng dẫn: TS. Phan Xuan Thien
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Mạng máy tính và Truyền thông
• Đề tài: Hệ Thống Nhận Diện Vi Phạm Giao Thông Dựa Trên Machine Learning
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tổng quan
• 1.2. Lý do chọn đề tài
• 1.3. Mục tiêu nghiên cứu
• 1.4. Đối tượng nghiên cứu
• 1.5. Phạm vi nghiên cứu
• 1.6. Các nghiên cứu liên quan
• 1.7. Những vấn đề còn tồn tại
• 1.8. Những vấn đề cần tập trung giải quyết
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. SSD MobileNet v2
• 2.2. Inception Modules
• 2.3. Nguyên lý hoạt động Hough Transform, Hough Line Transform
• 2.4. Mô hình Deep Learning YOLO
• 2.5. Kiến trúc và Pipeline của OCR
• 2.6. Ứng dụng của OCR
• 3. CHƯƠNG 3: THIẾT KẾ VÀ TRIỂN KHAI MÔ HÌNH HỆ THỐNG
• 3.1. Tổng quan mô hình
• 3.2. Xây dựng bộ dữ liệu
• 3.2.1. Nguồn dữ liệu
• 3.2.2. Gán nhãn dữ liệu
• 3.2.3. Tiền xử lý dữ liệu
• 3.3. Chi tiết thành phần xây dựng hệ thống
• 3.3.1. Nhận diện và phân loại đèn giao thông
• 3.3.2. Nhận diện vạch dừng chờ đèn đỏ và vùng vi phạm của phương tiện
• 3.3.3. Xác định vùng nhận diện và phát hiện đường vạch trắng
• 3.3.4. Xác định và vẽ vùng nhận diện phương tiện vi phạm
• 3.3.5. Nhận diện và đọc thông tin biển số xe vi phạm
• 3.3.6. Thuật toán nhận diện ký tự OCR
• 3.3.7. Xây dựng cơ sở dữ liệu
• 3.3.8. Xây dựng ứng dụng tra cứu
• 3.4. Framework sử dụng
• 3.5. Kết nối đến database
• 4. CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ HỆ THỐNG
• 4.1. Đánh giá các mô hình bằng các kỹ thuật đánh giá
• 4.2. Mô hình nhận diện và phân loại đèn giao thông
• 4.3. Mô hình nhận diện biển số xe
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Nhược điểm
• 5.2. Hướng phát triển
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT

Tóm tắt

I. Tổng quan về Hệ Thống Nhận Diện Vi Phạm Giao Thông Dựa Trên Machine Learning

Hệ thống nhận diện vi phạm giao thông dựa trên machine learning đang trở thành một giải pháp hiệu quả trong việc giám sát và xử lý các hành vi vi phạm. Với sự gia tăng mật độ phương tiện và các hành vi vi phạm như vượt đèn đỏ, việc áp dụng công nghệ này không chỉ giúp nâng cao hiệu quả giám sát mà còn giảm thiểu tai nạn giao thông. Nghiên cứu này sẽ trình bày tổng quan về các mô hình học máy và ứng dụng của chúng trong việc phát hiện vi phạm giao thông.

1.1. Machine Learning trong Giao Thông Khái Niệm và Ứng Dụng

Machine learning là một lĩnh vực con của trí tuệ nhân tạo, cho phép máy tính học hỏi từ dữ liệu mà không cần lập trình cụ thể. Trong giao thông, công nghệ này được sử dụng để phát hiện và phân loại các hành vi vi phạm, như vượt đèn đỏ hay không đội mũ bảo hiểm. Việc áp dụng machine learning trong giao thông giúp cải thiện đáng kể hiệu quả giám sát.

1.2. Tầm Quan Trọng của Nhận Diện Vi Phạm Giao Thông

Nhận diện vi phạm giao thông là một yếu tố quan trọng trong việc đảm bảo an toàn giao thông. Hệ thống này không chỉ giúp phát hiện các hành vi vi phạm mà còn cung cấp dữ liệu cho các cơ quan chức năng trong việc quản lý và xử lý vi phạm. Việc áp dụng công nghệ hiện đại như công nghệ nhận diện hình ảnh giúp nâng cao độ chính xác và hiệu quả trong giám sát.

II. Vấn Đề và Thách Thức Trong Nhận Diện Vi Phạm Giao Thông

Mặc dù công nghệ nhận diện vi phạm giao thông đã có những bước tiến đáng kể, nhưng vẫn còn nhiều thách thức cần phải giải quyết. Các vấn đề như độ chính xác của mô hình, khả năng nhận diện trong điều kiện ánh sáng khác nhau, và sự đa dạng của các hành vi vi phạm vẫn đang là những thách thức lớn.

2.1. Độ Chính Xác và Hiệu Suất Của Mô Hình

Độ chính xác của các mô hình học máy là một yếu tố quyết định trong việc phát hiện vi phạm. Các mô hình như Mạng nơ-ron tích chập (CNN) và YOLO đã cho thấy hiệu suất cao, nhưng vẫn cần cải thiện để hoạt động hiệu quả trong môi trường thực tế với nhiều yếu tố ảnh hưởng.

2.2. Khả Năng Nhận Diện Trong Điều Kiện Khác Nhau

Điều kiện ánh sáng và thời tiết có thể ảnh hưởng đến khả năng nhận diện của hệ thống. Việc phát triển các thuật toán có khả năng hoạt động tốt trong các điều kiện khác nhau là một thách thức lớn. Nghiên cứu cần tập trung vào việc tối ưu hóa các mô hình để đảm bảo hiệu suất ổn định.

III. Phương Pháp Giải Quyết Vấn Đề Nhận Diện Vi Phạm Giao Thông

Để giải quyết các vấn đề trong nhận diện vi phạm giao thông, nhiều phương pháp và kỹ thuật đã được áp dụng. Các mô hình học sâu như Deep Learning và Mạng nơ-ron tích chập đã cho thấy hiệu quả trong việc phát hiện và phân loại các hành vi vi phạm.

3.1. Ứng Dụng Mô Hình Học Sâu Trong Nhận Diện

Mô hình học sâu như YOLOv5 và Inceptionv3 đã được áp dụng để nhận diện các hành vi vi phạm giao thông. Các mô hình này cho phép xử lý hình ảnh nhanh chóng và chính xác, giúp phát hiện các hành vi như vượt đèn đỏ một cách hiệu quả.

3.2. Kỹ Thuật Tiền Xử Lý Dữ Liệu

Tiền xử lý dữ liệu là bước quan trọng trong việc chuẩn bị dữ liệu cho mô hình. Các kỹ thuật như làm sạch dữ liệu và gán nhãn giúp cải thiện độ chính xác của mô hình. Việc sử dụng dữ liệu chất lượng cao là yếu tố quyết định trong việc phát triển hệ thống nhận diện hiệu quả.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Nhận Diện Vi Phạm Giao Thông

Hệ thống nhận diện vi phạm giao thông đã được triển khai tại nhiều địa điểm, mang lại hiệu quả rõ rệt trong việc giám sát và xử lý vi phạm. Các ứng dụng này không chỉ giúp giảm thiểu tai nạn mà còn nâng cao ý thức chấp hành luật giao thông của người dân.

4.1. Kết Quả Nghiên Cứu Tại Đại Học Quốc Gia TP.HCM

Nghiên cứu tại Đại học Quốc gia TP.HCM cho thấy mô hình học sâu đạt độ chính xác cao trong việc phát hiện vi phạm vượt đèn đỏ. Hệ thống đã được triển khai tại các giao lộ quan trọng, giúp giảm thiểu tai nạn giao thông trong khu vực.

4.2. Tích Hợp Hệ Thống Vào Quản Lý Giao Thông

Hệ thống nhận diện vi phạm giao thông có thể được tích hợp vào hệ thống quản lý giao thông hiện có. Việc này không chỉ giúp cung cấp cảnh báo sớm về các hành vi vi phạm mà còn hỗ trợ các cơ quan chức năng trong việc xử lý vi phạm một cách hiệu quả.

V. Kết Luận và Tương Lai Của Hệ Thống Nhận Diện Vi Phạm Giao Thông

Hệ thống nhận diện vi phạm giao thông dựa trên machine learning đang mở ra nhiều cơ hội mới trong việc cải thiện an toàn giao thông. Tương lai của hệ thống này hứa hẹn sẽ mang lại nhiều giá trị cho cộng đồng và góp phần giảm thiểu tai nạn giao thông.

5.1. Triển Vọng Phát Triển Công Nghệ

Công nghệ nhận diện vi phạm giao thông sẽ tiếp tục phát triển với sự hỗ trợ của các mô hình học sâu tiên tiến. Việc áp dụng các công nghệ mới sẽ giúp nâng cao hiệu quả giám sát và xử lý vi phạm.

5.2. Tăng Cường Ý Thức Chấp Hành Luật Giao Thông

Ngoài việc phát hiện vi phạm, hệ thống còn đóng vai trò quan trọng trong việc nâng cao ý thức chấp hành luật giao thông của người dân. Các chiến dịch tuyên truyền kết hợp với công nghệ sẽ giúp tạo ra một môi trường giao thông an toàn hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp của tác giả Trần Diễm My Ngọc và Trần Minh Quân, dưới sự hướng dẫn của TS. Phan Xuân Thiện tại Khoa Mạng máy tính và Truyền thông, Trường Đại học Công nghệ Thông tin – ĐHQG-HCM (năm 2024), tập trung vào bài toán nhận diện vi phạm giao thông tại các giao lộ đô thị.

Bối cảnh thực tiễn được nhóm tác giả nêu rõ xuất phát từ sự gia tăng nhanh chóng của số lượng phương tiện tham gia giao thông, trong khi cơ sở hạ tầng và năng lực quản lý trật tự giao thông của các cơ quan chức năng chưa đáp ứng kịp thời. Tình trạng vi phạm luật giao thông diễn ra phổ biến, đặc biệt là hành vi vượt đèn đỏ và không đội mũ bảo hiểm tại các tuyến đường có mật độ lưu thông hỗn hợp giữa xe máy và ô tô cỡ lớn. Văn bản dẫn chứng số liệu thực tế tại khu vực lân cận các trường đại học: đoạn đường dài khoảng 1 km từ ngã ba 621 (Xa lộ Hà Nội) vào bến xe buýt Đại học Quốc gia TP.HCM là một "điểm đen" về tai nạn giao thông; trong năm trước đó, tại Khu đô thị ĐHQG-HCM đã xảy ra 18 vụ tai nạn giao thông, trong đó có 6 vụ liên quan đến xe buýt và làm 2 người tử vong.

Từ thực trạng trên, nghiên cứu xác định các vấn đề cần giải quyết:

• Công tác tuần tra, kiểm soát thủ công tiêu tốn nhiều sức người và không thể bao quát liên tục toàn bộ các điểm giao cắt.
• Hệ thống giám sát vi phạm tự động chưa được triển khai rộng rãi tại khu vực nội đô Đại học Quốc gia TP.HCM.
• Các nghiên cứu trước đây chủ yếu tập trung vào từng mô hình đơn lẻ giải quyết một tác vụ riêng biệt, chưa có sự kết hợp đồng bộ thành một hệ thống giám sát và tra cứu hoàn chỉnh.

Mục tiêu nghiên cứu của đề tài gồm ba nội dung chính:

1. Phát triển hệ thống nhận diện hành vi vi phạm giao thông dựa trên các mô hình học máy và học sâu, trọng tâm là hành vi vượt đèn đỏ tại các giao lộ có đèn tín hiệu.
2. Tự động hóa quá trình phát hiện vi phạm phục vụ công tác phạt nguội và hỗ trợ duy trì trật tự an toàn giao thông.
3. Xây dựng ứng dụng tra cứu thông tin vi phạm kết nối với cơ sở dữ liệu để quản lý phương tiện vi phạm một cách trực quan.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Tín hiệu đèn giao thông (ba trạng thái: xanh - go, vàng - warning, đỏ - stop); vạch dừng chờ đèn đỏ; vùng vi phạm của phương tiện; biển số xe cơ giới và các ký tự chữ số trên biển số.
• Phạm vi nghiên cứu:
  • Phần offline: Thu thập, làm sạch, gán nhãn, tăng cường dữ liệu và tiến hành huấn luyện các mô hình học sâu (SSD MobileNet v2, Inception-v3, YOLOv5).
  • Phần online: Thử nghiệm, đánh giá hoạt động của hệ thống trên dữ liệu thực tế và hoàn thiện luồng xử lý tự động từ camera đến cơ sở dữ liệu.
  • Không gian ứng dụng: Phạm vi các giao lộ nội đô thuộc Khu đô thị Đại học Quốc gia TP.HCM.

---

Cơ sở lý thuyết và phương pháp

Khóa luận vận dụng phương pháp nghiên cứu thực nghiệm dựa trên dữ liệu (data-driven), kết hợp các kỹ thuật thị giác máy tính truyền thống và các mạng nơ-ron học sâu hiện đại.

Các mô hình, lý thuyết và công nghệ chính được trình bày trong công trình bao gồm:

• Mô hình SSD kết hợp MobileNet v2 (SSD MobileNet v2 / SSDLite):
  • SSD (Single Shot MultiBox Detector, Wei Liu và cs., 2016) thực hiện phát hiện đối tượng thông qua cơ chế dự đoán trực tiếp (direct prediction) tọa độ bounding box và nhãn phân loại từ các bản đồ đặc trưng đa tỉ lệ (multi-scale feature maps), loại bỏ hoàn toàn giai đoạn đề xuất vùng (Region Proposal Network).
  • MobileNet v2 đóng vai trò mạng xương sống (backbone) trích xuất đặc trưng, sử dụng các khối Inverted Residuals và Linear Bottlenecks nhằm duy trì lượng thông tin đặc trưng nhưng giảm thiểu số phép tính toán. Biến thể SSDLite thay thế các lớp tích chập chuẩn bằng tích chập sâu có thể tách rời (depthwise separable convolution) trong các tầng dự đoán.
• Mô hình Inception-v3:
  • Kiến trúc mạng nơ-ron tích chập sâu gồm 24 triệu tham số của Google (2015), kế thừa từ GoogLeNet (Inception-v1). Mạng sử dụng các kỹ thuật tối ưu:
    • Stem: Chuỗi tầng tích chập và Max Pooling giúp giảm chiều không gian đầu vào từ 299x299 xuống 35x35.
    • Inception Modules (A, B, C): Trích xuất đặc trưng song song đa nhánh. Sử dụng tích chập phân tách (Factorized Convolutions - thay bộ lọc 5x5 bằng hai bộ lọc 3x3 liên tiếp) và tích chập bất đối xứng (Asymmetric Convolutions - các bộ lọc 1x7 và 7x1, hoặc 1x3 và 3x1) nhằm tiết kiệm chi phí tính toán.
    • Reduction Modules (A, B): Giảm kích thước không gian mà vẫn bảo toàn thông tin biểu diễn.
    • Auxiliary Classifiers: Nhánh phân loại phụ trợ nhằm giảm thiểu hiện tượng triệt tiêu đạo hàm (vanishing gradient).
    • Các kỹ thuật bổ trợ: Chuẩn hóa theo lô (Batch Normalization) và làm mềm nhãn (Label Smoothing).
• Thuật toán biến đổi Hough phát hiện đường thẳng (Hough Line Transform & Probabilistic Hough Line Transform):
  • Biến đổi không gian tọa độ ảnh sang không gian tham số cực $(r, \theta)$ theo phương trình $r = x \cos\theta + y \sin\theta$.
  • Biến thể xác suất (Probabilistic Hough Line Transform - HoughLinesP) lấy mẫu ngẫu nhiên tập con các điểm biên cạnh (edge points), tích lũy số phiếu bầu để xác định đoạn thẳng hữu hạn thông qua các tham số: độ phân giải $\rho$ (1 pixel), góc $\theta$ (1 độ hoặc $\pi/180$), ngưỡng giao điểm (Threshold), chiều dài đoạn thẳng tối thiểu (Min Line Length) và khoảng cách tối đa giữa các đoạn (Max Line Gap).
• Mô hình mạng YOLOv5:
  • Thuật toán phát hiện đối tượng một giai đoạn được triển khai trên nền tảng PyTorch. Cấu trúc mạng gồm ba thành phần:
    • Backbone: CSP-Darknet53 kết hợp cơ chế liên kết tắt (skip connection) để trích xuất đặc trưng.
    • Neck: PANet (Path Aggregation Network) tổng hợp đặc trưng đa tỉ lệ từ các tầng khác nhau.
    • Head: Dự đoán dựa trên hộp neo (Anchor-based Prediction).
  • Hàm mất mát tích hợp ba thành phần: classification loss, localization loss và confidence loss; sử dụng thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) để chọn lọc bounding box. Tệp trọng số mô hình có dung lượng 27 MB.
• Công nghệ nhận dạng ký tự quang học (OCR):
  • Pipeline xử lý gồm bốn bước: Tiền xử lý ảnh (làm mịn, cân bằng tương phản, xoay căn chỉnh, nhị phân hóa) $\rightarrow$ Phát hiện vùng văn bản (Text Detection) $\rightarrow$ Nhận diện ký tự (Text Recognition) $\rightarrow$ Tái cấu trúc văn bản (Restructuring). Các kiến trúc mô hình được khảo sát gồm CTPN, EAST, CRNN và các mô hình dựa trên cơ chế Attention.

Bảng dưới đây tổng hợp thông tin về một số kiến trúc mạng nơ-ron tích chập (CNN) được tác giả phân tích trong cơ sở lý thuyết:

Kiến trúc	Năm phát hành	Đặc điểm chính	Số lượng tham số (triệu)	Đóng góp chính
LeNet-5	1998	2 Conv layers, 3 FC layers, Average-Pooling, đầu vào 32x32	0,06	Mạng CNN đầu tiên cho phân loại chữ số viết tay
AlexNet	2012	ReLU, Local normalization, Dropout	60	Đạt kết quả cách biệt trong cuộc thi ImageNet
VGG-16	2014	13 Conv layers, 3 FC layers, bộ lọc 3x3	138	Khởi đầu xu hướng mạng sâu, kiến trúc khối
GoogLeNet (Inception-v1)	2014	Khối Inception, bộ lọc 1x1, 3x3, 5x5	5	Định hình kiến trúc khối, ít tham số hơn VGG-16
Inception-v3	2015	Batch Normalization, phương pháp nhân tố hóa	24	Giải quyết thắt cổ chai, tăng hiệu quả tính toán
ResNet-50	2015	Kết nối tắt (skip connection), Batch Normalization	26	Mạng sâu với tham số nhỏ, chiến thắng ImageNet
DenseNet	2016	Kết nối tắt dày đặc, Batch Normalization	8	Cải thiện độ chính xác, tham số ít hơn ResNet-50

---

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo dạng chuỗi quy trình khép kín gồm các khối chức năng liên hoàn:

1. Khối nhận diện và phân loại đèn giao thông (Traffic Light):
   • Khung hình từ camera giám sát được đưa qua mô hình SSD MobileNet v2 để phát hiện vị trí đèn giao thông.
   • Vùng ảnh đèn được cắt và đưa vào mô hình Inception-v3 để phân loại trạng thái tín hiệu:
     • Nếu nhận diện tín hiệu là đèn xanh ('go'): Hệ thống không tiếp tục quy trình xử lý vi phạm trên khung hình đó.
     • Nếu nhận diện tín hiệu là đèn vàng ('warning') hoặc đèn đỏ ('stop'): Hệ thống kích hoạt các bước phát hiện vi phạm tiếp theo.
2. Khối xác định vạch dừng và vùng vi phạm:
   • Thuật toán Probabilistic Hough Line Transform (HoughLinesP) phân tích cấu trúc đoạn thẳng để nhận diện vạch dừng màu trắng trên mặt đường và vẽ vạch dừng lên khung hình.
   • Vùng nhận diện vi phạm (Region of Interest - ROI) được tự động thiết lập và tính toán dựa trên các thông số tọa độ của vạch dừng.
   • Mô hình SSD MobileNet v2 được áp dụng để giám sát sự xuất hiện của phương tiện đi vào vùng ROI. Khi phương tiện vượt qua vạch dừng đi vào vùng vi phạm, hệ thống tự động nhận diện và cắt trích xuất hình ảnh phương tiện.
3. Khối định vị và đọc biển số xe vi phạm (License Plate Detection & OCR):
   • Vùng ảnh phương tiện vi phạm được chuyển tiếp vào mô hình YOLOv5 để định vị vị trí biển số xe.
   • Phân hệ OCR tiếp nhận vùng ảnh biển số, thực hiện chuỗi tiền xử lý và nhận dạng ký tự, sau đó xuất ra tệp văn bản (.txt) chứa chuỗi ký tự biển số xe.
4. Cơ sở dữ liệu và ứng dụng tra cứu:
   • Dữ liệu vi phạm gồm thông tin thời gian, hình ảnh và biển số xe được đồng bộ vào bảng Vehicles trong cơ sở dữ liệu.
   • Giao diện ứng dụng kết nối với cơ sở dữ liệu, cho phép cán bộ giám sát thực hiện truy vấn và hiển thị danh sách các phương tiện vi phạm vượt đèn đỏ.

Xây dựng bộ dữ liệu phục vụ huấn luyện: Dữ liệu huấn luyện được nhóm tác giả xây dựng từ việc kết hợp các bộ dữ liệu công khai trên kho lưu trữ Kaggle (Cropped LISA Traffic Light Dataset và Car License Plate Detection) cùng với nguồn dữ liệu tự thu thập từ Internet (Google, Shutterstock, Dreamstime, Alamy, YouTube) và camera điện thoại di động trong nhiều điều kiện thời tiết, ánh sáng và góc chụp.

Bảng phân chia tập dữ liệu được thống kê chi tiết như sau:

Loại mô hình	Tên lớp (Class)	Số lượng mẫu tập train	Số lượng mẫu tập val	Tổng số lượng mẫu
Inception-v3	go	3.200	800	4.000
Inception-v3	stop	3.200	800	4.000
Inception-v3	warning	3.200	800	4.000
Tổng TLCD	3 lớp đèn	9.600	2.400	12.000
YOLOv5	license	2.400	600	3.000
Tổng CLPID	1 lớp biển số	2.400	600	3.000

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 trình bày tổng quan về nhu cầu cấp thiết của việc tự động hóa xử lý vi phạm trật tự an toàn giao thông đô thị bằng thị giác máy tính và học máy. Tác giả nêu lý do chọn đề tài dựa trên thực trạng điểm nóng tai nạn giao thông tại Khu đô thị Đại học Quốc gia TP.HCM. Mục tiêu và nhiệm vụ nghiên cứu được xác định rõ nhằm giải quyết bài toán phát hiện vượt đèn đỏ và tra cứu phương tiện phạt nguội.

Chương này điểm lại các nghiên cứu liên quan tiêu biểu:

• Nghiên cứu trong nước của Trần Văn Bình và cộng sự (2022) ứng dụng YOLOv4 nhận diện biển số xe (đạt mAP 91%, tốc độ 31,2 FPS); Bùi Quốc Tú và cộng sự (2022) nhận diện biển báo và đèn tín hiệu bằng YOLOv4 trên phần cứng Jetson TX2 (mAP 91%, tốc độ 31,2 FPS trên 32 lớp với hơn 1.500 ảnh).
• Nghiên cứu quốc tế của Lucas C. Possatti và cộng sự (2019) sử dụng YOLOv3 và bản đồ tiên nghiệm cho xe tự hành IARA; Mohammed Qader Kheder và Aree Ali Mohammed (2018) áp dụng Inception-v3 qua học chuyển giao trên bộ dữ liệu LISA traffic light đạt độ chính xác 98,6%.

Từ việc chỉ ra hai điểm hạn chế lớn của các công trình trước là độ chính xác suy giảm dưới môi trường ánh sáng phức tạp và việc thiếu tích hợp đa mô hình, tác giả định hướng hai bài toán trọng tâm: xây dựng bộ dữ liệu gán nhãn đa dạng và phát triển phối hợp mô hình Inception-v3 cùng YOLOv5.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp nền tảng toán học và cấu trúc kỹ thuật của các phương pháp được sử dụng trong hệ thống:

• Phân tích chi tiết kiến trúc mạng SSD kết hợp MobileNet v2, nêu bật ưu thế của khối Inverted Residuals và Linear Bottlenecks cùng cơ chế tích chập sâu có thể tách rời trong SSDLite.
• Trình bày kiến trúc Inception-v3: các tầng Stem, Inception Modules A, B, C, Reduction Modules A, B, nhánh phân loại phụ trợ, cùng các kỹ thuật tối ưu hóa như phân tách tích chập, tích chập bất đối xứng, Label Smoothing và chuẩn hóa theo lô. Tác giả dẫn số liệu đối chuẩn của Inception-v3 trên tập ImageNet 2012 với sai số 21,2% top-1 error và 5,6% top-5 error (khi ensemble 4 mô hình đạt 17,3% top-1 error và 3,5% top-5 error).
• Giới thiệu cơ sở toán học của phép biến đổi Hough trong không gian tham số cực $(r, \theta)$ và nguyên lý vận hành của Probabilistic Hough Line Transform trong việc trích xuất các đoạn thẳng có giới hạn điểm mút.
• Khảo sát sự tiến hóa của các dòng mô hình YOLO từ phiên bản YOLOv1 đến YOLOv10, phân tích sâu kiến trúc YOLOv5 (CSP-Darknet53, PANet, các hàm mất mát bounding box, dung lượng tệp trọng số 27 MB) và bảng thông số phân loại các biến thể từ YOLOv5n đến YOLOv5x.
• Trình bày kiến trúc và quy trình bốn bước của công nghệ nhận dạng ký tự quang học (OCR) cùng các mô hình CTPN, EAST, CRNN và Attention-based Models.

Chương 3: Thiết kế và triển khai mô hình hệ thống

Chương 3 mô tả chi tiết quy trình thiết kế và tích hợp toàn bộ hệ thống giám sát:

• Trình bày sơ đồ tổng quan hệ thống phân định theo ba phân hệ chức năng: Traffic Light, License Plate Detection và Optical Character Recognition.
• Mô tả quy trình vận hành luồng dữ liệu từng bước: Camera thu nhận hình ảnh $\rightarrow$ SSD MobileNet v2 định vị đèn $\rightarrow$ Inception-v3 phân loại 3 trạng thái tín hiệu $\rightarrow$ HoughLinesP phát hiện vạch dừng $\rightarrow$ SSD MobileNet v2 phát hiện phương tiện vượt vạch vào ROI $\rightarrow$ YOLOv5 định vị biển số $\rightarrow$ OCR đọc ký tự biển số $\rightarrow$ Lưu trữ cơ sở dữ liệu và hiển thị ứng dụng tra cứu.
• Công bố quy trình xây dựng hai bộ dữ liệu thực nghiệm: TLCD (12.000 ảnh cho Inception-v3) và CLPID (3.000 ảnh cho YOLOv5) với tỷ lệ phân chia tập huấn luyện và tập kiểm định tương ứng là 80:20.
• Trình bày giải pháp xác định vạch dừng và vùng vi phạm: dựa trên các thông số đoạn thẳng trích xuất từ HoughLinesP để tự động khởi tạo vùng ROI tương ứng, từ đó theo dõi hành vi xâm nhập của phương tiện qua SSD MobileNet v2.
• Trình bày cấu trúc cơ sở dữ liệu với bảng Vehicles và xây dựng ứng dụng kết nối trực tiếp vào cơ sở dữ liệu để phục vụ công tác tra cứu thông tin xe vi phạm.

Chương 4: Đánh giá kết quả hệ thống

Chương 4 thực hiện đánh giá các mô hình thông qua kiểm thử thực nghiệm:

• Đánh giá khả năng hoạt động của mô hình nhận diện và phân loại đèn giao thông qua việc kết hợp SSD MobileNet v2 và Inception-v3 trên các hình ảnh thực nghiệm đầu vào, kiểm tra độ nhạy phân loại theo ba trạng thái (xanh, đỏ, vàng).
• Đánh giá mô hình nhận diện biển số xe sử dụng YOLOv5 trên các khung hình phương tiện vi phạm được trích xuất từ vùng ROI.
• Trình bày các hình ảnh minh họa quá trình xử lý từng bước của hệ thống từ khung hình đầu vào, kết quả phát hiện đèn tín hiệu, xác định trạng thái đèn, định vị phương tiện trong vùng vi phạm đến kết quả đóng khung biển số xe.

Chương 5: Kết luận và hướng phát triển

Chương 5 đúc kết toàn bộ kết quả triển khai của khóa luận:

• Tóm lược các kết quả đạt được trong việc thiết kế pipeline liên hoàn tự động phát hiện hành vi vượt đèn đỏ và đọc biển số phương tiện.
• Thẳng thắn nhìn nhận các nhược điểm còn tồn tại của hệ thống khi đưa vào môi trường vận hành thực tế.
• Đề xuất các hướng phát triển tiếp theo nhằm hoàn thiện và mở rộng năng lực của hệ thống.

---

Kết quả và đóng góp

• Kết quả kỹ thuật đạt được:
  • Thiết kế và triển khai thành công một quy trình liên hoàn tự động phát hiện vi phạm vượt đèn đỏ từ video camera giám sát, kết hợp đa dạng các kỹ thuật học sâu: SSD MobileNet v2 (phát hiện đèn và phương tiện), Inception-v3 (phân loại trạng thái đèn), Probabilistic Hough Line Transform (nhận diện vạch dừng và thiết lập ROI vi phạm), YOLOv5 (định vị biển số) và OCR (nhận dạng chuỗi ký tự biển số).
  • Thu thập, làm sạch và gán nhãn thành công hai tập dữ liệu độc lập phục vụ huấn luyện: tập TLCD với 12.000 hình ảnh đèn tín hiệu giao thông (4.000 ảnh mỗi lớp) và tập CLPID với 3.000 hình ảnh nhận diện biển số phương tiện.
  • Xây dựng hoàn chỉnh cơ sở dữ liệu (bảng Vehicles) cùng ứng dụng hỗ trợ tra cứu thông tin phương tiện vi phạm, cung cấp công cụ phục vụ quy trình phạt nguội.
• Giải pháp và kiến nghị tác giả đề xuất:
  • Đề xuất triển khai hệ thống giám sát giao thông tự động sử dụng các mô hình học máy tại các giao lộ trọng điểm có mật độ lưu thông cao trong Khu đô thị Đại học Quốc gia TP.HCM.
  • Đề xuất tích hợp các mô hình vào hệ thống quản lý giao thông sẵn có nhằm cung cấp cảnh báo sớm về các hành vi vi phạm.
  • Tăng cường tuyên truyền, phổ biến và giáo dục ý thức chấp hành luật giao thông dựa trên việc áp dụng công nghệ giám sát khách quan.
• Đóng góp của đề tài:
  • Khắc phục hạn chế của các nghiên cứu trước đây vốn chỉ áp dụng một loại mô hình xử lý cho một tác vụ đơn lẻ, công trình đã xây dựng thành công kiến trúc tích hợp đa mô hình (multi-model pipeline) có khả năng phối hợp xử lý liên tiếp nhiều giai đoạn.
  • Đóng góp bộ dữ liệu hình ảnh đèn tín hiệu và biển số xe được thu thập đa dạng theo điều kiện thực tế phục vụ cho việc huấn luyện và kiểm thử.

---

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế được văn bản đề cập:
  • Độ chính xác và hiệu suất của các mô hình học sâu vẫn gặp khó khăn khi triển khai trong môi trường thực tế, đặc biệt dưới các điều kiện ánh sáng thay đổi phức tạp, hình ảnh có độ nhiễu cao hoặc góc quan sát bị che khuất.
  • Mô hình YOLO có thể gặp hạn chế trong việc phát hiện các vật thể kích thước nhỏ trong ô lưới hoặc tạo ra các hộp giới hạn (bounding boxes) chưa hoàn toàn khớp với biên dạng vật thể thực tế.
  • Hệ thống mới tập trung giải quyết hành vi vượt đèn đỏ, chưa bao quát các hành vi vi phạm phổ biến khác đã nêu trong bối cảnh nghiên cứu như không đội mũ bảo hiểm hoặc đi sai làn đường.
• Hướng phát triển tiếp theo:
  • Tiếp tục tối ưu hóa kiến trúc mô hình nhằm cải thiện độ chính xác và tính ổn định khi vận hành trong các điều kiện môi trường bất lợi (ban đêm, thời tiết mưa hoặc ánh sáng chói).
  • Mở rộng phạm vi phát hiện sang các hành vi vi phạm giao thông khác (không đội mũ bảo hiểm, lấn làn, đi ngược chiều).
  • Nâng cấp và tối ưu hóa thời gian thực thi của toàn bộ pipeline để đáp ứng tốt hơn yêu cầu triển khai thực tế trên các thiết bị nhúng tại các cột đèn giao thông.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn phù hợp cho sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Công nghệ Thông tin, Kỹ thuật Máy tính, Mạng máy tính và Truyền thông dữ liệu, và Trí tuệ nhân tạo đang thực hiện các đề tài liên quan đến thị giác máy tính và hệ thống giao thông thông minh (Intelligent Transportation Systems - ITS).

Các nội dung có giá trị tham khảo cụ thể:

• Thiết kế luồng xử lý phối hợp có điều kiện giữa nhiều mô hình học máy khác nhau (SSD MobileNet v2 $\rightarrow$ Inception-v3 $\rightarrow$ HoughLinesP $\rightarrow$ YOLOv5 $\rightarrow$ OCR) trong một hệ thống giám sát tự động.
• Phương pháp luận thu thập, phân bổ tỷ lệ tập train/val và gán nhãn cho các bộ dữ liệu phân loại đèn tín hiệu (TLCD) và phát hiện biển số (CLPID).
• Bảng tổng hợp lý thuyết so sánh các thế hệ kiến trúc CNN và các kỹ thuật tối ưu hóa bên trong mạng Inception-v3 (nhân tử hóa tích chập, tích chập bất đối xứng, Label Smoothing).

---

Câu hỏi thường gặp

1. Hệ thống sử dụng điều kiện nào để kích hoạt quy trình phát hiện vi phạm vượt đèn đỏ? Hệ thống sử dụng mô hình Inception-v3 để phân loại trạng thái tín hiệu đèn giao thông thành 3 lớp ('go', 'stop', 'warning'). Nếu kết quả phân loại là đèn xanh ('go'), hệ thống dừng xử lý trên khung hình đó. Nếu kết quả phân loại là đèn đỏ ('stop') hoặc đèn vàng ('warning'), hệ thống mới kích hoạt chuỗi xử lý tiếp theo gồm nhận diện vạch dừng, xác định vùng vi phạm và phát hiện phương tiện vượt qua vạch.

2. Vạch dừng chờ đèn đỏ và vùng vi phạm phương tiện được xác định bằng phương pháp kỹ thuật nào? Vạch dừng màu trắng trên mặt đường được nhận diện bằng thuật toán biến đổi đường thẳng Hough xác suất (Probabilistic Hough Line Transform - HoughLinesP). Dựa trên các thông số tọa độ của vạch dừng được phát hiện, hệ thống tự động thiết lập và vẽ một vùng nhận diện vi phạm (ROI) tương ứng. Khi phương tiện di chuyển vượt qua vạch và đi vào vùng ROI này, mô hình SSD MobileNet v2 sẽ nhận diện và trích xuất hình ảnh phương tiện vi phạm.

3. Quy mô và nguồn gốc của các bộ dữ liệu được sử dụng để huấn luyện hệ thống là bao nhiêu? Tác giả xây dựng hai bộ dữ liệu: Bộ dữ liệu phân loại đèn giao thông (TLCD) gồm 12.000 hình ảnh chia đều cho 3 lớp (go, stop, warning), mỗi lớp gồm 3.200 ảnh tập train và 800 ảnh tập val; Bộ dữ liệu phát hiện biển số xe (CLPID) gồm 3.000 hình ảnh (2.400 ảnh tập train, 600 ảnh tập val). Dữ liệu được kế thừa từ các bộ dữ liệu công khai trên Kaggle (Cropped LISA Traffic Light Dataset, Car License Plate Detection) kết hợp thu thập thủ công từ nhiều nguồn Internet và camera điện thoại.

4. Chuỗi mô hình học sâu tham gia vào hệ thống gồm những mô hình nào và đảm nhận tác vụ gì? Hệ thống kết hợp năm thành phần kỹ thuật chính: SSD MobileNet v2 đảm nhận phát hiện vị trí đèn giao thông và phát hiện phương tiện đi vào vùng vi phạm; Inception-v3 đảm nhận phân loại 3 trạng thái màu sắc của đèn giao thông; Probabilistic Hough Line Transform xác định vạch dừng; YOLOv5 đảm nhận phát hiện và định vị bounding box của biển số xe; module OCR thực hiện nhận diện ký tự trên biển số xe.

5. Tệp trọng số của mô hình YOLOv5 được đề cập trong khóa luận có dung lượng bao nhiêu và có ưu thế gì? Tệp trọng số của mô hình YOLOv5 có dung lượng 27 MB, nhỏ hơn gần 90% so với mô hình YOLOv4 tiền nhiệm. Kích thước gọn nhẹ này giúp mô hình tối ưu hóa tài nguyên tính toán và bộ nhớ, tạo điều kiện thuận lợi cho việc triển khai trên các thiết bị nhúng và hệ thống giám sát thời gian thực.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Trần Diễm My Ngọc và Trần Minh Quân đã giải quyết bài toán tự động hóa phát hiện hành vi vượt đèn đỏ tại các giao lộ thuộc Khu đô thị Đại học Quốc gia TP.HCM. Công trình đã thiết kế và triển khai một kiến trúc tích hợp đa mô hình hoàn chỉnh, kết hợp linh hoạt giữa SSD MobileNet v2, Inception-v3, Probabilistic Hough Line Transform, YOLOv5 và công nghệ OCR cùng với cơ sở dữ liệu tra cứu vi phạm. Mặc dù vẫn còn những thách thức về độ chính xác trong điều kiện ánh sáng phức tạp và giới hạn ở hành vi vượt đèn đỏ, đề tài đã cung cấp một giải pháp kỹ thuật có tính ứng dụng thực tiễn cao cho công tác phạt nguội và hiện đại hóa quản lý giao thông đô thị.

Trích đoạn nội dung tài liệu

Chương 1.1 Tổng quan Với số lượng các phương tiện tham gia giao thông cũng đang ngày một gia tăng một cách chóng mặt, cùng với đó các cơ sở hạ tang và ban ngành quan lý về trật tự giao thông cũng đang không thể đáp ứng đủ với sự gia tăng đó. Chính điều này đã giúp cho nhận diện vi phạm giao thông là một lĩnh vực đang thu hút nhiều sự quan tâm, với mục tiêu cải thiện hiệu quả giám sát và xử ly các hành vi vi phạm giao thông. Với cơ hội rộng mở như vậy, Công nghệ học máy (Machine Learning) và học sâu (Deep Learning) đã tăng khả năng cho máy tính nhận diện, hiểu và xử lý hình ảnh một cách thông minh. Nhờ việc học thông qua huấn luyện mà các mô hình máy học có thể nhận diện vật thé và hiểu hình anh theo cách tự động tương tự như cách con người nhìn và xử lý chúng.

Trong hệ thống, thị giác máy tính giúp nhận diện và khoanh vùng được phạm vi hình anh cần nhận diện như đèn giao thông, tín hiệu dén giao thông, vạch dừng và biển số xe. Sự kết hợp giữa Học sâu và thị giác máy tính dé nhận diện vi phạm giao thông dựa trên tín hiệu đèn giao thông. Tuy nhiên, nghiên cứu nay đặt ra nhiều thách thức, từ việc thiết kế mô hình Học sâu phù hợp, khả năng nhận diện các vật thê, đến việc tối ưu hóa hiệu suất và độ chính xác khi ứng dụng thực tế. Tóm lại, nghiên cứu về thị giác máy tính và mô hình Học sâu dé xây dung hệ thống giao thông thông minh, khả năng nhận diện được hành vi vi phạm giao thông tại các đèn giao thông đặc biệt tại vi trí Dai học Quốc Gia TP HCM, đóng góp phần nhiều vào lĩnh vực an toàn giao thông, hạn chế tối đa các tai nạn có thê xảy ra.2 Lý do chọn đề tài Chưa được triển khai rộng rãi tại Đại học Quốc Gia — TP HCM, có thé triển khai và ứng dụng tại địa điểm này.

Giải quyết được tối đa van đề thực tế đang xảy ra: không tuân thủ luật giao thông dễ gây nên tai nạn giao thông. Tiết kiệm được sức người, hệ thống có thể tự động giám sát và phát hiện hành vi vi phạm.3 Mục tiêu nghiên cứu Mục đích chính của đề tài này là phát triển “XÂY DỰNG HỆ THÓNG NHẬN DIỆN VI PHẠM VÀ ỨNG DỤNG TRA CỨU THÔNG TIN VI PHẠM GIAO THÔNG DỰA TRÊN CÁC LOẠI MÔ HÌNH MÁY HỌC”, nhằm tự động hóa quá trình phạt nguội và giữ trật tự an toàn giao thông. Hệ thống sẽ sử dụng đa dạng các loại mô hình Deep Learning đề xử lý đữ liệu được thu thập các camera giám sát, cho phép xử lý một cách tự động.4 Đối tượng nghiên cứu Thu thập dữ liệu: Hình ảnh đèn giao thông: Dữ liệu ban đầu được thu thập hình ảnh của 3 loại đèn giao thông (go, stop, warning — xanh, đỏ, vàng). Hình ảnh biển số xe: Dữ liệu ban đầu được thu thập hình ảnh của biển số xe các loại ở nhiều nơi.

Gắn nhãn dữ liệu: Quá trình gan nhãn được thực hiện dé xác định biển số xe trong từng hình ảnh, tạo ra một bộ đữ liệu đã được gán nhãn phục vụ cho việc huấn luyện mô hình. Xây dựng và phát triển các loại mô hình Deep Learning: Sử dụng các mô hình học sâu: SSD MobileNet v2, Inceptionv3 dé nhận diện và phân loại đèn giao thông và phương tiện vi phạm. Sử dụng thuật toán Hough Line Transform: nhận diện vạch dừng chờ đèn đỏ. Sử dụng mô hình YOLOv5: nhận diện biển số xe.

Sử dung module OCR dé nhận diện ký tự trên biển số xe. 15 Phạm vi nghiên cứu Phần offline: Xây dựng bộ đữ liệu: Thu thập, gán nhãn và tăng cường đữ liệu dé tạo ra một bộ dữ liệu phong phú và đa dạng. Huấn luyện mô hình: Sử dụng bộ dữ liệu đã xây dựng đề huấn luyện và đánh giá các mô hình SSD MobileNet v2, YOLOv5 Phần online: Đánh giá và cải tiến: Liên tục đánh giá hiệu suất của hệ thống trong môi trường thực tê và cải tiên đê đảm bảo độ chính xác và hiệu quả.6 Cac nghiên cứu liên quan Phần này chúng tôi sẽ giới thiệu về các nghiên cứu liên quan đến đề tài của chúng tôi ở trong và ngoai nước.1 Trong nước: Trong nghiên cứu này, nhóm đã sử dụng các mô hình học sâu, cụ thé là YOLOv4, dé xác định vi trí biển số xe trong ảnh. Kết qua cho thấy mô hình đạt độ chính xác cao, với mAP (mean Average Precision) lên tới 91% và tốc độ xử lý đạt 31,2 FPS, cho thấy khả năng áp dụng hiệu quả của mô hình trong các hệ thống nhận diện biển số xe thời gian thực.” Đề xuất sử dụng mô hình YOLOv4 dé phát hiện và nhận diện biển báo và tín hiệu đèn giao thông.

Họ sử dụng phần cứng Jetson TX2 để tối ưu thời gian huấn luyện. Dữ liệu sử dụng bao gồm 32 lớp với hơn 1500 ảnh được thu thập từ Los Angeles. Hệ thống đạt được chỉ số mAP 91% và tốc độ 31.2 FPS trên tập dữ liệu kiểm tra.2 Ngoài nước Đề xuất một hệ thống nhận diện đèn giao thông sử dụng kỹ thuật học sâu (deep learning) và bản đồ trước (prior maps) trên nền tảng xe tự hành IARA. Họ sử dụng mô hình YOLOv3 dé phát hiện và phân loại trạng thái đèn giao 3 Ứng dụng máy học trong xác định vị trí biển số xe; Trần Văn Bình, Nguyễn Hữu Tùng, và Lê Thị Thu Hà; Tạp chí khoa học Đại học Tây Nguyên số 57; 2022.

* Nhận diện biển báo và tín hiệu đèn giao thông sử dụng Yolov4 trên phần cứng Jetson TX2; Bùi Quốc Tú, Nguyễn Huy Hoàng, Trương Quang Phúc, Lê Quang Bình, Hồ Nhut Minh; Tạp chí Khoa học Công nghệ và Thực phẩm; 2022. thông từ hình ảnh camera. Kết quả cho thấy hệ thống có thé nhận diện chính xác các đèn giao thông liên quan trong các tuyến đường được định trước tại thành phố Vitoria.Š - Trong nghiên cứu này, nhóm tác giả đã sử dụng mô hình học sâu Inception- V3 dựa trên phương pháp học chuyên giao dé phát hiện và nhận diện đèn giao thông. Quá trình thực hiện bao gồm việc huấn luyện và kiểm tra mô hình trên bộ dữ liệu LISA traffic light, được tăng cường bởi các phương pháp tiền xử lý dữ liệu.

Kết qua cho thay mô hình đạt được độ chính xác 98,6% trong việc nhận diện đèn giao thông.3 Những vấn đề còn tôn tại. - Mac dù có nhiều nghiên cứu đã được thực hiện nhằm cải thiện chất lượng và hiệu quả của các hệ thống giám sát vi phạm giao thông, vẫn còn tồn tại một số vấn đề chưa được giải quyết hoàn toàn: e Độ chính xác và hiệu suất của mô hình: Mặc dù các mô hình học sâu như CNN và YOLO đã dat được nhiều thành công, vẫn còn tồn tại vấn đề về độ chính xác và hiệu suất khi áp dụng trong môi trường thực tế, đặc biệt là với các hình ảnh có nhiễu và điều kiện ánh sáng khác nhau. e Kha năng mở rộng và tính linh hoạt: Hau hết các nghiên cứu tập trung vào một loại mô hình xử lý cho một công việc cụ thé nhất dinhhj, chưa có nhiều sự kết hợp dé tạo nên một hệ thống.4 Những vấn đề cần tập trung giải quyết. - Dựa trên các van dé còn tồn tại đã được xác định, nghiên cứu này sẽ tập trung vào việc giải quyết các vấn đề sau: e Xây dựng bộ dữ liệu đa dạng và phong phú: Thu thập và gán nhãn dữ liệu cho 2 bộ đữ liệu phân loại đèn giao thông và nhận diện biển số phương tiện vi phạm.

> Traffic Light Recognition Using Deep Learning and Prior Maps for Autonomous Cars; Lucas C. Possatti và nhóm nghiên cứu từ Universidade Federal do Espirito Santo, Brazil; 2019 International Joint Conference on Neural Networks (IJCNN); 30 September 2019. 6 Transfer Learning Based Traffic Sign Recognition Using Inception-v3 Model; Mohammed Qader Kheder, Aree Ali Mohammed; Periodica Polytechnica Transportation Engineering; August 2018 e_ Phát triển và tối ưu hoá mô hình: Nghiên cứu, huấn luyện 2 mô hình Inceptionv3 (cho nhiệm vụ phân loại đèn giao thông) và YOLOvS (cho nhiệm vụ nhận diện biên sô xe). Chương2 CƠ SỞ LÝ THUYET 2.1 SSD MobileNet v2 SSD (Single Shot MultiBox Detector) là một phương pháp hiện đại dé nhận diện vật thé trong anh, được phát triển bởi Wei Liu và các đồng nghiệp vào năm 2016.

SSD nồi bật với khả năng thực hiện nhận diện vật thể nhanh chóng và chính xác, thích hợp cho các ứng dụng yêu cầu thời gian thực. Đặc điểm: e Phat hiện đối tượng nhanh: SSD có thể phát hiện nhiều vật thể trong một ảnh mà không cần qua giai đoạn đề xuất đối tượng như các mô hình trước đây. e Sử dụng multi-scale feature maps: SSD sử dụng các feature maps ở nhiều kích thước khác nhau dé phát hiện các vật thể có kích thước và tỉ lệ đa dạng. e Direct prediction: SSD trực tiếp dự đoán bounding boxes và các nhãn phân loại từ các feature maps mà không cần thêm bước xử lý trung gian.

e Không cần giai đoạn dé xuất vùng: Tăng tốc độ xử lý và giảm độ phức tạp của mô hình.1 SSD có thé phat hiện đa dang trong một anh - _ Kiến trúc: SSD có kiến trúc bao gồm hai phan chính: Backbone va Detector. e Backbone: Phan này thường là một mạng CNN như VGG-16 hoặc ResNet, có nhiệm vụ trích xuất các đặc trưng từ ảnh đầu vào. Các đặc trưng này bao gồm ca high-resolution features và low-resolution features. e Detector: Phan này bao gồm các extra feature layers và predic-tion layers.

Cac extra feature layers duoc thém vao sau backbone dé trích xuất các đặc trưng ở các kích thước khác nhau. Prediction layers dự đoán bounding boxes và scores cho môi lớp vật thê từ các feature maps. Extra Feature Layers VGG-16 ' _ through ConvS, 3 layer Classifier : Conv: 3x3x(4x(Classes+4)) |Ì+2] CDetlpcaions:873r2 SNuopn-rMesaxim J Ì Classifier : Conv: 3x3x(6x(Classes+4)) | _ | —!§8 |z4.amAP | s9FPS | Ệ Conv: 3x3x(4x(Classes+4)) § > Conv: 3x3x1024 Conv: tx1x1024 Conv: 1x1x256 “Com:fxixf28 Con | Conv: 3x3x512-s2 Conv: 3x3x256-s2 Com Hình 2.2 Kiến trúc chung của mô hình SSD - Lotich: e Hiệu suất cao: SSD có thé đạt được độ chính xác cao trong việc nhận diện vật thể mà vẫn duy trì được tốc độ xử lý nhanh. e Linh hoạt: SSD có thé sử dụng nhiều loại backbone khác nhau tùy theo yêu cầu về độ chính xác và tốc độ, chang hạn như MobileNet cho các ứng dung di động.

e _ Thực thi trong thời gian thực: Với tốc độ xử lý nhanh, SSD có thé được sử dụng trong các ứng dụng yêu cầu thời gian thực như xe tự lái, an ninh, và robot.