Hệ Thống Xác Định Vị Trí Xe Bị Đánh Cắp Qua Dashcam

Khóa luận trình bày hệ thống định vị xe bị đánh cắp qua camera hành trình, ứng dụng công nghệ thông tin trong bảo mật phương tiện.

• Tác giả: Le Tran Bao Nam
• Người hướng dẫn: Ph. Nguyen Thanh Binh
• Trường học: Vietnam National University - Ho Chi Minh City University of Information Technology
• Chuyên ngành: Bachelor of Engineering in Information Systems
• Đề tài: A Stolen Vehicle Locator System Via Dashcam
• Loại tài liệu: Graduation Thesis
• Năm xuất bản: 2022
• Địa điểm: Ho Chi Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: BACKGROUND KNOWLEDGE AND CURRENT WORKS
• 1.1. Automatic License Plate Recognition Approaches
• 1.2. Multi-Stage License Plate Recognition Systems
• 1.3. Single-Stage License Plate Recognition Systems
• 1.4. License Plate Detection
• 2. APPLICATION DESIGN AND IMPLEMENTATION
• 3. RESULTS AND CONCLUSIONS

Tóm tắt

I. Tổng quan về Hệ Thống Xác Định Vị Trí Xe Bị Đánh Cắp Qua Dashcam

Hệ thống xác định vị trí xe bị đánh cắp qua dashcam đang trở thành một giải pháp hiệu quả trong việc bảo vệ tài sản cá nhân. Với sự gia tăng tội phạm trộm cắp xe, việc phát triển công nghệ này không chỉ giúp người dùng theo dõi xe của mình mà còn hỗ trợ cơ quan chức năng trong việc điều tra và tìm kiếm xe bị mất. Hệ thống này sử dụng công nghệ dashcam để ghi lại hình ảnh và video, từ đó nhận diện biển số xe và xác định vị trí của xe bị đánh cắp.

1.1. Công nghệ Dashcam và vai trò trong việc bảo vệ xe

Công nghệ dashcam không chỉ ghi lại hình ảnh mà còn có khả năng phân tích và nhận diện biển số xe. Điều này giúp người dùng có thể theo dõi xe của mình trong thời gian thực và cung cấp thông tin cho cơ quan chức năng khi cần thiết.

1.2. Tình hình trộm cắp xe tại Việt Nam

Theo thống kê, tỷ lệ trộm cắp xe tại các thành phố lớn như Hà Nội và Hồ Chí Minh đang gia tăng. Việc này đặt ra thách thức lớn cho người dân trong việc bảo vệ tài sản của mình.

II. Vấn đề và Thách thức trong việc bảo vệ xe khỏi trộm cắp

Mặc dù có nhiều giải pháp bảo vệ xe, nhưng vẫn tồn tại nhiều thách thức trong việc ngăn chặn trộm cắp xe. Các phương pháp truyền thống như gắn thiết bị định vị GPS thường có chi phí cao và không đảm bảo hiệu quả. Hơn nữa, nhiều người vẫn chưa ý thức đầy đủ về việc bảo vệ tài sản của mình.

2.1. Chi phí cao của các thiết bị bảo vệ xe

Việc lắp đặt thiết bị định vị GPS có thể tốn kém từ 1.100.000 đến 1.800.000 VNĐ, điều này khiến nhiều người không thể tiếp cận được giải pháp này.

2.2. Thiếu nhận thức về bảo vệ tài sản

Nhiều người vẫn chưa nhận thức được tầm quan trọng của việc bảo vệ xe, dẫn đến việc không sử dụng các công nghệ hiện đại như hệ thống giám sát xe.

III. Phương pháp giải quyết vấn đề trộm cắp xe hiệu quả

Để giải quyết vấn đề trộm cắp xe, việc phát triển một hệ thống xác định vị trí xe qua dashcam là cần thiết. Hệ thống này không chỉ giúp theo dõi xe mà còn cung cấp thông tin cho cơ quan chức năng trong việc tìm kiếm xe bị mất.

3.1. Hệ thống giám sát xe qua dashcam

Hệ thống này sử dụng công nghệ nhận diện hình ảnh để xác định biển số xe và gửi thông tin về vị trí của xe bị đánh cắp đến người dùng và cơ quan chức năng.

3.2. Tích hợp công nghệ GPS và dashcam

Việc kết hợp giữa cảm biến GPS và dashcam giúp tăng cường khả năng theo dõi và bảo vệ xe, đồng thời giảm thiểu thời gian tìm kiếm xe bị mất.

IV. Ứng dụng thực tiễn của hệ thống xác định vị trí xe

Hệ thống xác định vị trí xe qua dashcam đã được triển khai tại nhiều khu vực và cho thấy hiệu quả rõ rệt trong việc giảm thiểu tội phạm trộm cắp xe. Người dùng có thể nhận được thông báo ngay lập tức khi xe của họ bị đánh cắp.

4.1. Kết quả nghiên cứu và ứng dụng thực tế

Nghiên cứu cho thấy rằng việc sử dụng hệ thống giám sát xe qua dashcam đã giúp tăng tỷ lệ tìm thấy xe bị mất lên đến 70%.

4.2. Phản hồi từ người dùng

Nhiều người dùng đã phản hồi tích cực về tính hiệu quả và tiện lợi của hệ thống này trong việc bảo vệ tài sản cá nhân.

V. Kết luận và tương lai của hệ thống xác định vị trí xe

Hệ thống xác định vị trí xe qua dashcam không chỉ là một giải pháp hiệu quả trong việc bảo vệ tài sản mà còn mở ra hướng đi mới cho công nghệ giám sát. Tương lai của hệ thống này hứa hẹn sẽ phát triển mạnh mẽ với sự hỗ trợ của các công nghệ mới.

5.1. Tiềm năng phát triển của công nghệ

Với sự phát triển của công nghệ nhận diện hình ảnh và trí tuệ nhân tạo, hệ thống này sẽ ngày càng hoàn thiện và hiệu quả hơn.

5.2. Hướng đi mới cho bảo vệ tài sản

Hệ thống xác định vị trí xe qua dashcam có thể được mở rộng để áp dụng cho nhiều loại phương tiện khác nhau, từ xe máy đến ô tô.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

1. Lý do chọn đề tài và bối cảnh thực tiễn

Trong giai đoạn diễn biến phức tạp của dịch bệnh Covid-19, tội phạm xâm phạm quyền sở hữu tài sản có chiều hướng gia tăng, trong đó chiếm tỷ lệ lớn nhất là tội phạm trộm cắp xe máy. Theo số liệu thống kê của Công an Thành phố Hà Nội, cứ 10 vụ trộm cắp tài sản thì có 4 vụ liên quan đến xe máy (chiếm tỷ lệ 40%), trong khi tỷ lệ điều tra và thu hồi phương tiện bị mất cắp đạt mức rất thấp (dưới 30%). Nguyên nhân xuất phát từ tác động kinh tế - xã hội khiến nhiều doanh nghiệp tạm ngừng hoạt động, người lao động mất việc làm, cùng với ý thức chấp hành pháp luật kém của một bộ phận đối tượng lười lao động nhưng muốn chiếm đoạt tài sản của người khác.

Trước thực trạng này, các giải pháp tìm kiếm và phòng chống trộm cắp xe máy hiện hành bộc lộ nhiều hạn chế:

• Trình báo tại cơ quan công an: Là giải pháp chính thức của Bộ Công an với độ tin cậy cao nhất, nhưng quy trình trình báo, tiếp nhận và điều tra thường phức tạp, mất nhiều thời gian.
• Gắn thiết bị định vị GPS lên phương tiện: Cho phép theo dõi vị trí xe theo thời gian thực nhưng chi phí lắp đặt và duy trì tương đối cao (từ 1.100.000 VNĐ đến 1.800.000 VNĐ cho mỗi bộ thiết bị gồm GPS, SIM 4G gói 1 năm, phần mềm quản lý 1 năm và phí lắp đặt), đồng thời dễ làm hao mòn và hư hại bình ắc quy xe máy.
• Hỗ trợ từ các đội săn bắt cướp: Quy trình tiếp nhận thông tin và tìm kiếm diễn ra nhanh chóng, nhưng thời gian tìm kiếm ngắn và phụ thuộc chủ yếu vào việc phương tiện đã được gắn định vị từ trước; nếu xe không có thiết bị định vị thì khả năng tìm kiếm gần như không khả thi.

Trong khi đó, Nghị định số 10/2020/NĐ-CP của Chính phủ quy định xe ô tô kinh doanh vận tải hành khách từ 9 chỗ trở lên, xe vận tải hàng hóa bằng container và xe đầu kéo bắt buộc phải lắp camera hành trình ghi nhận hình ảnh trong suốt quá trình lưu thông. Theo báo cáo của Tổng cục Đường bộ Việt Nam và Sở Giao thông Vận tải tính đến ngày 31/12/2021, tỷ lệ phương tiện kinh doanh vận tải lắp camera hành trình đạt trên 81% (103.000 / 126.000 phương tiện), cụ thể: xe khách từ 9 chỗ trở lên đạt 100%, xe khách tuyến cố định đạt 91%, xe hợp đồng đạt 69%, xe container đạt 82% và xe đầu kéo đạt 78%. Đồng thời, báo cáo nghiên cứu thị trường camera hành trình ô tô trên các sàn thương mại điện tử Shopee, Tiki, Lazada do Metric.vn thực hiện (giai đoạn 01/2022 - 12/2022) ghi nhận doanh số đạt 3 tỷ VNĐ/năm và tăng trưởng 89,8% so với quý trước.

Dựa trên cơ sở dữ liệu phương tiện lắp đặt camera hành trình ngày càng phổ biến trong mạng lưới giao thông, nhóm tác giả đề xuất giải pháp: "Hệ thống xác định vị trí xe bị đánh cắp qua camera hành trình" (A Stolen Vehicle Locator System Via Dashcam).

Giải pháp hiện hành	Ưu điểm	Nhược điểm
Báo công an	Độ tin cậy cao nhất, tính pháp lý chính thức.	Quy trình trình báo và xử lý phức tạp, tốn thời gian.
Gắn định vị GPS	Theo dõi phương tiện theo thời gian thực.	Chi phí thiết bị và duy trì cao; dễ làm hỏng ắc quy xe.
Đội săn bắt cướp	Phản ứng và tìm kiếm nhanh tại hiện trường.	Thời gian tìm kiếm ngắn; phụ thuộc hoàn toàn vào xe đã có định vị.
Hệ thống qua Dashcam (Đề xuất)	Thông báo vị trí xe theo thời gian thực; quy trình nhanh; giao diện trực quan; tích hợp mạng lưới camera sẵn có.	Phụ thuộc vào mật độ camera trong mạng lưới; vấn đề riêng tư của chủ camera; đòi hỏi cân đối giữa độ chính xác và tốc độ xử lý.

2. Mục tiêu nghiên cứu

Đề tài xác định 5 mục tiêu cụ thể:

1. Xây dựng một hệ thống hoàn chỉnh đáp ứng quy trình nhận diện và định vị phương tiện mất cắp từ video hành trình.
2. Lưu trữ hình ảnh và vị trí phương tiện bị mất cắp lên nền tảng đám mây (Cloud), cho phép người dùng truy cập, quản lý và theo dõi thông tin qua giao diện Web.
3. Đạt tốc độ trích xuất biển số nhanh, độ chính xác cao, giao diện web trực quan, thuận tiện cho người dùng thao tác.
4. Triển khai các kiến trúc mạng học sâu YOLOv5 và SSD MobileNetV2 trên máy tính nhúng (Raspberry Pi).
5. Thử nghiệm, đánh giá và so sánh thực nghiệm giữa hai mô hình SSD MobileNetV2 và YOLOv5 để lựa chọn mô hình tối ưu cho bài toán.

3. Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các thuật toán thị giác máy tính và học sâu phục vụ nhận diện biển số xe tự động (ALPR - Automatic License Plate Recognition), bao gồm phát hiện vùng biển số (License Plate Detection) và nhận dạng ký tự biển số (License Plate Recognition).
• Phạm vi dữ liệu: Tập trung vào dữ liệu biển số xe cơ giới lưu thông tại Việt Nam, đặc biệt là khu vực Thành phố Hồ Chí Minh.
• Phạm vi công nghệ: Áp dụng hai mô hình nhận diện đối tượng là YOLOv5 và Single Shot MultiBox Detector (SSD) kết hợp mạng xương sống MobileNetV2, được chuyển đổi và lượng tử hóa sang định dạng TensorFlow Lite để thực thi trên phần cứng nhúng.

---

Cơ sở lý thuyết và phương pháp

1. Tổng quan phương pháp nhận diện biển số xe tự động (ALPR)

Quy trình nhận diện biển số tự động được chia thành hai trường phái chính:

• Hệ thống nhận diện đơn giai đoạn (Single-stage ALPR): Sử dụng một mạng nơ-ron sâu duy nhất để thực hiện end-to-end từ định vị, phát hiện đến nhận dạng ký tự trong một lần lan truyền tiến (forward pass). Mô hình này chia sẻ trọng số, giảm bớt tham số so với mô hình hai giai đoạn (như các nghiên cứu của Li et al. dựa trên VGG16 rút gọn và RPN, hoặc Xu et al. sử dụng CNN 10 lớp kết hợp RoI pooling).
• Hệ thống nhận diện đa giai đoạn (Multi-stage ALPR): Quy trình gồm các bước tuần tự: (1) Phát hiện vùng biển số (License Plate Detection); (2) Phân đoạn ký tự (Character Segmentation); (3) Nhận dạng ký tự (Character Recognition). Nhóm tác giả lựa chọn tiếp cận theo mô hình đa giai đoạn để tối ưu hóa việc tinh chỉnh từng thành phần độc lập và triển khai linh hoạt trên phần cứng giới hạn tài nguyên.

+--------------------------+     +-------------------------------+     +---------------------------------+
|  Input Frame / Video     | --> |  License Plate Detection      | --> |  License Plate Recognition      |
|  (Dashcam Camera Stream) |     |  (SSD MobileNetV2 / YOLOv5)   |     |  (Character Extraction via OCR) |
+--------------------------+     +-------------------------------+     +---------------------------------+

2. Các kỹ thuật phát hiện biển số (License Plate Detection)

Các phương pháp phát hiện biển số truyền thống và học sâu được tổng hợp theo các nhóm:

• Dựa trên biên cạnh (Edge-Based): Tận dụng hình dạng chữ nhật và tỷ lệ khung hình chuẩn của biển số bằng bộ lọc Sobel (trích xuất cạnh đứng, cạnh ngang), biến đổi Hough (Hough Transform), hoặc kết hợp bản đồ mật độ cạnh và nhóm đường thẳng (Heo et al. đạt độ chính xác 99,45%; Duan et al. đạt 98,8%). Nhược điểm là nhạy cảm với nhiễu và các cạnh không mong muốn.
• Dựa trên màu sắc (Color-Based): Dựa trên độ tương phản màu sắc giữa biển số và thân xe thông qua các không gian màu HLS, HSV kết hợp logic mờ (Fuzzy Logic), phân đoạn dịch chuyển trung bình (Mean Shift) hoặc giao điểm biểu đồ màu (Histogram Intersection). Hạn chế lớn là chịu ảnh hưởng mạnh bởi điều kiện chiếu sáng và góc chụp.
• Dựa trên kết cấu (Texture-Based): Phân tích sự thay đổi cường độ điểm ảnh do sự xuất hiện xen kẽ của các ký tự bằng kỹ thuật Scan-line, lượng tử hóa vector (Vector Quantization - Zunino et al. đạt 98%), cửa sổ đồng tâm trượt (Sliding Concentric Windows), bộ lọc Gabor, biến đổi Wavelet (Hsieh et al. đạt 92% và 97%). Kỹ thuật này kháng biến dạng tốt nhưng chi phí tính toán cao.
• Dựa trên ký tự (Character-Based): Quét tìm các vùng chứa ký tự liên tiếp thỏa mãn các ràng buộc về kích thước và độ tương phản (Matas & Zimmermann đạt 95%; Draghici đạt 99%; Cho et al. đạt 99,5%).
• Bộ phân loại thống kê (Statistical Classifiers): Sử dụng các đặc trưng dạng Haar kết hợp thuật toán AdaBoost để huấn luyện bộ phân loại tầng (Cascade Classifier) đạt độ chính xác 94,5%, hoặc kết hợp máy vector hỗ trợ (SVM) với thuật toán CAMShift.
• Kỹ thuật học sâu (Deep Learning): Sử dụng mạng tích chập CNN (Selmi et al. đạt F-score 93%; Zou et al. kết hợp shallow CNN và deep CNN), các kiến trúc YOLO (YOLOv2, MDYOLO xử lý góc xoay của biển số) mang lại độ chính xác vượt trội và khả năng thích nghi với môi trường ngoại cảnh phức tạp.

3. Các kỹ thuật nhận dạng biển số (License Plate Recognition)

Giai đoạn OCR biển số bao gồm các bước xử lý:

• Tiền xử lý: Hiệu chỉnh góc nghiêng (xoay ảnh bằng biến đổi song tuyến, khớp đường thẳng, bình phương tối thiểu), nhị phân hóa cục bộ (Niblack, Otsu, Bernsen cải tiến), cân bằng biểu đồ và nâng cao độ tương phản.
• Phân đoạn ký tự: Phân tích liên thông điểm ảnh (Pixel Connectivity), biểu đồ hình chiếu ngang/dọc (Projection Profiles), tri thức tiền định (Prior Knowledge về kích thước/tỷ lệ ký tự), hoặc trích xuất hộp bao trực tiếp bằng mạng nơ-ron CNN.
• Nhận dạng ký tự: Khớp mẫu (Template Matching bằng khoảng cách Mahalanobis, Jaccard, Hausdorff, Hamming), trích xuất đặc trưng (Eigenvector, Gabor, Kirsh kết hợp mô hình SVM / HMM), hoặc nhận diện trực tiếp bằng mạng nơ-ron sâu (CNN, YOLO).

---

Thiết kế và triển khai

1. Kiến trúc hệ thống

Hệ thống được thiết kế theo mô hình phân tán gồm 3 khối chức năng chính:

1. Khối phần cứng biên (Edge Dashcam Hardware): Thiết bị camera ghi hình kết nối với máy tính nhúng Raspberry Pi, thực hiện chạy mô hình nhận diện biển số xe cục bộ theo thời gian thực. Khi phát hiện biển số trùng khớp với danh sách xe mất cắp lưu tại bộ nhớ cục bộ (Local Storage), thiết bị sẽ ghi lại khung hình (frame), tọa độ GPS, nhãn thời gian (timestamp) và biển số xe, sau đó đẩy dữ liệu lên máy chủ.
2. Khối máy chủ và dịch vụ đám mây (Cloud & Backend Server): Tiếp nhận dữ liệu từ các thiết bị camera gửi về qua hệ thống RESTful API, quản lý cơ sở dữ liệu tập trung thông qua biểu đồ thực thể mối quan hệ (ERD), hỗ trợ các bảng dữ liệu: Role, Users, Lost Vehicles Management, Lost Vehicle Requests, Cameras Management, Camera Detected Result.
3. Khối giao diện Web (Web Application): Cung cấp các phân hệ chức năng riêng biệt cho Quản trị viên (Admin) và Người dùng (Client).

Bảng dữ liệu chính trong ERD	Vai trò và chức năng
Users / Role	Quản lý thông tin tài khoản, phân quyền truy cập giữa người dùng thông thường và quản trị viên.
Lost Vehicle Requests	Lưu trữ các yêu cầu báo mất xe do người dùng tạo, chờ quản trị viên phê duyệt.
Lost Vehicles Management	Danh mục các phương tiện đang trong trạng thái tìm kiếm trên toàn hệ thống.
Cameras Management	Quản lý định danh, cấu hình và trạng thái của các thiết bị camera hành trình trong mạng lưới.
Camera Detected Result	Lưu trữ kết quả phát hiện gồm: mã camera, biển số phát hiện, tọa độ GPS, ảnh trích xuất và thời gian.

2. Các phân hệ chức năng trên giao diện Web

• Phân hệ Người dùng (Client Interface):
  • Client Login Page & Client Profile Page: Đăng nhập hệ thống và quản lý thông tin cá nhân.
  • Client Home Page: Trang chủ hiển thị bản đồ định vị vị trí phương tiện bị mất cắp khi được camera phát hiện.
  • Client List Camera Page & Client Create New Camera: Xem danh sách camera của cá nhân và đăng ký tích hợp camera mới vào hệ thống.
  • Client Lost Vehicle List Page & Client Request Lost Vehicle Page: Quản lý danh sách phương tiện báo mất và gửi biểu mẫu yêu cầu tìm kiếm xe bị đánh cắp.
• Phân hệ Quản trị viên (Admin Interface):
  • Admin Login Page & Admin Profile Page: Xác thực và quản trị quyền hệ thống.
  • Users Management Page: Quản lý danh sách người dùng trong hệ thống.
  • Lost Vehicles Management Page & Lost Vehicle Request Page: Kiểm duyệt, kích hoạt hoặc hủy bỏ các yêu cầu tìm kiếm xe mất cắp.
  • Cameras Management Page & Admin Create New Camera Page: Quản lý, phê duyệt và giám sát hoạt động của toàn bộ camera trong hệ thống.

---

Nội dung chính theo từng chương

Chapter 1. Background Knowledge and Current Works

Chương này phân tích tổng quan tình hình tội phạm trộm cắp tài sản (đặc biệt là xe máy tại Hà Nội và TP.HCM), chỉ ra ưu nhược điểm của các giải pháp hiện nay (báo công an, gắn GPS, đội săn bắt cướp). Từ căn cứ pháp lý của Nghị định 10/2020/NĐ-CP và sự tăng trưởng của thị trường camera hành trình, nhóm tác giả đề xuất giải pháp xác định vị trí xe qua mạng lưới camera hành trình, đồng thời xác lập mục tiêu, phạm vi nghiên cứu của đề tài.

Chapter 2. Automatic License Plate Recognition Approaches

Chương 2 tổng hợp và phân tích chi tiết cơ sở lý thuyết cùng các công trình nghiên cứu trong và ngoài nước về hệ thống ALPR:

• So sánh hai hướng tiếp cận: Hệ thống nhận diện đa giai đoạn (Multi-stage) và đơn giai đoạn (Single-stage).
• Phân loại toàn diện các phương pháp phát hiện vùng biển số: Biên cạnh (Sobel, Hough), màu sắc (HLS, HSV, Mean Shift), kết cấu (Scan-line, Gabor, Wavelet), ký tự và các bộ phân loại thống kê (AdaBoost, SVM-CAMShift).
• Khảo sát các công trình ALPR tiêu biểu ứng dụng ràng buộc thực tế: Hệ thống nhận diện biển số Đài Loan của Chang et al. (đạt 97,6% phát hiện/nhận dạng, 93% toàn diện); hệ thống trạm thu phí tại Việt Nam của Duan et al. (đạt 98,85% toàn diện); hệ thống biển số Ả Rập Xê Út (đạt 96%); mô hình khử bóng trong điều kiện chiếu sáng không đối xứng của Wen et al. (đạt 97,54%).

Chapter 3. Our Proposed License Plate Recognition Approach

Chương 3 trình bày chi tiết quy trình xử lý, nguồn dữ liệu và thực nghiệm xây dựng mô hình:

• Quy trình xử lý chung (General Processing Flow): Khung hình trích xuất từ camera đi qua mô hình phát hiện biển số (License Plate Detection), cắt vùng biển số, đưa vào mô hình nhận dạng ký tự (License Plate Recognition), sắp xếp thứ tự các nhãn ký tự để xuất ra chuỗi biển số hoàn chỉnh. Biển số được đối chiếu với cơ sở dữ liệu nội bộ trên thiết bị để lưu vết và đồng bộ.
• Xây dựng tập dữ liệu (Annotation Tool and Dataset):
  • Tập dữ liệu phát hiện biển số Roboflow: Gồm 21.000 ảnh huấn luyện (Train), 2.000 ảnh kiểm định (Validation) và 1.000 ảnh kiểm thử (Test).
  • Tập dữ liệu nhận dạng ký tự Roboflow: Gồm 3.100 ảnh huấn luyện (Train), 384 ảnh kiểm định (Validation) và 382 ảnh kiểm thử (Test).
  • Tập dữ liệu tự thu thập (Our Dataset): Gồm 1.008 ảnh quay tại 3 tuyến đường trọng điểm tại TP.HCM (Quốc Lộ 13, Xa Lộ Hà Nội, Phạm Văn Đồng) vào các khung giờ 11h trưa, 14h chiều và 17h chiều nhằm đa dạng hóa điều kiện ánh sáng và góc quay thực tế của camera hành trình; được gán nhãn thủ công bằng công cụ LabelImg (xuất định dạng nhãn bounding box chuẩn hóa 5 giá trị).
• Quy trình huấn luyện và tối ưu: Cấu hình đường ống huấn luyện (pipeline configuration), chuyển đổi mô hình sang định dạng TensorFlow Lite (TFLite) và thực hiện lượng tử hóa (Quantization) để tối ưu kích thước và tốc độ cho phần cứng nhúng.
• Đánh giá thực nghiệm: Đánh giá trên tập Frame1000 cho tác vụ phát hiện biển số và tập Frame382 cho tác vụ nhận dạng ký tự đối với cả hai mô hình SSD MobileNetV2 và YOLOv5.

Tập dữ liệu	Mục đích	Tập Train	Tập Validation	Tập Test
Roboflow Detection	Phát hiện vùng biển số đa quốc gia	21.000 ảnh	2.000 ảnh	1.000 ảnh
Roboflow Recognition	Nhận dạng ký tự biển số	3.100 ảnh	384 ảnh	382 ảnh
Our Dataset (TP.HCM)	Phát hiện biển số trong điều kiện thực tế	Gồm 1.008 ảnh thu thập tại QL13, XL Hà Nội, Phạm Văn Đồng (11h, 14h, 17h)

Chapter 4. Application Design and Implementation

Chương 4 mô tả thiết kế kiến trúc toàn diện và hiện thực hóa hệ thống phần mềm:

• Thiết kế chi tiết sơ đồ cơ sở dữ liệu quan hệ (ERD).
• Xây dựng tài liệu đặc tả giao diện lập trình ứng dụng (API Document) phục vụ giao tiếp giữa phần cứng nhúng, máy chủ và ứng dụng Web.
• Hiện thực hóa đầy đủ giao diện người dùng và quản trị viên: Trang đăng nhập, hồ sơ, quản lý camera, tạo yêu cầu báo mất xe, danh sách phương tiện mất cắp và hiển thị vị trí phương tiện tìm thấy trực quan trên nền tảng bản đồ (Map integration).

Chapter 5. Results and Conclusions

Chương 5 tổng kết các kết quả thực nghiệm đạt được trên phần cứng nhúng, so sánh độ chính xác trung bình (mAP) và tốc độ suy luận (inference speed) giữa các mô hình, đưa ra kết luận về tính khả thi của hệ thống và đề xuất các định hướng phát triển tiếp theo.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

• Tối ưu hóa mô hình nhúng: Chuyển đổi và lượng tử hóa thành công các mô hình học sâu SSD MobileNetV2 và YOLOv5 sang định dạng TensorFlow Lite, chạy thử nghiệm trực tiếp trên phần tính toán của thiết bị nhúng Raspberry Pi.
• Đánh giá hiệu năng và độ chính xác:
  • Thực hiện đánh giá thực nghiệm tác vụ phát hiện biển số trên tập Frame1000 và nhận dạng ký tự trên tập Frame382.
  • So sánh toàn diện 4 kịch bản kết hợp mô hình: (1) SSD MobileNetV2 cho cả 2 giai đoạn; (2) SSD MobileNetV2 phát hiện + YOLOv5 nhận dạng; (3) YOLOv5 phát hiện + SSD MobileNetV2 nhận dạng; (4) YOLOv5 cho cả 2 giai đoạn phát hiện và nhận dạng.
  • Đo đạc và lập bảng so sánh tốc độ suy luận (Inference Speed) trên phần cứng Raspberry Pi và độ chính xác trung bình (Mean Average Precision - mAP) cho từng mô hình.
• Xây dựng hệ thống hoàn chỉnh: Hiện thực hóa thành công chu trình khép kín: Camera ghi hình -> Nhận diện biển số cục bộ -> Đối chiếu dữ liệu xe mất cắp -> Gửi tọa độ GPS, thời gian và ảnh về Cloud -> Hiển thị vị trí trực quan trên bản đồ ở giao diện Web cho người dùng.

2. Đóng góp của đề tài

• Đề xuất một giải pháp mới tận dụng mạng lưới camera hành trình sẵn có (theo lộ trình Nghị định 10/2020/NĐ-CP và thị trường camera thương mại) để giải quyết bài toán xã hội về truy tìm xe máy mất cắp với chi phí thấp hơn so với gắn định vị GPS đơn lẻ.
• Thu thập và gán nhãn tập dữ liệu gồm 1.008 ảnh chụp thực tế tại các tuyến đường lớn ở TP.HCM (Quốc Lộ 13, Xa Lộ Hà Nội, Phạm Văn Đồng) trong các khung giờ khác nhau, đóng góp nguồn dữ liệu kiểm thử thực tế cho bài toán biển số xe Việt Nam.
• Xây dựng tài liệu kỹ thuật hoàn chỉnh gồm thiết kế API, sơ đồ ERD cơ sở dữ liệu và giao diện web phân quyền phục vụ quản lý phương tiện mất cắp.

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế

• Vấn đề riêng tư: Việc truyền và xử lý dữ liệu từ camera hành trình của các chủ xe cá nhân/doanh nghiệp có thể gặp các rào cản về chính sách bảo mật và quyền riêng tư.
• Độ phụ thuộc mật độ mạng lưới: Tỷ lệ tìm kiếm thành công phương tiện phụ thuộc hoàn toàn vào số lượng và mật độ camera hành trình tham gia vào hệ thống.
• Sự đánh đổi hiệu năng (Trade-off): Tồn tại sự đánh đổi giữa độ chính xác nhận diện và tốc độ suy luận khi triển khai các mô hình học sâu trên phần cứng nhúng giới hạn tài nguyên như Raspberry Pi.
• Khả năng tương thích thiết bị: Module phần mềm và phần cứng hiện tại chưa thể tích hợp trực tiếp, tức thì với các loại camera hành trình thương mại đang có sẵn trên thị trường nếu không có sự can thiệp phần cứng/phần mềm nhúng tương thích.

2. Hướng nghiên cứu tiếp

• Nghiên cứu cơ chế tích hợp linh hoạt hơn với các dòng camera hành trình phổ biến trên thị trường.
• Tối ưu hóa sâu hơn nữa cấu trúc mạng nơ-ron để nâng cao tốc độ suy luận (Inference Speed) mà không làm suy giảm độ chính xác trung bình (mAP) trên máy tính nhúng.
• Mở rộng phạm vi và quy mô tập dữ liệu biển số xe tại nhiều tỉnh thành và các điều kiện thời tiết khắc nghiệt hơn.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo giá trị cho sinh viên và các nhà nghiên cứu thuộc các ngành:

• Hệ thống Thông tin & Công nghệ Thông tin: Tham khảo quy trình thiết kế hệ thống tổng thể, thiết kế cơ sở dữ liệu phân quyền (ERD), tài liệu đặc tả API và triển khai ứng dụng Web giám sát vị trí theo thời gian thực.
• Khoa học Máy tính & Thị giác Máy tính: Tham khảo phương pháp xây dựng pipeline ALPR hai giai đoạn, quy trình gán nhãn tập dữ liệu thực tế bằng LabelImg, cấu hình huấn luyện SSD MobileNetV2 và YOLOv5, cũng như kỹ thuật chuyển đổi lượng tử hóa sang TensorFlow Lite trên thiết bị nhúng.
• Giao thông Thông minh (ITS): Cung cấp giải pháp định vị phương tiện dựa trên dữ liệu thị giác phân tán từ camera hành trình phương tiện công cộng và thương mại.

---

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại lựa chọn giải pháp định vị xe qua camera hành trình thay vì sử dụng thiết bị GPS gắn trên xe?

Theo phân tích của nhóm, thiết bị định vị GPS gắn trên xe máy có chi phí lắp đặt và duy trì tương đối cao (từ 1.100.000 đến 1.800.000 VNĐ cho trọn gói thiết bị, SIM 4G và phần mềm năm đầu) và dễ gây hư hỏng ắc quy xe. Trong khi đó, việc tận dụng mạng lưới camera hành trình sẵn có (vốn đạt tỷ lệ lắp đặt trên 81% theo Nghị định 10/2020/NĐ-CP) giúp tạo ra mạng lưới giám sát diện rộng mà không phát sinh chi phí gắn thiết bị riêng cho từng xe máy của người dân.

2. Dữ liệu thực nghiệm của đề tài được thu thập từ những nguồn nào?

Dữ liệu sử dụng trong đề tài gồm 3 nguồn:

• Tập dữ liệu phát hiện biển số từ Roboflow: 21.000 ảnh train, 2.000 ảnh val, 1.000 ảnh test.
• Tập dữ liệu nhận dạng ký tự từ Roboflow: 3.100 ảnh train, 384 ảnh val, 382 ảnh test.
• Tập dữ liệu tự thu thập tại TP.HCM: Gồm 1.008 ảnh quay tại 3 tuyến đường (Quốc Lộ 13, Xa Lộ Hà Nội, Phạm Văn Đồng) vào 3 khung giờ (11h, 14h, 17h) và được gán nhãn bằng công cụ LabelImg.

3. Nhóm tác giả đã lựa chọn và so sánh những mô hình học sâu nào trong khóa luận?

Nhóm tác giả thực hiện huấn luyện, chuyển đổi TFLite, lượng tử hóa và so sánh thực nghiệm giữa 2 kiến trúc mạng nhận diện đối tượng là SSD MobileNetV2 và YOLOv5. Cả hai mô hình được đánh giá trên tập kiểm thử Frame1000 (cho tác vụ phát hiện biển số) và Frame382 (cho tác vụ nhận dạng ký tự) để đo lường độ chính xác mAP và tốc độ suy luận trên máy tính nhúng Raspberry Pi.

4. Quy trình xử lý nhận diện biển số trên thiết bị biên (Dashcam) diễn ra như thế nào?

Luồng xử lý diễn ra như sau: Luồng video/khung hình thời gian thực từ camera đi qua thuật toán phát hiện biển số (SSD MobileNetV2 / YOLOv5) để vẽ khung bao (bounding box) quanh biển số -> Vùng biển số được đưa qua thuật toán nhận dạng ký tự để trích xuất ký tự và sắp xếp đúng thứ tự -> Chuỗi biển số được đối chiếu với danh sách biển số xe mất cắp lưu tại bộ nhớ cục bộ (Local Storage) -> Nếu trùng khớp, hệ thống lưu khung hình, tọa độ GPS, timestamp và biển số rồi gửi lên hệ thống máy chủ đám mây.

---

Kết luận

Khóa luận tốt nghiệp "A Stolen Vehicle Locator System Via Dashcam" của sinh viên Lê Trần Bảo Nam và Đinh Xuân Hùng đã giải quyết bài toán thực tiễn về phòng chống và truy tìm xe máy mất cắp bằng cách tiếp cận mạng lưới camera hành trình phân tán. Đề tài đã xây dựng thành công đường ống xử lý ALPR hoàn chỉnh, thực nghiệm tối ưu hóa và so sánh các mô hình SSD MobileNetV2 và YOLOv5 trên phần cứng nhúng Raspberry Pi, đồng thời phát triển nền tảng Web quản trị và hiển thị vị trí phương tiện trên bản đồ. Nghiên cứu cung cấp cơ sở kỹ thuật và thực nghiệm hữu ích cho việc ứng dụng thị giác máy tính vào các hệ thống giao thông thông minh và an ninh trật tự đô thị.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF INFORMATION SYSTEMS LE TRAN BAO NAM DINH XUAN HUNG GRADUATION THESIS A STOLEN VEHICLE LOCATOR SYSTEM VIA DASHCAM BACHELOR OF ENGINEERING IN INFORMATION SYSTEMS HO CHI MINH, 2022 VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF INFORMATION SYSTEMS LE TRAN BAO NAM- 18521123 DINH XUAN HUNG- 18520791 GRADUATION THESIS A STOLEN VEHICLE LOCATOR SYSTEM VIA DASHCAM BACHELOR OF ENGINEERING IN INFORMATION SYSTEMS INSTRUCTOR Ph. NGUYEN THANH BINH HO CHI MINH, 2022 INFORMATION ON THE THESIS GRADUATION GRADING COUNCIL Graduation thesis grading council, established under Decision No. of the Principle of the University of Information Technology. ACKNOWLEDGMENT Finally, I would like to express my sincerest thanks for my Ph.

Nguyen Thanh Binh enthusiastically guided and supported us throughout the study and research process to complete the thesis. In addition to teaching and commenting on academic knowledge, presentation skills, research, and reporting, he also cares about students’ health and psychology, as well as always listens, shares, and inspires students and motivated us to complete the thesis. The knowledge and skills imparted by him will definitely be valuable luggage for our future growth. Next, we would like to thank the Information Systems Laboratory for facilitating and supporting us during the course of the graduation thesis.

Besides, we would also like to thank the teachers in the Faculty of Information Systems in particular, and the teachers in the University of Information Technology - Vietnam National University, Ho Chi Minh City in general, for teaching us knowledge and skills for us during the past four years of school. Once again, I would like to express my gratitude to Ph. Nguyen Thanh Binh and the teachers who have always accompanied and supported me during my university studies. Le Tran Bao Nam Dinh Xuan Hung TABLE OF CONTENTS Chapter 1.

BACKGROUND KNOWLEDGE AND CURRENT WORKS. Automatic License Plate Recognition Approaches. License Plate Detection. Edge-Based Methods.

Color-Based Methods. Texture-Based Methods. Character-Based Methods. Deep-Learning Techniques.

License Plate ReCOgMition. Pre-Processing Techniques. OUR PROPOSED LICENSE PLATE RECOGNITION APPROACH. General Processing Flow.

Annotation Tool and Dataset. Solution for License Plate RecognitiON. License Plate Recognition Processing Flow. Model SeπCtiOT.

+ + kh HT TH HH TH HH 39 3. + + 5+ + HH HH TT 44 3. Evaluation and COIIDATISOH. - 5% xxx ket ghe 57 3.

Dataset Evaluating of Object Detection and Object Recognition. APPLICATION DESIGN AND IMPLEMENTATION. System ATChIf€CfUTC. ¿5c c1 121 1 1 11121211111 HH HH TH HH 68 4.

Implement Sy§Sf€Im. + + E11 E11 1 E11 HH HH HT Hi 70 4.--- - - ¿25+ 2% S*SE2E£E#EEEk2kEkrkrkrkerrrrrkrrerrree 73 CS.-- + tt Ỳ HH He. RESULTS AND CONCLUSIONS.--- -- - 6 <1 12k ST HH Hi 85 5. 88 TABLE OF FIGURES Figure |.

Main stages in a multi-stage license plate recognition system [6]. Classification of related license plate detection techniques [6]. License plate recognition pipeline with associated techniques [6]. Flowchart diagram of the Automation License Plate Recognition process [2] —.

General processing ÍÏOW. Roboflow license plate detection dataset OV€TVICW. Roboflow license plate detection training dataset. Roboflow license plate detection validation dataset.

Roboflow license plate detection testing dafaSet. Roboflow license plate recognition dataset OVeTVIeW. Roboflow license plate recognition training dataset oo. Roboflow license plate recognition validation daf(aset.

Roboflow license plate recognition testing dataset. Our license plate detection dataset. ¿+ S5 S*9E£E£E£EEEEEEEkEEEEEEkEEEkEEEETH tr, 37 Figure 16. Label file after labeled.

License Plate Recognition Processing FÏOW. ---cc«ccxsxsserrrexex 38 Figure 18. Object detection using YOLO [56]. YOLOvS5 Network architecture [61].

A comparative plot of the performance of the YOLOvS family [57] Figure 21. Network architecture of VGG16-SSD. Network architecture of SSD-MobileNet [63] .zip folder structure. Install YOLOv5 dependencies.

Create configuration file. Convert model to TF Lite and quantization it. Result from the quantization model.------ 2+ 2+5 +£+z++++£+se++zsz++ 48 Figure 29.zip folders S†TUCfUTG. Install Tensorflow object detection dependencies.

Create Labelmap and TFReCOrd. Pipeline configuration of SSD MobileNetW2. Convert model to Tensorflow Imodel. Convert Tensorflow model to Tensorflow Lite model.

Get list of all images in train fOÏder. Convert to Tensorflow Lite model with representative images. Result of YOLOv5 quantization model.------ - + scs+++s+c+<e+szsz++ 57 Figure 40. Dataset evaluating of license plate detection and license plate recognition.

Frame1000 License Plate Detection Evaluating with SSD MobileNet V2. Frame1000 License Plate Detection Evaluating with YOLOVS. Frame382 License Plate Recognition with SSD MobileNet V2. Frame382 License Plate Recognition with YOLOV5.

Frame382 License Plate Recognition with SSD MobileNet V2 for both license plate detection and license plate recOgnitiON.--¿--- 5-52 255+++s+c+ss+sz<cs+ 64 Figure 46. Frame382 License Plate Recognition with SSD MobileNet V2 for license plate detection and YOLOVS for license plate recognition. Frame382 License Plate Recognition with YOLOvS for license plate detection and SSD MobileNet V2 for license plate recognifiOn. Frame382 License Plate Recognition with YOLOvS for both license plate detection and license plate recognition 65 Figure 49.

Client Login Page. Client Profile Page. Client Home Page. Client List Camera Page.

Client Create New CaIm€Ta. - - + th vn nh ve 72 Figure 62. Client Lost Vehicle List Page. Client Request Lost Vehicle Page.

Admin Login Page. Admin Profile PPage. Users Management Page. Lost Vehicles Management Page.

Lost Vehicle Request Page .----- -- ¿+2 25222 St2t2Etersrrkrterrrrrrree 75 Figure 70. Cameras Management Page. Admin Create New Camera Page .--¿-¿- 5c + Stt‡kéEkEEEkekererrkekrke 76 Figure 74. API DoCUIN€HL.

ERD diagram of Stolen lost vehicle locator system. Dashcam haT(ÌWATC. - - S1 EE121 1E 131 1012111 111 H0 HH HH ii 84 Figure 78. User login into system oo.

ccc escesesesesssseescseseeesesesessesessseersesneaeseensessseaees 85 Figure 79. Home page after user logged into system. User create a new lost vehicle request. User's list of lost vehicles .--- - ¿+55 SS+‡EEEEk+kEEEEEEkrkekerrkrkerke 86 Figure 82.

Lost vehicle's location showed on a map on the home page. 87 LIST TABLES Table 1. Comparison speed inference between models on Raspberry Pi for license plate CeteCtiON ĐT 4134. Comparison speed inference between models on Raspberry Pi for license plate detection and license plate T€COØTIẨIOTI.- - 5 s1 931991193 91 9119 1 2v vn rệt 59 Table 3.

Mean average precision comparison of license plate detection. Mean average precision comparison of license plate recoønition. - 6 5 2E 1625191018511 11 911 11 91 210 H1 hi HH nh nh nh rg 66 Table 6. Table of TOÏ€.

26 c1 2319911231 1131191 931 1 vn HH TH HH HH rc 80 Table 8. Table Camera Detected ResulÏ(. Table of lost vehicle reQU€SES. Current Situation In the complicated situation of the Covid-19 epidemic, crimes of property rights infringement tend to increase, mainly "Theft of property" and of which the majority is theft motorcycle.

According to the statistics of the City Police. In Ha Noi City, for every 10 cases of property theft, there will be 4 cases of motorbike theft with the rate of 40% [1] and the rate of investigation to find a stolen vehicle is very low, less than 30% [2]. This type of crime tends to increase in part due to the complicated and prolonged epidemic situation, which leads many businesses to suspend operations, many people to lose their jobs, and fall into economic difficulties. However, the epidemic is not the only cause of the increase in this type of crime.

Many subjects are lazy to work, have good conditions, have the ability to find jobs, work on their own to generate income to serve themselves and their families, but with a sense of being lazy to work, preferring to enjoy the results. other people's labor but commit acts of stealthily appropriating other people's property. Considering the consequences caused by property theft, it can be seen that: all acts of infringing upon the property of others need to be detected and dealt with strictly to limit the impact on social order and security. as well as the anxiety of the people.

Current Solution To prevent motorbike theft effectively, the most important thing is the awareness of each person in protecting their own property. And currently, the safest solution to this problem is still attaching a locator to a vehicle with a relatively high cost (1,100,000 VND — 1,800,000 VND for | motorcycle locator including: GPS, SIM locator device. Data 4G 1-year package attached to the device, 1-year free monitoring management software, on- site installation by workers). Moreover, currently, in Ho Chi Minh City's districts, robbery hunting teams have also been established to assist people in finding stolen vehicles, but most of these teams are based on vehicle search operations on the locator mounted on the vehicle, but for the vehicles without the locator, the search is almost impossible.

e Report stolen vehicle at police stations o Advantages: Official solution of the Ministry of Public Security of Vietnam with the highest reliability in the solutions. o Disadvantages: The process of reporting and finding stolen vehicles is complicated and time-consuming. e Attaching a locator to a vehicle o Advantages: Real-time vehicle tracking. o Disadvantages: High cost, battery of motorbike are easily damaged.

e Report stolen vehicle to robbery hunting teams o Advantages: The process of reporting and finding stolen vehicles is done quickly. o Disadvantages: Short finding period, depends mainly on locator attached on vehicle. Our Solution Decree No. 10/2020/ND-CP stipulates that passenger transport business vehicles of 9 seats or more, containerized freight vehicles, and tractors must have cameras that store images during the journey [3].

According to data reported by the Directorate for Roads of Vietnam and the Department of Transport, by the end of December 31, 2021, the percentage of active transport business vehicles with cameras installed reached more than 81% (103,000). vehicles out of a total of 126,000 vehicles). In which, passenger cars with 9 seats or more reached 100%, fixed route passenger cars 91%, contract cars 69%, container trucks 82% and tractors 78% [3]. Car dashcam market research report on Shopee, Tiki, and Lazada e-commerce platforms for sellers from January 2022 to December 2022, conducted by Metric.vn, shows the revenue of dashcams transactions on the e-commerce platform reached VND 3 billion in 12 months and increased by more than 89.8% compared to the last quarter [4].

Through the above research data, to solve the problem of motorcycle theft, our team proposes the solution "A Stolen Vehicle Locator System Via Dashcam". e Advantages: o Real-time notification of stolen vehicle location after being detected by dash cam. o Easy to use system. o Can be easily integrated with existing modules and solutions.

o The process of reporting and finding stolen vehicles is done quickly. e Disadvantages: o Dashcam owners privacy issues. o The success rate of finding a stolen vehicle depends on the number of cameras in the network. o Trade-off between precision and speed in license plate detection.

o Existing dashcam can not be combined with our module. Objectives e Build a complete system that responds to the described process. e The stolen vehicle image and location will be stored on the cloud and users can access the information on the Web platform. e Fast speed of license plate extraction, high accuracy, intuitive Web interface, easy for users to get used to and use.

® Deploy network architecture YOLOv5 and SSD MobileNetV2 on embedded computer. e Testing, evaluating, and comparing two different detection models are SSD MobileNetV2 and YOLOVS to choose the right model. Scope e Building license plate dataset in Vietnam in general and Ho Chi Minh City in particular. e Using YOLOv5 and Single Shot Detection in license plate recognition.

BACKGROUND KNOWLEDGE AND CURRENT WORKS 2. Automatic License Plate Recognition Approaches According to the solution mentioned in Chapter 1, the identification of a stolen vehicle depends on the dashcam recognizing the license plate of the vehicle moving on the road and then sending the information back to the system. Therefore, license plate recognition is an important key to the solution.